理解輔助系統(tǒng)、理解輔助服務(wù)器、理解輔助方法和計(jì)算機(jī)可讀記錄介質(zhì)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于當(dāng)有聽(tīng)力障礙的人享受發(fā)言者演講的記筆記服務(wù)時(shí)輔助有聽(tīng)力障礙的人理解的理解輔助系統(tǒng)、理解輔助服務(wù)器和理解輔助方法，并且還涉及其中記錄用于實(shí)現(xiàn)它們的程序的計(jì)算機(jī)可讀記錄介質(zhì)。
【背景技術(shù)】
[0002]雙耳聽(tīng)力級(jí)是-100分貝或更高的有聽(tīng)力障礙的人(下文中，被簡(jiǎn)稱為“有聽(tīng)力障礙的人”)即使在帶有助聽(tīng)器等的情況下也幾乎接收不到語(yǔ)音的語(yǔ)言信息。因此，通常存在的情況是，當(dāng)有聽(tīng)力障礙的人聽(tīng)講座、教學(xué)等時(shí)，將提供手語(yǔ)翻譯員或筆記翻譯員。
[0003]其中，當(dāng)提供筆記翻譯員時(shí)，在例如教學(xué)的情況下，經(jīng)常為一個(gè)有聽(tīng)力障礙的人提供兩個(gè)或更多個(gè)筆記翻譯員。另外，這些筆記翻譯員使用PC(個(gè)人計(jì)算機(jī))、紙質(zhì)筆記等來(lái)轉(zhuǎn)錄教員正在說(shuō)的內(nèi)容并且向有聽(tīng)力障礙的人展示筆錄本。注意的是，需要兩個(gè)或更多個(gè)筆記翻譯員，因?yàn)橛浌P記操作是負(fù)擔(dān)過(guò)重的工作并且概要精度往往會(huì)隨著一個(gè)筆記翻譯員而降低。
[0004]同時(shí)，根據(jù)財(cái)政2008 中的厚生勞動(dòng)省(Health, Labour and Welfare Ministry)進(jìn)行的調(diào)查，在該國(guó)，有大約2萬(wàn)的年齡為18歲和不滿18歲的有聽(tīng)力障礙的學(xué)生，而在該國(guó)官方注冊(cè)的筆記翻譯員的數(shù)目是大約I萬(wàn)。此外，如果兩個(gè)或更多個(gè)筆記翻譯員陪伴一個(gè)有聽(tīng)力障礙的學(xué)生，則根據(jù)簡(jiǎn)單計(jì)算，可得到輔助的有聽(tīng)力障礙的學(xué)生的數(shù)目減至四分之一。此外，筆記翻譯員的數(shù)目和有聽(tīng)力障礙的學(xué)生的數(shù)目存在地域差異。出于這些原因，當(dāng)前情形使得只有較少數(shù)的有聽(tīng)力障礙的學(xué)生可在學(xué)校得到輔助。
[0005]因此，為了增加筆記翻譯員的數(shù)目，各種組織提供培訓(xùn)等。新筆記翻譯員在經(jīng)過(guò)一年的必修課程和培訓(xùn)等發(fā)展了個(gè)人技能之后被注冊(cè)成為筆記員。然而，存在的問(wèn)題是，筆記員的數(shù)目只略微增大并且大量學(xué)生仍然無(wú)法得到輔助。
[0006]另一方面，為了提高語(yǔ)音識(shí)別的識(shí)別精度，近年來(lái)，已經(jīng)提出了各種技術(shù)(例如，參見(jiàn)專利文獻(xiàn)I至3)。因此，可料想到，使用語(yǔ)音識(shí)別技術(shù)來(lái)輔助有聽(tīng)力障礙的人理解演講者的口頭說(shuō)明。
[0007]例如，專利文獻(xiàn)I公開(kāi)了用于輔助將語(yǔ)音寫成文本的設(shè)備。專利文獻(xiàn)I中公開(kāi)的設(shè)備用通過(guò)語(yǔ)音識(shí)別或人工轉(zhuǎn)錄而得到的文本數(shù)據(jù)產(chǎn)生合成語(yǔ)音，并且提取產(chǎn)生的合成語(yǔ)音和讀出的原始語(yǔ)音的特征量。然后，專利文獻(xiàn)I中公開(kāi)的設(shè)備比較這些特征量，并且基于比較結(jié)果展示轉(zhuǎn)錄結(jié)果的誤差。
[0008]專利文獻(xiàn)2公開(kāi)了用于自動(dòng)檢測(cè)語(yǔ)音識(shí)別結(jié)果的誤差的設(shè)備。專利文獻(xiàn)2中公開(kāi)的設(shè)備基于之前的語(yǔ)音識(shí)別結(jié)果，執(zhí)行聲音信息的累積和學(xué)習(xí)，基于此產(chǎn)生正確或錯(cuò)誤的辨別模型，并且使用產(chǎn)生的正確或錯(cuò)誤的辨別模型，檢測(cè)語(yǔ)音識(shí)別結(jié)果的誤差。注意的是，聲學(xué)信息是指具有通過(guò)進(jìn)行時(shí)域和頻域分析而得到的特征量的信息，其中，辨別每個(gè)最小單元的正確或錯(cuò)誤。
[0009]專利文獻(xiàn)3公開(kāi)了實(shí)時(shí)校正展示語(yǔ)音的字幕的設(shè)備。專利文獻(xiàn)3中公開(kāi)的設(shè)備通過(guò)語(yǔ)音識(shí)別得到一個(gè)或多個(gè)字符串候選項(xiàng)和這些字符串候選項(xiàng)的置信度，并且在確定當(dāng)前處理狀態(tài)的同時(shí)，相對(duì)于具有最高置信度的第一字符串候選項(xiàng)來(lái)選擇自動(dòng)確定或人工確定。此外，如果選擇自動(dòng)確定，則設(shè)備自動(dòng)地相對(duì)于第一字符串候選項(xiàng)確定是最終字符串。另一方面，如果選擇人工確定，則設(shè)備相對(duì)于第一字符串候選項(xiàng)人工確定最終字符串，但如果不可以進(jìn)行確定，則設(shè)備將關(guān)鍵詞列表與未定義的字符串進(jìn)行比較以計(jì)算匹配分?jǐn)?shù)，并且基于匹配分?jǐn)?shù)，輸出用作校正結(jié)果的關(guān)鍵詞。
[0010]專利文獻(xiàn)4公開(kāi)了使校對(duì)員能夠使用通過(guò)語(yǔ)音識(shí)別得到的文本數(shù)據(jù)和用于語(yǔ)音識(shí)別的語(yǔ)音數(shù)據(jù)執(zhí)行校對(duì)的設(shè)備。專利文獻(xiàn)4中公開(kāi)的設(shè)備將一系列發(fā)出的語(yǔ)音轉(zhuǎn)換成語(yǔ)音信號(hào)，將語(yǔ)音信號(hào)劃分成多個(gè)語(yǔ)音信號(hào)，并且將語(yǔ)音信號(hào)轉(zhuǎn)換成文本數(shù)據(jù)。然后，在專利文獻(xiàn)4中，設(shè)備公開(kāi)讀取和輸出以同步方式保持彼此關(guān)聯(lián)的語(yǔ)音信號(hào)和文本數(shù)據(jù)。校對(duì)員可基于語(yǔ)音信號(hào)和文本數(shù)據(jù)，執(zhí)行校對(duì)。
[0011]現(xiàn)有技術(shù)文獻(xiàn)的列表
[0012]專利文獻(xiàn)
[0013]專利文獻(xiàn)1:JP 2001-134276A
[0014]專利文獻(xiàn)2:JP 2002-268679A
[0015]專利文獻(xiàn)3:JP 2OO7-2567HA
[0016]專利文獻(xiàn)4:JP 2004_240920A

【發(fā)明內(nèi)容】

[0017]本發(fā)明要解決的問(wèn)題
[0018]然而，在專利文獻(xiàn)I至3中公開(kāi)的設(shè)備中，不執(zhí)行人工檢查，因此如果識(shí)別結(jié)果包括誤差，則將不可能校正誤差并且向有聽(tīng)力障礙的人展示校正后的識(shí)別結(jié)果。
[0019]此外，根據(jù)專利文獻(xiàn)3中公開(kāi)的設(shè)備，相比于專利文獻(xiàn)I和2中公開(kāi)的設(shè)備的情況，識(shí)別精度可提高，但為了這樣做，必須在任何時(shí)間都產(chǎn)生用于計(jì)算作為識(shí)別目標(biāo)的各域的匹配分?jǐn)?shù)的數(shù)據(jù)庫(kù)。在這種情況下，設(shè)備成本超高，因此難以在學(xué)校等處使用該設(shè)備。
[0020]另一方面，在專利文獻(xiàn)4中公開(kāi)的設(shè)備中，校對(duì)員基于語(yǔ)音執(zhí)行檢查，但認(rèn)為，因?yàn)樽R(shí)別結(jié)果可包括誤差，所以校對(duì)員的負(fù)擔(dān)重。因此，識(shí)別精度會(huì)根據(jù)校對(duì)員的疲憊程度而變化。
[0021]出于上述原因，相對(duì)于語(yǔ)音識(shí)別設(shè)備的輔助，需要筆記翻譯員的輔助，但如上所述，難以進(jìn)一步增加具有一定能力的筆記員/翻譯員的數(shù)目并且難以擴(kuò)展對(duì)有聽(tīng)力障礙的人的輔助。因此，需要使更大量的有聽(tīng)力障礙的人能夠通過(guò)使用減輕筆記翻譯員負(fù)擔(dān)的機(jī)制而得到輔助。
[0022]本發(fā)明的目的的示例是提供解決上述問(wèn)題并且可在減輕執(zhí)行記筆記的人的負(fù)擔(dān)的同時(shí)為有聽(tīng)力障礙的人提供精確信息的理解輔助系統(tǒng)、理解輔助服務(wù)器、理解輔助方法和計(jì)算機(jī)可讀記錄介質(zhì)。
[0023]解決問(wèn)題的手段
[0024]為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的理解輔助系統(tǒng)是一種用于輔助享受發(fā)言者演講的記筆記服務(wù)的有聽(tīng)力障礙的人理解的系統(tǒng)，所述理解輔助系統(tǒng)包括:
[0025]服務(wù)器裝置；第一客戶終端，其供記筆記的筆記員使用；第二客戶終端，其供檢查所述筆記員記下的筆記的檢查者使用；第三客戶終端，供所述有聽(tīng)力障礙的人使用，
[0026]其中，所述服務(wù)器裝置包括:
[0027]文本接收單元，其被構(gòu)造成從所述第一客戶終端接收通過(guò)所述筆記員記下的演講筆記而得到的文本數(shù)據(jù)；
[0028]文本發(fā)送單元，其被構(gòu)造成將接收到的文本數(shù)據(jù)發(fā)送到所述第二客戶終端；和
[0029]數(shù)據(jù)通信單元，其被構(gòu)造成從所述第二客戶終端接收所述檢查者檢查的文本數(shù)據(jù)，并且將被檢查的文本數(shù)據(jù)發(fā)送到所述第三客戶終端。
[0030]為了實(shí)現(xiàn)上述目的，本發(fā)明的理解輔助服務(wù)器是一種用于輔助享受發(fā)言者演講的記筆記服務(wù)的有聽(tīng)力障礙的人理解的服務(wù)器，所述理解輔助服務(wù)器包括:
[0031]文本接收單元，其被構(gòu)造成從供記筆記的筆記員使用的第一客戶終端接收通過(guò)所述筆記員記下的演講筆記而得到的文本數(shù)據(jù)；
[0032]文本發(fā)送單元，其被構(gòu)造成將接收到的文本數(shù)據(jù)發(fā)送到供檢查所述筆記員記下的筆記的檢查者使用的第二客戶終端；和
[0033]數(shù)據(jù)通信單元，其被構(gòu)造成從所述第二客戶終端接收所述檢查者檢查的文本數(shù)據(jù)，并且將被檢查的文本數(shù)據(jù)發(fā)送到供所述有聽(tīng)力障礙的人使用的第三客戶終端。
[0034]此外，為了實(shí)現(xiàn)上述目的，本發(fā)明的理解輔助方法是一種用于輔助享受發(fā)言者演講的記筆記服務(wù)的有聽(tīng)力障礙的人理解的方法，所述方法包括以下步驟:
[0035](a)從供記筆記的筆記員使用的第一客戶終端接收通過(guò)所述筆記員記下的演講筆記而得到的文本數(shù)據(jù)；
[0036](b)將步驟(a)中接收到的文本數(shù)據(jù)發(fā)送到供檢查所述筆記員記下的筆記的檢查者使用的第二客戶終端；和
[0037](c)從所述第二客戶終端接收所述檢查者檢查的文本數(shù)據(jù)并且將被檢查的文本數(shù)據(jù)發(fā)送到供所述有聽(tīng)力障礙的人使用的第三客戶終端。
[0038]此外，為了實(shí)現(xiàn)上述目的，本發(fā)明的計(jì)算機(jī)可讀記錄介質(zhì)是其中記錄用于致使計(jì)算機(jī)輔助享受發(fā)言者演講的記筆記服務(wù)的有聽(tīng)力障礙的人理解的程序的計(jì)算機(jī)可讀記錄介質(zhì)，所述程序包括用于致使所述計(jì)算機(jī)執(zhí)行以下步驟的命令:
[0039](a)從供記筆記的筆記員使用的第一客戶終端接收通過(guò)所述筆記員記下的演講筆記而得到的文本數(shù)據(jù)；
[0040](b)將步驟(a)中接收到的文本數(shù)據(jù)發(fā)送到供檢查所述筆記員記下的筆記的檢查者使用的第二客戶終端；和
[0041](c)從所述第二客戶終端接收所述檢查者檢查的文本數(shù)據(jù)并且將被檢查的文本數(shù)據(jù)發(fā)送到供所述有聽(tīng)力障礙的人使用的第三客戶終端。
[0042]本發(fā)明的有益效果
[0043]如上所述，根據(jù)本發(fā)明，可以在減輕執(zhí)行記筆記的人的負(fù)擔(dān)的同時(shí)，為有聽(tīng)力障礙的人提供精確信息。
【附圖說(shuō)明】
[0044][圖1]圖1是示意性示出根據(jù)本發(fā)明的實(shí)施例的理解輔助系統(tǒng)的整體構(gòu)造的示圖。
[0045][圖2]圖2是示出根據(jù)本發(fā)明的實(shí)施例的理解輔助系統(tǒng)和理解輔助服務(wù)器的構(gòu)造的框圖。
[0046][圖3]圖3是示出構(gòu)成根據(jù)本發(fā)明的實(shí)施例的理解輔助系統(tǒng)的筆記員客戶端的操作的流程圖。
[0047][圖4]圖4是示出根據(jù)本發(fā)明的實(shí)施例的理解輔助服務(wù)器的操作的流程圖。
[0048][圖5]圖5是示出構(gòu)成根據(jù)本發(fā)明的實(shí)施例的理解輔助系統(tǒng)的檢查者客戶端的操作的流程圖。
[0049][圖6]圖6是示出由圖2中示出的文本評(píng)價(jià)單元進(jìn)行詞類分解(wordclassdecomposit1n)的處理的不圖。
[0050][圖7]圖7是示出由圖2中示出的文本評(píng)價(jià)單元計(jì)算匹配的字符串的處理的示圖。
[0051][圖8]圖8是示出由圖2中示出的文本評(píng)價(jià)單元進(jìn)行的排名排序(ranksorting)處理的示圖。
[0052][圖9]圖9是示出用于本實(shí)施例的筆記員內(nèi)容保持列表的示例的示圖。
[0053][圖10]圖10是示出由圖2中示出的重疊部分刪除單元?jiǎng)h除重疊部分的處理的示圖。
[0054][圖11]圖11是示出實(shí)現(xiàn)根據(jù)本發(fā)明的實(shí)施例的理解輔助服務(wù)器的計(jì)算機(jī)的示例的框圖。
【具體實(shí)施方式】
[0055]實(shí)施例
[0056]下文中，將參照?qǐng)D1至圖11描述根據(jù)本發(fā)明的實(shí)施例的理解輔助系統(tǒng)、理解輔助服務(wù)器、理解輔助方法和程序。注意的是，示出附圖，使得為相同或等同的部分提供相同的附圖標(biāo)記。
[0057]系統(tǒng)構(gòu)造:整體構(gòu)造
[0058]首先，將參照?qǐng)D1描述本發(fā)明的理解輔助系統(tǒng)和理解輔助服務(wù)器的示意性構(gòu)造。圖1是示意性示出根據(jù)本發(fā)明的實(shí)施例的理解輔助系統(tǒng)的整體構(gòu)造的示圖。
[0059]圖1中示出的根據(jù)本實(shí)施例的理解輔助系統(tǒng)10是當(dāng)有聽(tīng)力障礙的人(下文中也被稱為“用戶”)享受發(fā)言者演講的記筆記服務(wù)時(shí)輔助有聽(tīng)力障礙的人理解筆記內(nèi)容的系統(tǒng)。
[0060]如圖1中所示，理解輔助系統(tǒng)10設(shè)置有作為服務(wù)器裝置的理解輔助服務(wù)器1、供記筆記的筆記員使用的客戶終端2、供用戶使用的客戶終端3和供檢查者使用的客戶終端4。
[0061]這里，“檢查者”是指檢查(也就是說(shuō)，校對(duì))由筆記員記下的筆記的第三人。此夕卜，在下文中，客戶終端3被描述為“用戶客戶端”3。此外，各客戶終端2被描述為“筆記員客戶端”2?？蛻艚K端4被描述為“檢查者客戶端”4。
[0062]此外，