3] 圖9是說(shuō)明了用于在圖3、10和11的誤用詞和語(yǔ)法校正功能以及在圖4的詞匯增 強(qiáng)功能中有用的各種備選詞校正的不基于上下文詞的基于相似性計(jì)分和基于上下文計(jì)分 (優(yōu)選地使用互聯(lián)網(wǎng)語(yǔ)料庫(kù)）的功能的簡(jiǎn)化的流程圖；
[0074] 圖10是說(shuō)明了丟失冠詞、介詞和標(biāo)點(diǎn)校正功能的操作的簡(jiǎn)化的流程圖；以及
[0075] 圖11是冗余冠詞、介詞和標(biāo)點(diǎn)校正功能的操作的簡(jiǎn)化的流程圖。
【具體實(shí)施方式】
[0076] 現(xiàn)在參照?qǐng)D1，其是用于根據(jù)本發(fā)明的優(yōu)選實(shí)施例建造并操作的計(jì)算機(jī)輔助語(yǔ)言 校正的系統(tǒng)和功能的簡(jiǎn)化的框圖說(shuō)明。如圖1所示，從一個(gè)或多個(gè)源將校正文本提供給語(yǔ) 言校正模塊1〇〇,包括但并不限于：字處理功能102、機(jī)器翻譯功能104、語(yǔ)音到文本轉(zhuǎn)換功 能106、光學(xué)字符識(shí)別功能108和任何其它文本源110,例如即時(shí)通信或互聯(lián)網(wǎng)。
[0077] 語(yǔ)言校正模塊100優(yōu)選地包括拼寫(xiě)校正功能112、誤用詞和語(yǔ)法校正功能114以及 詞匯增強(qiáng)功能116。
[0078] 本發(fā)明的特定特征是拼寫(xiě)校正功能112、誤用詞和語(yǔ)法校正功能114以及詞匯增 強(qiáng)功能116中的每個(gè)都與上下文特征序列（CFS)功能118進(jìn)行交互，所述上下文特征序列 功能118使用互聯(lián)網(wǎng)語(yǔ)料庫(kù)120。
[0079] 為了本描述的目的，定義了上下文特征序列或CFS，其包括N-gram、skip-gram、共 同出現(xiàn)、"之前由用戶特征使用"和其組合，參照?qǐng)D5下文依次對(duì)其進(jìn)行定義。應(yīng)當(dāng)注意，為 了描述的簡(jiǎn)便和清楚，以下的大多數(shù)示例僅使用n-gram。應(yīng)當(dāng)理解本發(fā)明并不限于此。
[0080] 互聯(lián)網(wǎng)語(yǔ)料庫(kù)的使用很重要，因?yàn)樗鼮闃O大量的上下文特征序列提供了顯著的統(tǒng) 計(jì)的數(shù)據(jù)，導(dǎo)致極為健壯的語(yǔ)言校正功能。在實(shí)踐中，超過(guò)兩個(gè)字的組合在傳統(tǒng)的非互聯(lián)網(wǎng) 語(yǔ)料庫(kù)中具有很少的統(tǒng)計(jì)，但是在互聯(lián)網(wǎng)語(yǔ)料庫(kù)中具有令人滿意或良好的統(tǒng)計(jì)。
[0081] 互聯(lián)網(wǎng)語(yǔ)料庫(kù)通常通過(guò)在互聯(lián)網(wǎng)上爬行并從網(wǎng)站頁(yè)面收集文本、從萬(wàn)維網(wǎng)收集的 自然語(yǔ)言文本的大量代表性示例。優(yōu)選地，還收集動(dòng)態(tài)文本，例如聊天記錄、來(lái)自網(wǎng)絡(luò)論壇 的文本和來(lái)自博客的文本。收集的文本用于積累關(guān)于自然語(yǔ)言文本的統(tǒng)計(jì)。互聯(lián)網(wǎng)語(yǔ)料庫(kù) 的大小可以是，例如一萬(wàn)億（1，〇〇〇, 〇〇〇, 〇〇〇, 〇〇〇)字或幾萬(wàn)億字，與其形成對(duì)照的是，更典 型的語(yǔ)料庫(kù)大小為20億字。網(wǎng)絡(luò)的小的示例（例如，網(wǎng)絡(luò)語(yǔ)料庫(kù)）包括100億字，其顯著 地小于由搜索引擎（例如，GOOGLE? )建立索引的網(wǎng)絡(luò)文本的百分之一。本發(fā)明可以 與網(wǎng)絡(luò)的示例（例如，網(wǎng)絡(luò)語(yǔ)料庫(kù)）一起工作，但是優(yōu)選地它對(duì)文本校正的任務(wù)使用網(wǎng)絡(luò)的 顯著地大的樣本。
[0082] 在以下兩種方法中的一種中優(yōu)選地使用互聯(lián)網(wǎng)語(yǔ)料庫(kù)：
[0083] 使用CFS作為搜索查詢來(lái)使用一個(gè)或多個(gè)互聯(lián)網(wǎng)搜索引擎。每個(gè)這種查詢的結(jié)果 的數(shù)量提供了該CFS的出現(xiàn)的頻率。
[0084] 隨著時(shí)間的過(guò)去，通過(guò)爬行并索引互聯(lián)網(wǎng)來(lái)建立本地索引。每個(gè)CFS的出現(xiàn)的次 數(shù)提供了 CFS頻率。本地索引以及搜索查詢可以基于互聯(lián)網(wǎng)的可選擇的部分并且可以用這 些選擇的部分來(lái)識(shí)別。類似的，可以排除或適當(dāng)?shù)貦?quán)衡互聯(lián)網(wǎng)的部分，以校正在互聯(lián)網(wǎng)使用 與通用語(yǔ)言使用之間的異常。用這種方法，可以對(duì)從語(yǔ)言使用方面來(lái)說(shuō)可靠的網(wǎng)站（例如， 新聞和政府網(wǎng)站）給出比其它網(wǎng)站（例如，聊天或用戶論壇）更高的權(quán)重。
[0085] 優(yōu)選地，在開(kāi)始的時(shí)候，將輸入文本提供給拼寫(xiě)校正功能112,之后提供給誤用詞 和語(yǔ)法校正功能114。輸入文本可以是任何合適的文本并且在字處理的情況下優(yōu)選地是文 檔的部分，例如句子。詞匯增強(qiáng)功能116優(yōu)選地在用戶對(duì)文本的選擇的情況下工作，其中所 述本文已經(jīng)被提供給拼寫(xiě)校正功能112并且提供給誤用詞和語(yǔ)法校正功能114。
[0086] 優(yōu)選地，語(yǔ)言校正模塊100提供了輸出，所述輸出包括帶有每個(gè)校正的詞或詞的 組的一個(gè)或多個(gè)建議的備選詞的校正的文本。
[0087] 現(xiàn)在，參照?qǐng)D2,其是說(shuō)明了圖1的系統(tǒng)和功能中優(yōu)選地使用的拼寫(xiě)校正功能的簡(jiǎn) 化的流程圖。如圖2所示，拼寫(xiě)校正功能優(yōu)選地包括以下步驟：
[0088] 識(shí)別輸入文本中的拼寫(xiě)錯(cuò)誤，優(yōu)選地使用擴(kuò)充了通常在互聯(lián)網(wǎng)使用的專有名稱和 專有詞的傳統(tǒng)字典。
[0089] 將拼寫(xiě)錯(cuò)誤分成簇（所述簇可以包括連續(xù)的或幾乎連續(xù)的、具有拼寫(xiě)錯(cuò)誤的單個(gè) 或多個(gè)詞）并且選擇用于校正的簇。該選擇嘗試發(fā)現(xiàn)包含最大數(shù)量的校正基于上下文的數(shù) 據(jù)的簇。優(yōu)選地，選擇具有在其附近正確拼寫(xiě)的詞的最長(zhǎng)序列或多個(gè)序列的簇。參照?qǐng)D6A， 下文更詳細(xì)地描述上述步驟。
[0090] 優(yōu)選地基于參照?qǐng)D7A下文描述的算法，來(lái)生成用于每個(gè)簇的一個(gè)備選校正或優(yōu) 選地生成用于每個(gè)簇的多個(gè)備選校正；
[0091] 至少部分地不基于上下文的詞基于相似性的計(jì)分和基于上下文的計(jì)分，優(yōu)選地基 于參照?qǐng)D8下文描述的拼寫(xiě)校正備選詞計(jì)分算法，來(lái)優(yōu)選地使用各種備選校正的互聯(lián)網(wǎng)語(yǔ) 料庫(kù)；
[0092] 對(duì)于每個(gè)簇，基于上述得分來(lái)選擇單個(gè)拼寫(xiě)校正并示出大多數(shù)優(yōu)選備選的拼寫(xiě)校 正；以及
[0093] 為每個(gè)誤拼寫(xiě)的簇提供包括單個(gè)拼寫(xiě)校正的校正文本輸出，所述校正文本輸出代 替了誤拼寫(xiě)簇。
[0094] 根據(jù)以下示例的考慮，可以更好地理解圖2的功能的操作：
[0095] 接收以下輸入文本：
[0096] Physical ecudation can assits in strenghing muscles. Some students should eksersiv daily to inprove their strenth and helth becals thay ea so fate.
[0097] 以下詞被識(shí)別為拼寫(xiě)錯(cuò)誤：
[0098] ecudation, assits ；strenghing；eksersiv ；inprove ；strenth ；helth ；becals ； thay, ea
[0099] 應(yīng)當(dāng)注意，"fate"沒(méi)有被識(shí)別為拼寫(xiě)錯(cuò)誤，因?yàn)樗霈F(xiàn)在字典中。
[0100] 如表1所示，選擇以下的簇：
[0101] 表 1
[0102]
[0103] 關(guān)于簇2,應(yīng)當(dāng)注意，"their"是正確拼寫(xiě)，但是仍然包括在簇中，因?yàn)樗徽`拼寫(xiě) 詞包圍。
[0104] 選擇簇I "eksersiv"來(lái)校正，因?yàn)樗哂性谄涓浇_拼寫(xiě)詞的最長(zhǎng)序列或多個(gè) 序列。
[0105] 為誤拼寫(xiě)詞"eksersiv"生成以下備選校正：
[0106] excessive, expressive, obsessive, assertive, exercise, extensive, exclusive ,exertion, excised, exorcism.
[0107] 基于對(duì)誤拼寫(xiě)詞的發(fā)音和字符串的相似性，給出每個(gè)備選校正的不基于上下文詞 相似性得分，例如，如表2所示：
[0108] 表 2
[0109]
[0110] 可以用各種方法來(lái)得出不基于上下文得分。一個(gè)示例是通過(guò)使用Levelnshtein 距離算法，其可以在 http://en. wikipedia. org/wiki/Levenshtein distance 上找到。該 算法可以意指字符串、詞語(yǔ)音表達(dá)或其組合。
[0111] 如表3所示，基于在輸入句子的上下文中其適合度，還給出每個(gè)備選詞的上下文 得分。在該示例中，其使用的上下文是"Some students should〈eksersiv>daily"。
[0112] 表 3
[0113]
[0114] 上下文得分是參照?qǐng)D8按照下文描述來(lái)優(yōu)選地得出的并且是基于互聯(lián)網(wǎng)語(yǔ)料庫(kù) 中的上下文特征序列（CFS)頻率。
[0115] 參照?qǐng)D8,按照下文描述的，基于上下文得分和不基于上下文相似性得分的組合， 選擇詞"exercise"作為最佳備選詞。
[0116] 以相似的方式來(lái)校正所有簇。拼寫(xiě)校正輸入文本，根據(jù)本發(fā)明的優(yōu)選實(shí)施例的以 下的拼寫(xiě)校正是：
[0117] Physical education can assist in strengthening muscles. Some students should exercise daily to improve their strength and health because they are so fate.
[0118] 應(yīng)當(dāng)注意，在拼寫(xiě)校正輸入文本中仍然有誤用詞。詞"fate"需要通過(guò)參照?qǐng)D3下 文描述的誤用和語(yǔ)法校正算法來(lái)校正。
[0119] 現(xiàn)在參照?qǐng)D3,其是說(shuō)明了圖1的系統(tǒng)和功能中優(yōu)選地使用的誤用詞和語(yǔ)法校正 功能的簡(jiǎn)化的流程圖。誤用詞和語(yǔ)法校正功能提供了拼寫(xiě)正確但在輸入文本的上下文中是 誤用的詞的校正，以及包括語(yǔ)法上不正確的詞代替了語(yǔ)法上正確的詞的使用、冗余詞和丟 詞和標(biāo)點(diǎn)的使用的語(yǔ)法錯(cuò)誤的校正。
[0120] 如圖3所示，誤用詞和語(yǔ)法校正功能優(yōu)選地包括以下步驟：
[0121] 通過(guò)優(yōu)選地評(píng)價(jià)輸入句子的上下文內(nèi)的詞的至少大部分的適合度，來(lái)識(shí)別懷疑的 誤用詞和具有從圖2的拼寫(xiě)校正功能輸出的拼寫(xiě)校正輸入文本中的語(yǔ)法錯(cuò)誤的詞；
[0122] 將懷疑的誤用詞和具有語(yǔ)法錯(cuò)誤的詞分成簇，所述簇優(yōu)選地是不重疊的；以及
[0123] 選擇用于校正的簇。識(shí)別、分組和選擇步驟優(yōu)選地基于參照?qǐng)D6B下文描述的算 法。
[0124] 優(yōu)選地基于參照?qǐng)D7A下文描述的備選校正生成算法，來(lái)為每個(gè)簇生成一個(gè)或優(yōu) 選地生成多個(gè)備選校正；
[0125] 基于參照?qǐng)D10下文描述的丟失的冠詞、介詞和標(biāo)點(diǎn)校正算法，來(lái)為每個(gè)簇生成一 個(gè)或優(yōu)選地生成多個(gè)備選校正；
[0126] 基于參照?qǐng)D11下文描述的冗余的冠詞、介詞和標(biāo)點(diǎn)校正算法，來(lái)為每個(gè)簇生成一 個(gè)或優(yōu)選地生成多個(gè)備選校正；
[0127] 優(yōu)選地基于參照?qǐng)D9下文描述的誤用詞和語(yǔ)法校正備選詞計(jì)分算法，至少部分地 基于上下文和詞的基于相似性來(lái)對(duì)各種備選校正計(jì)分；
[0128] 對(duì)于每個(gè)簇，也參照?qǐng)D9按照下文描述的上述計(jì)分，來(lái)選擇單個(gè)誤用詞和語(yǔ)法校 正并示出最優(yōu)選的備選誤用詞和語(yǔ)法校正；以及
[0129] 為每個(gè)簇提供包括單個(gè)誤用詞和語(yǔ)法校正的拼寫(xiě)、誤用詞和語(yǔ)法校正文本輸出， 所述簇代替不正確的簇。
[0130] 優(yōu)選地，計(jì)分包括：為此應(yīng)用與多個(gè)備選詞中的一個(gè)相比有利于懷疑的詞的偏置， 所述偏置是指示了提供輸入的人的不確定度的輸入不確定度的度量的函數(shù)。
[0131] 根據(jù)以下示例的考慮，可以更好地理解圖3的功能的操作：
[0132] 接收以下輸入文本：
[0133] I have money book
[0134] 將以下詞識(shí)別為懷疑的誤用詞：
[0135] money,book
[0136] 生成以下簇：
[0137] money book
[0138] 以下是備選校正的示例，其為簇而生成（部分的列出）：
[0139] money books ；money back ；money box ；money bulk ；money Buick ；money ebook ； money bank ；mini book ；mummy book ；Monet book ；honey book ；mannerly book ；mono book ；Monday book ；many books ；mini bike ；mummy back ；monkey bunk ；Monday booked ； Monarchy back ；Mourned brook
[0140] 在表4中示出了使用互聯(lián)網(wǎng)語(yǔ)料庫(kù)基于上下文和不基于上下文詞的基于相似性 的得分的至少部分的上下文計(jì)分的結(jié)果：
[0141] 表 4
[0142]
[0143]
[0144] 可以理解，存在得到總分的各種方法。優(yōu)選的總分是基于參照?qǐng)D9下文描述的算 法。
[0145] 基于上述計(jì)分，選擇備選詞"many book"。因此，校正文本是：
[0146] I have many book
[0147] 現(xiàn)在參照?qǐng)D4,其是說(shuō)明了圖1的系統(tǒng)和功能中使用的詞匯增強(qiáng)功能的簡(jiǎn)化的流 程圖。如圖4所示，詞匯增強(qiáng)功能優(yōu)選地包括以下步驟：
[0148] 識(shí)別詞匯挑戰(zhàn)，其中所述詞在從圖3的誤用詞和語(yǔ)法校正功能輸出的，在拼寫(xiě)、誤 用詞和語(yǔ)法校正輸入文本中，具有懷疑的不是最理想的詞匯的使用；
[0149] 將詞匯挑戰(zhàn)分成簇，其優(yōu)選的是不重疊的；
[0150] 選擇用于校正的簇。識(shí)別、分組和選擇步驟是優(yōu)選地基于參照?qǐng)D6C下文描述的算 法。
[0151] 優(yōu)選地基于參照?qǐng)D7B下文描述的詞匯增強(qiáng)生成算法，來(lái)為每個(gè)簇生成一個(gè)或優(yōu) 選地生成多個(gè)備選詞匯增強(qiáng)；
[0152] 不基于上下文詞的基于相似性的計(jì)分和上下文計(jì)分，優(yōu)選地基于參照?qǐng)D9下文描 述的詞匯增強(qiáng)備選詞計(jì)分算法，來(lái)優(yōu)選地使用各種備選詞匯增強(qiáng)的互聯(lián)網(wǎng)語(yǔ)料庫(kù)；
[0153] 對(duì)于每個(gè)簇，基于參照?qǐng)D9下文還描述的上述計(jì)分，來(lái)選擇單個(gè)詞匯增強(qiáng)并示出 最優(yōu)選的備選詞匯增強(qiáng)；以及
[0154] 為每個(gè)不是最理想的詞匯簇提供詞匯增強(qiáng)建議。
[0155] 根據(jù)以下示例的考慮，可以更好地理解圖4的功能的操作：
[0156] 提供以下的拼寫(xiě)、誤用詞和語(yǔ)法校正輸入文本：
[0157] Wearing colorful clothes will separate us from the rest of the children in the school.
[0158] 使用參照?qǐng)D6C下文描述的功能，為詞匯增強(qiáng)選擇以下簇：
[0159] separate
[0160] 使用參照?qǐng)D7B下文描述的功能，基于圖7B中描述的預(yù)處理詞匯數(shù)據(jù)庫(kù)（部分的 列表），來(lái)生成如表5所示的以下備選簇校正：
[0161] 表 5
[0162]
[0163] 至少部分地基于輸入文本的上下文內(nèi)的詞的合適度并且還基于備選詞的詞意與 詞匯挑戰(zhàn)"separate"的相似度，使用互聯(lián)網(wǎng)語(yǔ)料庫(kù)來(lái)對(duì)各種備選詞匯增強(qiáng)計(jì)分。
[0164] 使用參照?qǐng)D5下文描述的功能，生成以下的CFS(部分地列出）：
[0165] 'will separate'，'separate us'，'clothes will separate'，'will separate us'，' separate us from'
[0166] 使用參照?qǐng)D9的階段II A下文描述的功能，為CFS的上述列表中的備選簇校正的 部分列表生成在表6所示的互聯(lián)網(wǎng)語(yǔ)料庫(kù)中的出現(xiàn)頻率的矩陣：
[0167] 表 6

[0170] 消除所有備選校正的出現(xiàn)的頻率為零的所有CFS。在該示例中，消除以下 feature-gram ：
[0171] ' clothes will separate'
[0172] 所以，消除全部包括在至少具有出現(xiàn)的最低閾值頻率的其它CFS中的所有CFS。例 如，消除以下feature-gram :
[0173] 'will separate' , ' separate us，
[0174] 在該示例中，剩余的CFS是feature-gram :
[0175] 'will separate us'，'separate us from'
[0176] 使用參照?qǐng)D9在階段II D和II E中下文描述的最終優(yōu)先選擇得分，選擇備選 "differentiate"，增強(qiáng)的句子是：
[0177] Wearing colorful clothes will differentiate us from the rest of the children in the school.
[0178] 現(xiàn)在參照?qǐng)D5,其是說(shuō)明了在用于本發(fā)明的優(yōu)選實(shí)施例的計(jì)算機(jī)輔助語(yǔ)言校正的 系統(tǒng)和功能中有用的上下文特征序列（CFS)功能118(圖1)的簡(jiǎn)化的框圖。
[0179] CFS功能118優(yōu)選地包括特征提取功能，其包括N-gram提取功能以及可選的至少 一個(gè)skip-gram提取功能；switch-gram提取功能；共同出現(xiàn)提取功能；之前由用戶使用的 特征提取功能。
[0180] 術(shù)語(yǔ)N-gram是技術(shù)的已知術(shù)語(yǔ)，指代輸入文本中的N個(gè)連續(xù)詞的序列。N-gram提 取功能可以使用傳統(tǒng)的詞性標(biāo)注（part-of-speech tagging)和句子分析功能以避免生成 基于語(yǔ)法考慮不期望在語(yǔ)料庫(kù)（優(yōu)選的是互聯(lián)網(wǎng)語(yǔ)料庫(kù)）中高頻率出現(xiàn)的某種n-gram。
[0181] 為了本描述的目的，術(shù)語(yǔ)"skip-gram提取功能"意味著功能上用于提取 "skip-gram"，所述"skip-gram"是修改的n-gram，所述n-gram省略了一些不重要的詞或短 語(yǔ)，例如形容詞、副詞、形容詞短語(yǔ)和副詞短語(yǔ)，或者所述n-gram僅包含具有預(yù)定的語(yǔ)法關(guān) 系的詞，例如主語(yǔ)-動(dòng)詞、動(dòng)詞-賓語(yǔ)、副詞-動(dòng)詞或動(dòng)詞-時(shí)間短語(yǔ)。skip-gram提取功能 可以使用傳統(tǒng)的詞性標(biāo)注和句子分析功能來(lái)幫助確定在給定的上下文中可以跳過(guò)哪些詞。
[0182] 對(duì)于本描述的目的，術(shù)語(yǔ)"switch-gram提取功能"意味著識(shí)別"switch gram"的 功能，所述"switch-gram"是修改的n-gram，其中，轉(zhuǎn)換一些詞的出現(xiàn)順序。switch-gram 提取功能可以使用傳統(tǒng)的詞性標(biāo)注和句子分析功能來(lái)幫助確定在給定的上下文中可以轉(zhuǎn) 換哪些詞的出現(xiàn)順序。
[0183] 為了本描述的目的，術(shù)語(yǔ)"共同出現(xiàn)提取功能"意味著識(shí)別在輸入句子或包含多 個(gè)輸入句子的輸入文檔中的詞的組合，所述功能具有用于在輸入文本而不是在N-gram、 switch-gram或skip-gram中包括的那些的輸入文本詞共同出現(xiàn)，以及指示到輸入詞和方 向的距離，在此之后過(guò)濾除經(jīng)常出現(xiàn)的詞，例如介詞、冠詞、連詞和其功能主要是起語(yǔ)法作 用的其它詞。
[0184] 為了本描述的目的，術(shù)語(yǔ)"之前由用戶使用的特征提取功能"意味著識(shí)別用戶在其 它文檔中使用的詞，在此之后濾除經(jīng)常出現(xiàn)的詞，例如介詞、冠詞、連詞和其功能主要是起 語(yǔ)法作用的其它詞。
[0185] 為了本描述的目的，N-gram、skip-gram、switch-gram和其組合被稱為 feature-gram〇
[0186] 為了本描述的目的，N-gram、skip-gram、switch-gram、共同出現(xiàn)、"之前由用戶使 用的特征"和其組合被稱為上下文特征序列或CFS。
[0187] 圖5的功能優(yōu)選地對(duì)輸入文本中的單獨(dú)的詞或詞的簇進(jìn)行操作。
[0188] 根據(jù)以下示例的考慮，可以更好地理解圖5的功能的操作：
[0189] 提供以下的輸入文本：
[0190] Cherlock Homes the lead character and chief inspecter has been cold in by the family doctor Dr Mortimer, to invesigate the death of sir Charles
[0191] 對(duì)于輸入文本中的簇"Cherlock Homes"，生成以下的CFS :
[0192] N-gram ：
[0193] 2-gram:Cherlock Homes ；Homes the
[0194] 3-gram:Cherlock Homes the ；Homes the lead
[0195] 4-gram:Cherlock Homes the lead ；Homes the lead character
[0196] 5-gram:Cherlock Homes the lead character
[0197] Skip-gram:
[0198] Cherlock Homes the character ；Cherlock Homes the chief inspecter ； Cherlock Homes the inspecter ；Cherlock Homes has been cold
[0199] Switch gram:
[0200] The lead character Cherlock Homes
[0201] 輸入文本中的共同出現(xiàn)：
[0202] Character ;inspector ;investigate ;death
[0203] 包含輸入文本的文檔中的共同出現(xiàn)：
[0204] Arthur Conan Doyle ；story
[0205] 用戶的其它文檔中的共同出現(xiàn)：
[0206] mystery
[0207] 對(duì)于輸入文本中的簇"cold"，生成以下的CFS :
[0208] N-gram:
[0209] 2-gram:been cold ；cold in
[0210] 3-gram:has been cold ；been cold in ；cold in by
[0211] 4-gram:inspector has been cold ；has been cold in ；been cold in by
[0212] 5-gram:chief inspector has been cold ；inspector has been cold in ；has been cold in by ；been cold in by the ；cold in by the family
[0213] Skip-gram: