專利名稱：為圖片產(chǎn)生詩(shī)句的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本申請(qǐng)涉及一種為圖片產(chǎn)生詩(shī)句的方法和裝置，尤其涉及一種對(duì)接收的圖片進(jìn)行文字標(biāo)注，并且根據(jù)標(biāo)注的文字來(lái)產(chǎn)生相應(yīng)的詩(shī)句的方法和裝置。
背景技術(shù)：
隨著圖像處理技術(shù)和移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展以及數(shù)碼拍攝工具的普及，用戶可容易地通過(guò)數(shù)碼相機(jī)或帶有拍攝功能的便攜式終端拍攝大量的圖片并上傳到互聯(lián)網(wǎng)上。目前的圖像分析處理可對(duì)圖片進(jìn)行標(biāo)注，產(chǎn)生一些文字標(biāo)簽，但不能合成與圖片相關(guān)聯(lián)的文字描述。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種為圖片產(chǎn)生詩(shī)句的方法和裝置，通過(guò)對(duì)圖片進(jìn)行分析，并且從詩(shī)句文庫(kù)選取與圖片匹配的詩(shī)句，從而為圖片提供優(yōu)美的描述詩(shī)句，增強(qiáng)用戶的體驗(yàn)。根據(jù)本發(fā)明的一方面，提供一種為圖片產(chǎn)生詩(shī)句的方法，包括:接收?qǐng)D片；通過(guò)對(duì)接收的圖片進(jìn)行分析，為所述圖片產(chǎn)生至少一個(gè)文字標(biāo)簽；基于產(chǎn)生的文字標(biāo)簽計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度，并且選擇匹配度最高的詩(shī)句作為所述圖片的第一詩(shī)句。優(yōu)選地，所述通過(guò)對(duì)接收的圖片進(jìn)行分析，為所述圖片產(chǎn)生至少一個(gè)文字標(biāo)簽的處理包括:對(duì)接收的圖片進(jìn)行特征分析，提取多個(gè)圖片特征；使用提取的多個(gè)圖片特征構(gòu)建特征向量；將構(gòu)建的特征向量分別輸入多個(gè)預(yù)先訓(xùn)練的標(biāo)簽圖片模型，以獲得所述標(biāo)簽圖片模型的置信度值，所述每個(gè)標(biāo)簽圖片模型包括特征信息以及至少一個(gè)文字標(biāo)簽；將置信度最高的標(biāo)簽圖片模型的文字標(biāo)簽作為所述圖片的文字標(biāo)簽。優(yōu)選地，所述基于產(chǎn)生的文字標(biāo)簽計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度的處理包括:根據(jù)產(chǎn)生的標(biāo)簽中的字詞在詩(shī)句文庫(kù)中的每句詩(shī)詞中出現(xiàn)的次數(shù)計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。優(yōu)選地，所述基于產(chǎn)生的文字標(biāo)簽計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度的處理包括:對(duì)產(chǎn)生的標(biāo)簽中的字詞分別賦予權(quán)重，并且根據(jù)產(chǎn)生的標(biāo)簽中的字詞在詩(shī)句文庫(kù)中的每句詩(shī)詞中出現(xiàn)的次數(shù)以及所述字詞的權(quán)重所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。優(yōu)選地，所述的方法還包括:將選擇的第一詩(shī)句作為被譯詩(shī)句輸入訓(xùn)練的詩(shī)句翻譯模型，以產(chǎn)生第二詩(shī)句。優(yōu)選地，所述的方法還包括:以當(dāng)前產(chǎn)生的第二詩(shī)句作為被譯詩(shī)句輸入詩(shī)句翻譯模型迭代地產(chǎn)生預(yù)定個(gè)數(shù)的詩(shī)句。

根據(jù)本發(fā)明的另一方面，提供一種為圖片產(chǎn)生詩(shī)句的裝置，包括:圖片接收單元，用于接收?qǐng)D片；圖片標(biāo)注單元，用于通過(guò)對(duì)接收的圖片進(jìn)行分析，為所述圖片產(chǎn)生至少一個(gè)文字標(biāo)簽；詩(shī)文合成單元，用于基于產(chǎn)生的文字標(biāo)簽計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度，并且選擇匹配度最高的詩(shī)句作為所述圖片的第一詩(shī)句。優(yōu)選地，圖片標(biāo)注單元在通過(guò)對(duì)接收的圖片進(jìn)行分析，為所述圖片產(chǎn)生至少一個(gè)文字標(biāo)簽時(shí)，進(jìn)行以下處理:對(duì)接收的圖片進(jìn)行特征分析，提取多個(gè)圖片特征；使用提取的多個(gè)圖片特征構(gòu)建特征向量；將構(gòu)建的特征向量分別輸入多個(gè)預(yù)先訓(xùn)練的標(biāo)簽圖片模型，以獲得所述標(biāo)簽圖片模型的置信度值，所述每個(gè)標(biāo)簽圖片模型包括特征信息以及至少一個(gè)文字標(biāo)簽；將置信度最高的標(biāo)簽圖片模型的文字標(biāo)簽作為所述圖片的文字標(biāo)簽。優(yōu)選地，詩(shī)文合成單元根據(jù)產(chǎn)生的標(biāo)簽中的字詞在詩(shī)句文庫(kù)中的每句詩(shī)詞中出現(xiàn)的次數(shù)計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。優(yōu)選地，詩(shī)文合成單元對(duì)產(chǎn)生的標(biāo)簽中的字詞分別賦予權(quán)重，并且根據(jù)產(chǎn)生的標(biāo)簽中的字詞在詩(shī)句文庫(kù)中的每句詩(shī)詞中出現(xiàn)的次數(shù)以及所述字詞的權(quán)重所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。優(yōu)選地，詩(shī)文合成單元還將選擇的第一詩(shī)句作為被譯詩(shī)句輸入訓(xùn)練的詩(shī)句翻譯模型，以產(chǎn)生第二詩(shī)句。優(yōu)選地，詩(shī)文合成單元還以當(dāng)前產(chǎn)生的第二詩(shī)句作為被譯詩(shī)句輸入詩(shī)句翻譯模型迭代地產(chǎn)生預(yù)定個(gè)數(shù)的詩(shī)句。本發(fā)明的為圖片產(chǎn)生詩(shī)句的方法和裝置可對(duì)接收的圖片進(jìn)行分析來(lái)產(chǎn)生文字標(biāo)簽，并且通過(guò)將產(chǎn)生的文字標(biāo)簽與詩(shī)句文庫(kù)中的詩(shī)句進(jìn)行匹配來(lái)產(chǎn)生詩(shī)句。此外，還能夠已產(chǎn)生的詩(shī)句作為輸入，通過(guò)預(yù)先訓(xùn)練的詩(shī)句翻譯模型來(lái)產(chǎn)生更多的詩(shī)句，從而可為用戶提供的圖片或提供給用戶的圖片進(jìn)行創(chuàng)意的詩(shī)文標(biāo)注。


通過(guò)下面結(jié)合附圖進(jìn)行的描述，本發(fā)明的上述和其他目的和特點(diǎn)將會(huì)變得更加清楚，其中:圖1是示出根據(jù)本發(fā)明的示例性實(shí)施例的為圖片產(chǎn)生詩(shī)句的方法的流程圖；圖2是示出根據(jù)本發(fā)明示例性實(shí)施例的步驟S120的處理的流程圖；圖3是示出根據(jù)本發(fā)明示例性實(shí)施例的步驟S130的處理的流程圖；圖4是示出根據(jù)本發(fā)明的示例性實(shí)施例的為圖片產(chǎn)生詩(shī)句的裝置的邏輯框圖；圖5A和圖5B分別示出步驟S120處理的示例結(jié)果；圖6A和圖6B分別示出步驟S130處理的示例結(jié)果。
具體實(shí)施例方式以下，將參照附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施例。本發(fā)明的總體發(fā)明構(gòu)思是，在計(jì)算機(jī)設(shè)備上，對(duì)提供的圖片進(jìn)行特征分析，為圖片產(chǎn)生文字標(biāo)簽，并且從詩(shī)句文庫(kù)中選取與所述文字標(biāo)簽匹配度最高的詩(shī)句作為所述圖片的描述詩(shī)句。在此基礎(chǔ)上，根據(jù)統(tǒng)計(jì)機(jī)器翻譯的原理預(yù)先利用已有的大量平行句進(jìn)行機(jī)器學(xué)習(xí)，以訓(xùn)練出詩(shī)句翻譯模型。將一句詩(shī)詞作為被譯詩(shī)句輸入所述詩(shī)句翻譯模型，可產(chǎn)生下一句詩(shī)詞。以此迭代地可產(chǎn)生多句詩(shī)詞。圖1是示出根據(jù)本發(fā)明 的示例性實(shí)施例的標(biāo)注多媒體內(nèi)容的方法的流程圖。
參照?qǐng)D1，在步驟S110，接收?qǐng)D片。所述圖片可以是拍攝的照片或會(huì)花作品。在步驟S120，通過(guò)對(duì)接收的圖片進(jìn)行分析，為所述圖片產(chǎn)生至少一個(gè)文字標(biāo)簽。已有各種對(duì)圖片進(jìn)行分析來(lái)并生成文字標(biāo)簽的技術(shù)。公開號(hào)為CN102105901A的中國(guó)專利申請(qǐng)公開了一種從圖像集合中識(shí)別與輸入的圖像相似的近鄰圖像，并且使用為所述近鄰圖像標(biāo)注的標(biāo)簽對(duì)所述輸入圖像進(jìn)行注釋的技術(shù)。圖2示出根據(jù)本發(fā)明的一個(gè)示例性實(shí)施例在步驟S120的處理，稍后將參照?qǐng)D2對(duì)步驟S120進(jìn)行描述。在步驟S130，基于產(chǎn)生的文字標(biāo)簽計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度，并且選擇匹配度最高的詩(shī)句作為所述圖片的第一詩(shī)句。根據(jù)本發(fā)明的示例性實(shí)施例，所述詩(shī)句文庫(kù)以詩(shī)句(或詞句，在此統(tǒng)稱為詩(shī)句)為單位存儲(chǔ)詩(shī)詞，選擇的詩(shī)句也是一個(gè)詩(shī)句。根據(jù)本發(fā)明的可選實(shí)施例，所述詩(shī)句文庫(kù)也可以整首詩(shī)/整首詞為單位存儲(chǔ)詩(shī)詞，在這種情況下，選擇的詩(shī)句將是整首詩(shī)詞。稍后將參照?qǐng)D3，以詩(shī)句文庫(kù)以詩(shī)句為單位存儲(chǔ)詩(shī)詞作為示例描述步驟S130的操作。可將本發(fā)明的標(biāo)注多媒體內(nèi)容的方法實(shí)現(xiàn)為一種服務(wù)，根據(jù)接收的包括圖片的請(qǐng)求執(zhí)行步驟Slio S130的處理，并且作為響應(yīng)，提供在步驟S130中選擇的詩(shī)句。也可在收錄多媒體內(nèi)容的服務(wù)器中執(zhí)行將本發(fā)明的標(biāo)注多媒體內(nèi)容的方法，在接收到待收錄的圖片(如用戶上傳的圖片)時(shí)，執(zhí)行步驟SllO S130的處理，并且一同存儲(chǔ)在步驟S130中選擇的詩(shī)句與收錄的圖片。圖2是示出根據(jù)本發(fā)明示例性實(shí)施例的步驟S120的處理的流程圖。參照?qǐng)D2，在步驟S1210，從接收的圖片提取多個(gè)圖片特征?？赏ㄟ^(guò)GIST、HOG(Histograms of Oriented Gradients,梯度方向直方圖)、SIFT(Scale Invariant FeatureTransform，尺度不變特征變換匹配算法)中的一種或多種算法來(lái)提取多個(gè)圖片特征，以及/或者圖片的紋理、顏色等特征。 在步驟S1220，使用提取的多個(gè)圖片特征構(gòu)建特征向量。在步驟S1230，將構(gòu)建的特征向量分別輸入多個(gè)預(yù)先訓(xùn)練的標(biāo)簽圖片模型，以獲得所述標(biāo)簽圖片模型的置信度值。這里，可通過(guò)支持向量模型(SVM)分類器預(yù)先訓(xùn)練所述每個(gè)標(biāo)簽圖片模型，訓(xùn)練得到的每個(gè)標(biāo)簽圖片模型具有多個(gè)標(biāo)簽。例如，通過(guò)一定數(shù)量的老虎圖片可訓(xùn)練出老虎的標(biāo)簽圖片模型，通過(guò)一定數(shù)量的山的圖片可訓(xùn)練出山的標(biāo)簽圖片模型。將從步驟S1220構(gòu)建的特征向量輸入到任一標(biāo)簽圖片模型，可獲得所述圖片針對(duì)所述標(biāo)簽圖片模型的置信度值。此后，在步驟S1240，將置信度最高的標(biāo)簽圖片模型的文字標(biāo)簽作為所述圖片的文字標(biāo)簽。圖5A示出從老虎圖片獲得的多個(gè)文字標(biāo)簽，包括“老虎”、“孟加拉虎”、“東北虎”、“貓科動(dòng)物”、“華南虎”等。圖5B示出從黃山松圖片產(chǎn)生的多個(gè)文字標(biāo)簽，“迎客松”、“黃山松”、“黃山”、“安徽黃山”、“三清山”等。圖3是示出根據(jù)本發(fā)明示例性實(shí)施例的步驟S130的處理的流程圖。參照?qǐng)D3，在步驟S1310，基于產(chǎn)生的文字標(biāo)簽計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。根據(jù)本發(fā)明的可選實(shí)施例，根據(jù)產(chǎn)生的標(biāo)簽中的字詞在詩(shī)句文庫(kù)中的每句詩(shī)詞中出現(xiàn)的次數(shù)計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。例如，對(duì)產(chǎn)生的標(biāo)簽中的字詞分別賦予權(quán)重，根據(jù)產(chǎn)生的標(biāo)簽中的字詞在詩(shī)句文庫(kù)中的每句詩(shī)詞中出現(xiàn)的次數(shù)以及所述字詞的權(quán)重所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。
在步驟S1320，將計(jì)算得到的匹配度最高的詩(shī)句選擇為所述圖片的第一詩(shī)句。根據(jù)本發(fā)明的優(yōu)選實(shí)施例，還執(zhí)行步驟S1330 S1370，通過(guò)將當(dāng)前產(chǎn)生的詩(shī)句作為被譯詩(shī)句以得到更多的詩(shī)句。在步驟S1330，將產(chǎn)生的第一詩(shī)句作為被譯詩(shī)句。預(yù)先從各種信息員獲得的大規(guī)模詩(shī)句整理成第一二句平行，第二三句平行及第三四句平行的平行語(yǔ)料庫(kù)。通過(guò)該平行語(yǔ)料庫(kù)，可預(yù)先訓(xùn)練出詩(shī)句翻譯模型。給定被譯詩(shī)句，可通過(guò)所述詩(shī)句翻譯模型“翻譯”得到下一詩(shī)句。因此，在步驟S1350，將被譯詩(shī)句輸入訓(xùn)練的詩(shī)句翻譯模型，以產(chǎn)生下一詩(shī)句。在步驟S1360，確定是否已完成了詩(shī)句的產(chǎn)生?？赏ㄟ^(guò)判斷是否已生成了預(yù)定數(shù)量的詩(shī)句來(lái)確定是否完成了詩(shī)句的產(chǎn)生，也可通過(guò)判斷產(chǎn)生的所述下一詩(shī)句是否為空來(lái)確定是否完成了詩(shī)句的產(chǎn)生。如果在步驟S1360，確定尚未完成詩(shī)句的產(chǎn)生，則在步驟S1370，將剛剛產(chǎn)生的所述下一詩(shī)句作為被譯詩(shī)句，然后，返回步驟S1350，繼續(xù)產(chǎn)生更多的詩(shī)句。如果在步驟S1360，確定已完成了詩(shī)句的產(chǎn)生，則在步驟S1380，輸出得到的全部詩(shī)句。圖6A和圖6B分別示例性地示出了自圖5A和圖5B的老虎圖片和黃山松圖片產(chǎn)生的詩(shī)文。例如，為老虎圖片產(chǎn)生的詩(shī)句為:雷劈老松疑虎怒，雨沖陰洞覺龍腥。上方人不如 山雨，歸去路長(zhǎng)似無(wú)人。我的心已經(jīng)放在你那里了，再也收不回來(lái)了。其中，前兩句出自同一首唐詩(shī)《九華賀雨吟》，第三、第四句與前兩句并不出自同一首詩(shī)，最后兩句則是現(xiàn)代詩(shī)文，與前幾句都不屬同一意境，頗具幽默感。由此可見，通過(guò)本發(fā)明的標(biāo)注多媒體內(nèi)容的方法可從接收的圖片中產(chǎn)生一句或多句詩(shī)詞，并且通過(guò)詩(shī)句翻譯模型產(chǎn)生的多句詩(shī)詞不拘于同一詩(shī)文，因此可為圖片進(jìn)行有創(chuàng)意的詩(shī)文標(biāo)注，為用戶提供文學(xué)體驗(yàn)。圖4是示出根據(jù)本發(fā)明的示例性實(shí)施例的為圖片產(chǎn)生詩(shī)句的裝置的邏輯框圖。參照?qǐng)D4，根據(jù)本發(fā)明的為圖片產(chǎn)生詩(shī)句的裝置包括圖片接收單元410、圖片標(biāo)注單元420和詩(shī)文合成單元430。圖片接收單元410接收?qǐng)D片。所述圖片可以是拍攝的照片或會(huì)花作品。圖片標(biāo)注單元420通過(guò)對(duì)圖片接收單元410接收的圖片進(jìn)行分析，為所述圖片產(chǎn)生至少一個(gè)文字標(biāo)簽。可使用現(xiàn)有的對(duì)圖片進(jìn)行文字標(biāo)注的方法執(zhí)行圖片的分析和標(biāo)注。根據(jù)本發(fā)明的可選實(shí)施例，圖片標(biāo)注單元420使用提取的多個(gè)圖片特征構(gòu)建特征向量，將構(gòu)建的特征向量分別輸入多個(gè)預(yù)先訓(xùn)練的標(biāo)簽圖片模型，以獲得所述標(biāo)簽圖片模型的置信度值，所述每個(gè)標(biāo)簽圖片模型包括特征信息以及至少一個(gè)文字標(biāo)簽，然后將置信度最高的標(biāo)簽圖片模型的文字標(biāo)簽作為所述圖片的文字標(biāo)簽。詩(shī)文合成單元430基于圖片標(biāo)注單元420產(chǎn)生的文字標(biāo)簽計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度，并且選擇匹配度最高的詩(shī)句作為所述圖片的第一詩(shī)句。詩(shī)文合成單元430可根據(jù)產(chǎn)生的標(biāo)簽中的字詞在詩(shī)句文庫(kù)中的每句詩(shī)詞中出現(xiàn)的次數(shù)計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。例如，詩(shī)文合成單元430可對(duì)產(chǎn)生的標(biāo)簽中的字詞分別賦予權(quán)重，并且根據(jù)產(chǎn)生的標(biāo)簽中的字詞在詩(shī)句文庫(kù)中的每句詩(shī)詞中出現(xiàn)的次數(shù)以及所述字詞的權(quán)重所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。根據(jù)本發(fā)明的優(yōu)選實(shí)施例，預(yù)先從各種信息員獲得的大規(guī)模詩(shī)句整理成第一二句平行，第二三句平行及第三四句平行的平行語(yǔ)料庫(kù)。通過(guò)該平行語(yǔ)料庫(kù)，可預(yù)先訓(xùn)練出詩(shī)句翻譯模型。詩(shī)文合成單元430將選擇的第一詩(shī)句作為被譯詩(shī)句輸入預(yù)先訓(xùn)練的詩(shī)句翻譯模型，以產(chǎn)生第二詩(shī)句。根據(jù)本發(fā)明的又一優(yōu)選實(shí)施例，詩(shī)文合成單元430以當(dāng)前產(chǎn)生的第二詩(shī)句作為被譯詩(shī)句輸入詩(shī)句翻譯模型迭代地產(chǎn)生預(yù)定個(gè)數(shù)的詩(shī)句。根據(jù)本發(fā)明的可選實(shí)施例，為圖片產(chǎn)生詩(shī)句的裝置還包括輸出單元，用于輸出詩(shī)文合成單元430產(chǎn)生的全部詩(shī)句。從上述參照附圖對(duì)本發(fā)明的示例性實(shí)施例的描述可以看出，本發(fā)明的為圖片產(chǎn)生詩(shī)句的方法和裝置可對(duì)接收的圖片進(jìn)行分析來(lái)產(chǎn)生文字標(biāo)簽，并且通過(guò)將產(chǎn)生的文字標(biāo)簽與詩(shī)句文庫(kù)中的詩(shī)句進(jìn)行匹配來(lái)產(chǎn)生詩(shī)句。此外，還能夠已產(chǎn)生的詩(shī)句作為輸入，通過(guò)預(yù)先訓(xùn)練的詩(shī)句翻譯模型來(lái)產(chǎn)生更多的詩(shī)句，從而可為用戶提供的圖片或提供給用戶的圖片進(jìn)行創(chuàng)意的詩(shī)文標(biāo)注。需要指出，根據(jù)實(shí)施的需要，可將本申請(qǐng)中描述的各個(gè)步驟拆分為更多步驟，也可將兩個(gè)或多個(gè)步驟或者步驟的部分操作組合成新的步驟，以實(shí)現(xiàn)本發(fā)明的目的。上述根據(jù)本發(fā)明的方法可在硬件、固件中實(shí)現(xiàn)，或者被實(shí)現(xiàn)為可存儲(chǔ)在記錄介質(zhì)(諸如CD R0M、RAM、軟盤、硬盤或磁光盤)中的軟件或計(jì)算機(jī)代碼，或者被實(shí)現(xiàn)通過(guò)網(wǎng)絡(luò)下載的原始存儲(chǔ)在遠(yuǎn)程記錄介質(zhì)或非暫時(shí)機(jī)器可讀介質(zhì)中并將被存儲(chǔ)在本地記錄介質(zhì)中的計(jì)算機(jī)代碼，從而在此描述的方法可被存儲(chǔ)在使用通用計(jì)算機(jī)、專用處理器或者可編程或?qū)Ｓ糜布?諸如ASIC或FPGA)的記錄介質(zhì)上的這樣的軟件處理?？梢岳斫猓?jì)算機(jī)、處理器、微處理器控制器或可編程硬件包括可存儲(chǔ)或接收軟件或計(jì)算機(jī)代碼的存儲(chǔ)組件(例如，RAM、ROM、閃存等)，當(dāng)所述軟件或計(jì)算機(jī)代碼被計(jì)算機(jī)、處理器或硬件訪問(wèn)且執(zhí)行時(shí)，實(shí)現(xiàn)在此描述的處理方法。此外，當(dāng)通用計(jì)算機(jī)訪問(wèn)用于實(shí)現(xiàn)在此示出的處理的代碼時(shí)，代碼的執(zhí)行將通用計(jì)算機(jī)轉(zhuǎn)換為用于執(zhí)行在此示出的處理的專用計(jì)算機(jī)。盡管已參照優(yōu)選實(shí)施例表示和描述了本發(fā)明，但本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離由權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，可以對(duì)這些實(shí)施例進(jìn)行各種修改和 變換。
權(quán)利要求
1.一種為圖片產(chǎn)生詩(shī)句的方法，包括: 接收?qǐng)D片； 通過(guò)對(duì)接收的圖片進(jìn)行分析，為所述圖片產(chǎn)生至少一個(gè)文字標(biāo)簽； 基于產(chǎn)生的文字標(biāo)簽計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度，并且選擇匹配度最高的詩(shī)句作為所述圖片的第一詩(shī)句。
2.如權(quán)利要求1所述的方法，其特征在于，所述通過(guò)對(duì)接收的圖片進(jìn)行分析，為所述圖片產(chǎn)生至少一個(gè)文字標(biāo)簽的處理包括: 對(duì)接收的圖片進(jìn)行特征分析，提取多個(gè)圖片特征； 使用提取的多個(gè)圖片特征構(gòu)建特征向量； 將構(gòu)建的特征向量分別輸入多個(gè)預(yù)先訓(xùn)練的標(biāo)簽圖片模型，以獲得所述標(biāo)簽圖片模型的置信度值，所述每個(gè)標(biāo)簽圖片模型包括特征信息以及至少一個(gè)文字標(biāo)簽； 將置信度最高的標(biāo)簽圖片模型的文字標(biāo)簽作為所述圖片的文字標(biāo)簽。
3.如權(quán)利要求1所述的方法，其特征在于，所述基于產(chǎn)生的文字標(biāo)簽計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度的處理包括: 根據(jù)產(chǎn)生的標(biāo)簽中的字詞在詩(shī)句文庫(kù)中的每句詩(shī)詞中出現(xiàn)的次數(shù)計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。
4.如權(quán)利要求1所述的方法，其特征在于，所述基于產(chǎn)生的文字標(biāo)簽計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度的處理包括: 對(duì)產(chǎn)生的標(biāo)簽中的字詞分別賦予權(quán)重，并且 根據(jù)產(chǎn)生的標(biāo)簽中的字詞在詩(shī)句文庫(kù)中的每句詩(shī)詞中出現(xiàn)的次數(shù)以及所述字詞的權(quán)重所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。
5.如權(quán)利要求4所述的方法，還包括:將選擇的第一詩(shī)句作為被譯詩(shī)句輸入訓(xùn)練的詩(shī)句翻譯模型，以產(chǎn)生第二詩(shī)句。
6.如權(quán)利要求5所述的方法，還包括:以當(dāng)前產(chǎn)生的第二詩(shī)句作為被譯詩(shī)句輸入詩(shī)句翻譯模型迭代地產(chǎn)生預(yù)定個(gè)數(shù)的詩(shī)句。
7.一種為圖片產(chǎn)生詩(shī)句的裝置，包括: 圖片接收單元，用于接收?qǐng)D片； 圖片標(biāo)注單元，用于通過(guò)對(duì)接收的圖片進(jìn)行分析，為所述圖片產(chǎn)生至少一個(gè)文字標(biāo)簽; 詩(shī)文合成單元，用于基于產(chǎn)生的文字標(biāo)簽計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度，并且選擇匹配度最高的詩(shī)句作為所述圖片的第一詩(shī)句。
8.如權(quán)利要求7所述的裝置，其特征在于，圖片標(biāo)注單元在通過(guò)對(duì)接收的圖片進(jìn)行分析，為所述圖片產(chǎn)生至少一個(gè)文字標(biāo)簽時(shí)，進(jìn)行以下處理: 對(duì)接收的圖片進(jìn)行特征分析，提取多個(gè)圖片特征； 使用提取的多個(gè)圖片特征構(gòu)建特征向量； 將構(gòu)建的特征向量分別輸入多個(gè)預(yù)先訓(xùn)練的標(biāo)簽圖片模型，以獲得所述標(biāo)簽圖片模型的置信度值，所述每個(gè)標(biāo)簽圖片模型包括特征信息以及至少一個(gè)文字標(biāo)簽； 將置信度最高的標(biāo)簽圖片模型的文字標(biāo)簽作為所述圖片的文字標(biāo)簽。
9.如權(quán)利要求7所述的裝置，其特征在于，詩(shī)文合成單元根據(jù)產(chǎn)生的標(biāo)簽中的字詞在詩(shī)句文庫(kù)中的每句詩(shī)詞中出現(xiàn)的次數(shù)計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。
10.如權(quán)利要求7所述的裝置，其特征在于，詩(shī)文合成單元對(duì)產(chǎn)生的標(biāo)簽中的字詞分別賦予權(quán)重，并且根據(jù)產(chǎn)生的標(biāo)簽中的字詞在詩(shī)句文庫(kù)中的每句詩(shī)詞中出現(xiàn)的次數(shù)以及所述字詞的權(quán)重所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度。
11.如權(quán)利要求10所述的裝置，其特征在于，詩(shī)文合成單元還將選擇的第一詩(shī)句作為被譯詩(shī)句輸入訓(xùn)練的詩(shī)句翻譯模型，以產(chǎn)生第二詩(shī)句。
12.如權(quán)利要求11所述的裝置，其特征在于，詩(shī)文合成單元還以當(dāng)前產(chǎn)生的第二詩(shī)句作為被譯詩(shī)句輸入詩(shī)句翻譯模型迭代地產(chǎn)生預(yù)定個(gè)數(shù)的詩(shī)句。
全文摘要
提供一種為圖片產(chǎn)生詩(shī)句的方法和裝置。一種為圖片產(chǎn)生詩(shī)句的方法包括接收?qǐng)D片；通過(guò)對(duì)接收的圖片進(jìn)行分析，為所述圖片產(chǎn)生至少一個(gè)文字標(biāo)簽；基于產(chǎn)生的文字標(biāo)簽計(jì)算所述圖片與詩(shī)句文庫(kù)中的每句詩(shī)詞的匹配度，并且選擇匹配度最高的詩(shī)句作為所述圖片的第一詩(shī)句。
文檔編號(hào)G06F17/28GK103226547SQ20131015592
公開日2013年7月31日 申請(qǐng)日期2013年4月28日 優(yōu)先權(quán)日2013年4月28日
發(fā)明者高浩淵, 何伯磊, 陳世佳, 朱曉寧, 馬艷軍, 吳華, 王海峰 申請(qǐng)人:百度在線網(wǎng)絡(luò)技術(shù)(北京)有限公司