技術(shù)特征：

1.一種基于深度學(xué)習(xí)的多模態(tài)標(biāo)注方法，其步驟包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用多模態(tài)標(biāo)注模塊對(duì)多模態(tài)數(shù)據(jù)進(jìn)行標(biāo)注的方法為：首先根據(jù)設(shè)定的標(biāo)注任務(wù)的具體內(nèi)容和標(biāo)準(zhǔn)，確定需要標(biāo)注的數(shù)據(jù)類型、標(biāo)簽體系；然后根據(jù)標(biāo)注任務(wù)選擇多模態(tài)標(biāo)注形式，對(duì)所述多模態(tài)數(shù)據(jù)進(jìn)行標(biāo)注，得到所述數(shù)據(jù)集。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，采用yolo算法利用所述數(shù)據(jù)集訓(xùn)練深度學(xué)習(xí)模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述yolo算法包括多通道輸入端、backbone層和多通道輸出端；所述backbone層包括focus結(jié)構(gòu)、csp結(jié)構(gòu)和clip結(jié)構(gòu)；其中，對(duì)于所述數(shù)據(jù)集中每一標(biāo)注的多模態(tài)數(shù)據(jù)，訓(xùn)練方法為：

5.根據(jù)權(quán)利要求1或2或3所述的方法，其特征在于，所述優(yōu)化器中的損失函數(shù)為lossiou＝1-iou；iou為一多模態(tài)數(shù)據(jù)中標(biāo)注的真實(shí)框和該多模態(tài)數(shù)據(jù)的預(yù)測(cè)框的交并比。

6.根據(jù)權(quán)利要求1或2或3所述的方法，其特征在于，根據(jù)所述多模態(tài)數(shù)據(jù)的特點(diǎn)和標(biāo)注任務(wù)確定所述深度學(xué)習(xí)模型的結(jié)構(gòu)和參數(shù)。

7.根據(jù)權(quán)利要求1或2或3所述的方法，其特征在于，所述多模態(tài)數(shù)據(jù)包含圖像和文本。

8.一種服務(wù)器，其特征在于，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被配置為由所述處理器執(zhí)行，所述計(jì)算機(jī)程序包括用于執(zhí)行權(quán)利要求1至7任一所述方法的指令。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7任一所述方法。

技術(shù)總結(jié)
本發(fā)明公開了一種基于深度學(xué)習(xí)的多模態(tài)標(biāo)注方法，其步驟包括：1)利用多模態(tài)標(biāo)注模塊對(duì)多模態(tài)數(shù)據(jù)進(jìn)行標(biāo)注，得到標(biāo)注好的數(shù)據(jù)集；2)利用所述數(shù)據(jù)集訓(xùn)練深度學(xué)習(xí)模型，通過反向傳播算法和優(yōu)化器來調(diào)整所述深度學(xué)習(xí)模型的權(quán)重和參數(shù)，使所述深度學(xué)習(xí)模型逐漸學(xué)習(xí)到標(biāo)注內(nèi)容的特征和規(guī)律；3)對(duì)于一待標(biāo)注的多模態(tài)數(shù)據(jù)，將其輸入到訓(xùn)練后的深度學(xué)習(xí)模型進(jìn)行推理和預(yù)測(cè)，生成該待標(biāo)注的多模態(tài)數(shù)據(jù)的標(biāo)注結(jié)果。利用本發(fā)明可以實(shí)現(xiàn)對(duì)包含圖像、文本等多種模態(tài)的數(shù)據(jù)進(jìn)行高效準(zhǔn)確的標(biāo)注，從而為多模態(tài)數(shù)據(jù)的標(biāo)注提供了一種高效可靠的解決方案。

技術(shù)研發(fā)人員：宋東澤,崔強(qiáng),王露笛,崔文娟,杜一
受保護(hù)的技術(shù)使用者：中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30