技術(shù)特征：

1.基于思維鏈條的圖像級自動提示生成方法，其特征在于，利用思維鏈條思想將一階段的目標(biāo)檢測任務(wù)分解為多步，針對特定數(shù)據(jù)集自動生成圖像級的提示，從而提高目標(biāo)檢測準(zhǔn)確率，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于思維鏈條的圖像級自動提示生成方法，其特征在于，所述的概念提取模塊由前景物體提取器extf和預(yù)訓(xùn)練好的文本-圖像匹配對組成。

3.根據(jù)權(quán)利要求1所述的基于思維鏈條的圖像級自動提示生成方法，其特征在于，所述的常識知識圖譜gc以常識知識庫概念網(wǎng)絡(luò)為基礎(chǔ)，待檢測類別標(biāo)簽為實體，關(guān)聯(lián)關(guān)系為邊，關(guān)聯(lián)程度為權(quán)重，數(shù)學(xué)模型為帶權(quán)有向圖。

4.根據(jù)權(quán)利要求1所述的基于思維鏈條的圖像級自動提示生成方法，其特征在于，所述的大語言模型為生成式預(yù)訓(xùn)練轉(zhuǎn)換器模型，利用兩步問答進(jìn)行場景聯(lián)想和概念補充推理。

5.根據(jù)權(quán)利要求2所述的前景物體提取器extf，其特征在于，使用視覺變換器作為基礎(chǔ)網(wǎng)絡(luò)，使用尺寸為14*14的無重疊窗口提取特征圖，并利用感興趣區(qū)域頭篩選預(yù)選框，從而獲得前景物體所在區(qū)域。

技術(shù)總結(jié)
本發(fā)明提出了基于思維鏈條的圖像級提示自動生成目標(biāo)檢測方法，屬于多模態(tài)目標(biāo)檢測領(lǐng)域。本發(fā)明提出的方法包括步驟：1)將圖像輸入概念提取模塊，篩選前景物體區(qū)域并識別；2)建立常識知識圖譜G<subgt;C</subgt;，刪除初步提示P<subgt;raw</subgt;中不共存物體；3)使用大語言模型對P<subgt;prune</subgt;進(jìn)行場景聯(lián)想和概念推理補充；4)設(shè)計自適應(yīng)閾值算法，刪除聯(lián)想擴(kuò)充后的提示P<subgt;search</subgt;中置信度較低的概念得到圖像級提示P<subgt;image</subgt;；5)將提示P<subgt;image</subgt;與對應(yīng)圖像I輸入視覺語言模型完成檢測。本發(fā)明基于思維鏈條思想，利用多模態(tài)大模型的泛化能力和大語言模型的文本生成能力，設(shè)計了圖像級提示自動生成方法，有效提高了視覺語言模型目標(biāo)檢測的準(zhǔn)確率。

技術(shù)研發(fā)人員：姜竹青,郭妙恬,門愛東
受保護(hù)的技術(shù)使用者：北京郵電大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26