本發(fā)明涉及安全監(jiān)控，尤其涉及一種基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)。

背景技術(shù)：

1、隨著汽車保有量的不斷增加，車輛安全問題日益凸顯。其中，在夜晚中有違法人員違法拉車門行為，造成車主財產(chǎn)損失并影響社會秩序。

2、隨著社會的發(fā)展，城市建設(shè)不斷加快，公共安全的需求日益增加，各類監(jiān)控攝像頭的覆蓋面積顯著擴大。雖然監(jiān)控設(shè)備遍布街頭巷尾，但目前多數(shù)監(jiān)控系統(tǒng)在調(diào)查違法人員違法拉車門中，主要依賴于事后的錄像回放來獲取證據(jù)。這種被動的監(jiān)控模式存在顯著的不足之處：

3、一、實時性差：大多數(shù)現(xiàn)有系統(tǒng)不能實時識別和報警，事后查看錄像不僅需要耗費大量時間，還可能因監(jiān)控盲區(qū)或錄像不清晰等原因而難以發(fā)現(xiàn)違法行為。

4、二、被動取證：事后尋找錄像記錄來獲取證據(jù)，往往已經(jīng)造成財產(chǎn)損失，無法及時阻止犯罪行為。

5、三、證據(jù)可靠性不足：錄像回放時，針對具有反偵察意識強的破壞者，很難提取到可追溯性高的信息，導(dǎo)致破壞者難以被追責(zé)。

6、因此，提出一種能夠在夜間環(huán)境下識別并記錄違規(guī)拉車門行為的系統(tǒng)是十分有必要的。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，能夠在夜間環(huán)境下識別并記錄違規(guī)拉車門行為，有效防范和打擊違法行為，保障公眾的財產(chǎn)安全。

2、為實現(xiàn)上述目的，本發(fā)明采用的一種基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，包括監(jiān)控畫面數(shù)據(jù)獲取模塊、音頻數(shù)據(jù)獲取模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)分析模塊、判斷模塊、視頻研判模塊和處置推送模塊，所述數(shù)據(jù)預(yù)處理模塊分別與所述監(jiān)控畫面數(shù)據(jù)獲取模塊、所述音頻數(shù)據(jù)獲取模塊和所述數(shù)據(jù)分析模塊連接，所述判斷模塊與所述數(shù)據(jù)分析模塊連接，所述視頻研判模塊分別與所述判斷模塊和所述處置推送模塊連接；

3、所述監(jiān)控畫面數(shù)據(jù)獲取模塊，用于獲取監(jiān)控區(qū)域的視頻數(shù)據(jù)，并提取視頻數(shù)據(jù)中靜態(tài)的圖片數(shù)據(jù)；

4、所述音頻數(shù)據(jù)獲取模塊，用于獲取監(jiān)控區(qū)域的音頻數(shù)據(jù)；

5、所述數(shù)據(jù)預(yù)處理模塊，用于分別將圖片數(shù)據(jù)和音頻數(shù)據(jù)進行預(yù)處理操作，并根據(jù)時間對圖片數(shù)據(jù)和音頻數(shù)據(jù)進行融合；

6、所述數(shù)據(jù)分析模塊，用于針對融合后的數(shù)據(jù)分析該時間下監(jiān)控區(qū)域中違法拉車門行為，并輸出分析結(jié)果；

7、所述判斷模塊，用于設(shè)置邏輯值，并為分析結(jié)果匹配邏輯值；

8、所述視頻研判模塊，用于發(fā)出人工研判請求，并獲取研判結(jié)果；

9、所述處置推送模塊，用于將研判結(jié)果推送至處置人員，進行處置流程。

10、其中，所述數(shù)據(jù)預(yù)處理模塊包括圖片處理單元、音頻處理單元、實時時間劃分單元和融合單元，所述圖片處理單元與所述監(jiān)控畫面數(shù)據(jù)獲取模塊連接，所述音頻處理單元與所述音頻數(shù)據(jù)獲取模塊連接，所述融合單元分別與所述圖片處理單元、所述音頻處理單元、所述實時時間劃分單元和所述數(shù)據(jù)分析模塊連接。

11、其中，所述圖片處理單元，用于將圖片數(shù)據(jù)進行預(yù)處理操作；其中預(yù)處理過程包括灰度化、噪聲去除、對比度增強、歸一化；

12、所述音頻處理單元，用于將音頻數(shù)據(jù)進行預(yù)處理操作；其中預(yù)處理過程包括數(shù)字化、噪聲抑制、特征提取、標準化；

13、所述實時時間劃分單元，用于提供實時時間數(shù)據(jù)；

14、所述融合單元，用于根據(jù)實時時間數(shù)據(jù)，對圖片數(shù)據(jù)和音頻數(shù)據(jù)進行融合。

15、其中，所述數(shù)據(jù)分析模塊包括數(shù)據(jù)集獲取單元、問答數(shù)據(jù)集單元、模型選定單元、模型微調(diào)單元、模型驗證單元和應(yīng)用分析單元，所述問答數(shù)據(jù)集單元分別與所述數(shù)據(jù)集獲取單元和所述模型選定單元連接，所述模型微調(diào)單元與所述模型選定單元，所述模型驗證單元分別與所述模型微調(diào)單元和所述應(yīng)用分析單元連接，所述應(yīng)用分析單元與所述數(shù)據(jù)預(yù)處理模塊連接。

16、其中，所述數(shù)據(jù)集獲取單元，用于獲取歷史圖片數(shù)據(jù)和音頻數(shù)據(jù)，統(tǒng)計得到數(shù)據(jù)集；

17、所述問答數(shù)據(jù)集單元，用于將數(shù)據(jù)集制作為問答數(shù)據(jù)集；

18、所述模型選定單元，用于選擇識別模型；

19、所述模型微調(diào)單元，用于對識別模型進行微調(diào)處理；

20、所述模型驗證單元，用于訓(xùn)練并驗證識別模型；

21、所述應(yīng)用分析單元，用于針對融合后的數(shù)據(jù)分析該時間下監(jiān)控區(qū)域中違法拉車門行為，并輸出分析結(jié)果數(shù)據(jù)。

22、其中，所述判斷模塊包括分析結(jié)果數(shù)據(jù)獲取單元、邏輯值匹配單元、邏輯值轉(zhuǎn)換單元和研判操作控制單元，所述分析結(jié)果數(shù)據(jù)獲取單元與所述數(shù)據(jù)分析模塊連接，所述邏輯值轉(zhuǎn)換單元分別與所述分析結(jié)果數(shù)據(jù)獲取單元、所述邏輯值匹配單元和所述研判操作控制單元連接，所述研判操作控制單元與所述視頻研判模塊連接。

23、其中，所述邏輯值匹配單元，用于設(shè)置邏輯值，并為邏輯值賦予對應(yīng)的預(yù)設(shè)分析結(jié)果；

24、所述分析結(jié)果數(shù)據(jù)獲取單元，用于獲取分析結(jié)果數(shù)據(jù)；

25、所述邏輯值轉(zhuǎn)換單元，用于為分析結(jié)果數(shù)據(jù)匹配邏輯值；

26、所述研判操作控制單元，用于根據(jù)匹配邏輯值，輸出操作請求。

27、其中，所述基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)還包括數(shù)據(jù)保留模塊，所述數(shù)據(jù)保留模塊與所述數(shù)據(jù)預(yù)處理模塊連接；

28、所述數(shù)據(jù)保留模塊，用于存儲識別結(jié)果為違法拉車門行為的數(shù)據(jù)。

29、其中，所述數(shù)據(jù)保留模塊包括數(shù)據(jù)傳輸獲取單元、劃分單元和存儲單元，所述數(shù)據(jù)傳輸獲取單元與所述數(shù)據(jù)預(yù)處理模塊連接，所述劃分單元分別與所述數(shù)據(jù)傳輸獲取單元和所述存儲單元連接。

30、其中，所述數(shù)據(jù)傳輸獲取單元，用于獲取識別結(jié)果為違法拉車門行為的數(shù)據(jù)；

31、所述劃分單元，用于建立主文件，并根據(jù)時間分別將圖片數(shù)據(jù)和音頻數(shù)據(jù)劃分至主文件中；

32、所述存儲單元，用于存儲主文件。

33、本發(fā)明的一種基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，采用所述監(jiān)控畫面數(shù)據(jù)獲取模塊、所述音頻數(shù)據(jù)獲取模塊、所述數(shù)據(jù)預(yù)處理模塊、所述數(shù)據(jù)分析模塊、所述判斷模塊、所述視頻研判模塊和所述處置推送模塊；其中所述監(jiān)控畫面數(shù)據(jù)獲取模塊用于獲取監(jiān)控區(qū)域的視頻數(shù)據(jù)，并提取視頻數(shù)據(jù)中靜態(tài)的圖片數(shù)據(jù)；所述音頻數(shù)據(jù)獲取模塊用于獲取監(jiān)控區(qū)域的音頻數(shù)據(jù)；所述數(shù)據(jù)預(yù)處理模塊用于分別將圖片數(shù)據(jù)和音頻數(shù)據(jù)進行預(yù)處理操作，并根據(jù)時間對圖片數(shù)據(jù)和音頻數(shù)據(jù)進行融合；所述數(shù)據(jù)分析模塊用于針對融合后的數(shù)據(jù)分析該時間下監(jiān)控區(qū)域中違法拉車門行為，并輸出分析結(jié)果；所述判斷模塊用于設(shè)置邏輯值，并為分析結(jié)果匹配邏輯值；所述視頻研判模塊用于發(fā)出人工研判請求，并獲取研判結(jié)果；所述處置推送模塊用于將研判結(jié)果推送至處置人員，進行處置流程；能夠在夜間環(huán)境下識別并記錄違規(guī)拉車門行為，有效防范和打擊違法行為，保障公眾的財產(chǎn)安全。

技術(shù)特征：

1.一種基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，其特征在于，

2.如權(quán)利要求1所述的基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，其特征在于，

3.如權(quán)利要求2所述的基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，其特征在于，

4.如權(quán)利要求1所述的基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，其特征在于，

5.如權(quán)利要求4所述的基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，其特征在于，

6.如權(quán)利要求1所述的基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，其特征在于，

7.如權(quán)利要求6所述的基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，其特征在于，

8.如權(quán)利要求1所述的基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，其特征在于，

9.如權(quán)利要求8所述的基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，其特征在于，

10.如權(quán)利要求9所述的基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)，其特征在于，

技術(shù)總結(jié)
本發(fā)明涉及安全監(jiān)控技術(shù)領(lǐng)域，具體涉及一種基于大模型多模態(tài)對違法拉車門行為識別的系統(tǒng)；包括監(jiān)控畫面數(shù)據(jù)獲取模塊、音頻數(shù)據(jù)獲取模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)分析模塊、判斷模塊、視頻研判模塊和處置推送模塊，數(shù)據(jù)預(yù)處理模塊，用于分別將圖片數(shù)據(jù)和音頻數(shù)據(jù)進行預(yù)處理操作，并進行融合；數(shù)據(jù)分析模塊，用于針對融合后的數(shù)據(jù)分析該時間下監(jiān)控區(qū)域中違法拉車門行為；視頻研判模塊，用于發(fā)出人工研判請求，并獲取研判結(jié)果；處置推送模塊，用于將研判結(jié)果推送至處置人員，進行處置流程，通過上述方式，能夠在夜間環(huán)境下識別并記錄違規(guī)拉車門行為，有效防范和打擊違法行為，保障公眾的財產(chǎn)安全。

技術(shù)研發(fā)人員：姜喜斌
受保護的技術(shù)使用者：智視云（嘉興）信息科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2