本發(fā)明涉及體溫監(jiān)測(cè)，尤其涉及一種基于多模態(tài)傳感器的體溫監(jiān)測(cè)系統(tǒng)。

背景技術(shù)：

1、在當(dāng)前的體溫監(jiān)測(cè)技術(shù)領(lǐng)域，盡管已經(jīng)取得了顯著的進(jìn)展，但仍存在諸多挑戰(zhàn)與不足，特別是在復(fù)雜多變的環(huán)境條件下，傳統(tǒng)的體溫監(jiān)測(cè)方法，如接觸式體溫計(jì)，雖然測(cè)量準(zhǔn)確，但操作繁瑣、耗時(shí)長(zhǎng)，且存在交叉感染的風(fēng)險(xiǎn)，而非接觸式的紅外測(cè)溫儀雖然實(shí)現(xiàn)了快速測(cè)量，但其測(cè)量精度往往受到環(huán)境溫濕度、人體運(yùn)動(dòng)狀態(tài)等多種因素的干擾，導(dǎo)致測(cè)量結(jié)果的不穩(wěn)定性和誤差。

2、此外，現(xiàn)有的非接觸式體溫監(jiān)測(cè)系統(tǒng)大多依賴(lài)于單一傳感器，如僅使用紅外熱成像儀進(jìn)行溫度測(cè)量，這種單模態(tài)傳感器系統(tǒng)雖然能夠在一定程度上滿(mǎn)足基本需求，但由于缺乏多維度的數(shù)據(jù)支持，其測(cè)量結(jié)果往往難以全面反映人體的真實(shí)體溫情況，例如，紅外熱成像儀容易受到環(huán)境溫度的干擾，導(dǎo)致測(cè)量誤差；同時(shí)，它也無(wú)法準(zhǔn)確區(qū)分人體不同部位的溫度差異，從而可能影響診斷的準(zhǔn)確性。

3、為了克服這些技術(shù)缺陷，人們開(kāi)始探索基于多模態(tài)傳感器的體溫監(jiān)測(cè)技術(shù)。然而，當(dāng)前市場(chǎng)上的多模態(tài)傳感器系統(tǒng)仍面臨一些挑戰(zhàn)，首先，不同傳感器之間的數(shù)據(jù)融合與校準(zhǔn)技術(shù)尚不成熟，導(dǎo)致系統(tǒng)整體性能受限；其次，系統(tǒng)的集成度和智能化水平有待提高，以滿(mǎn)足實(shí)時(shí)、高效、準(zhǔn)確的體溫監(jiān)測(cè)需求；最后，系統(tǒng)的成本和使用復(fù)雜度也是制約其廣泛應(yīng)用的重要因素。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提出一種基于多模態(tài)傳感器的體溫監(jiān)測(cè)系統(tǒng)，可以解決現(xiàn)有技術(shù)所存在的不同傳感器之間的數(shù)據(jù)融合與校準(zhǔn)技術(shù)尚不成熟、集成度和智能化水平有待提高、成本高的缺陷。

2、本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、一種基于多模態(tài)傳感器的體溫監(jiān)測(cè)系統(tǒng)，包括可見(jiàn)光攝像頭、深度相機(jī)、熱成像儀、環(huán)境溫濕度檢測(cè)模塊、矯正模塊和顯示模塊，所述可見(jiàn)光攝像頭、深度相機(jī)和熱成像儀集成于一體，所述可見(jiàn)光攝像頭用于捕捉人臉圖像，所述深度相機(jī)用于測(cè)量人臉與相機(jī)之間的距離，所述熱成像儀用于將深度相機(jī)獲取的距離信息與可見(jiàn)光攝像頭獲取的圖像進(jìn)行配準(zhǔn)，并依據(jù)配準(zhǔn)結(jié)果獲取定位測(cè)溫點(diǎn)，依據(jù)定位測(cè)溫點(diǎn)進(jìn)行溫度測(cè)量，所述環(huán)境溫濕度檢測(cè)模塊用于獲取環(huán)境的溫濕度，所述矯正模塊用于依據(jù)環(huán)境的溫濕度對(duì)熱成像儀測(cè)量到的溫度進(jìn)行矯正，所述顯示模塊用于實(shí)時(shí)顯示體溫測(cè)量結(jié)果。

4、作為所述基于多模態(tài)傳感器的體溫監(jiān)測(cè)系統(tǒng)的進(jìn)一步可選方案，所述熱成像儀將深度相機(jī)獲取的距離信息與可見(jiàn)光攝像頭獲取的圖像進(jìn)行配準(zhǔn)，具體包括：

5、使用雙目標(biāo)定技術(shù)，獲取可見(jiàn)光攝像頭和深度相機(jī)的內(nèi)外參數(shù)以及它們之間的相對(duì)位置關(guān)系；

6、基于雙目標(biāo)定的結(jié)果，將依據(jù)距離信息形成的深度圖像與可見(jiàn)光圖像進(jìn)行配準(zhǔn)。

7、作為所述基于多模態(tài)傳感器的體溫監(jiān)測(cè)系統(tǒng)的進(jìn)一步可選方案，所述基于雙目標(biāo)定的結(jié)果，將依據(jù)距離信息形成的深度圖像與可見(jiàn)光圖像進(jìn)行配準(zhǔn)，具體包括：

8、對(duì)深度圖像和可見(jiàn)光圖像進(jìn)行預(yù)處理，得到預(yù)處理后的深度圖像和可見(jiàn)光圖像；

9、在預(yù)處理后的深度圖像和可見(jiàn)光圖像中，提取用于配準(zhǔn)的特征點(diǎn)；

10、利用特征描述子對(duì)特征點(diǎn)進(jìn)行描述，并通過(guò)特征匹配算法找到深度圖像和可見(jiàn)光圖像中對(duì)應(yīng)的特征點(diǎn)對(duì)；

11、基于匹配的特征點(diǎn)對(duì)，計(jì)算從深度圖像到可見(jiàn)光圖像的變換矩陣；

12、依據(jù)計(jì)算得到的變換矩陣對(duì)深度圖像進(jìn)行變換，使其與可見(jiàn)光圖像在空間上重合，得到配準(zhǔn)后的可見(jiàn)光圖像。

13、作為所述基于多模態(tài)傳感器的體溫監(jiān)測(cè)系統(tǒng)的進(jìn)一步可選方案，所述依據(jù)配準(zhǔn)結(jié)果獲取定位測(cè)溫點(diǎn)，具體包括：

14、依據(jù)熱成像儀獲取紅外熱圖像；

15、依據(jù)計(jì)算機(jī)視覺(jué)算法在配準(zhǔn)后的可見(jiàn)光圖像中檢測(cè)人臉；

16、利用雙目標(biāo)定得到的相機(jī)參數(shù)，計(jì)算配準(zhǔn)后的可見(jiàn)光圖像與紅外熱圖像之間的變換關(guān)系；

17、在紅外熱圖像中，根據(jù)配準(zhǔn)后的人臉區(qū)域，定位到人臉的測(cè)溫點(diǎn)。

18、作為所述基于多模態(tài)傳感器的體溫監(jiān)測(cè)系統(tǒng)的進(jìn)一步可選方案，所述矯正模塊依據(jù)環(huán)境的溫濕度對(duì)熱成像儀測(cè)量到的溫度進(jìn)行矯正，具體包括：

19、構(gòu)建多變量回歸模型，所述多變量回歸模型輸入為環(huán)境的溫濕度和熱成像儀測(cè)量得到的人臉溫度，輸出為補(bǔ)償后的溫度；

20、將實(shí)時(shí)檢測(cè)到的環(huán)境的溫濕度和熱成像儀測(cè)量得到的人臉溫度輸入多變量回歸模型中，多變量回歸模型輸出補(bǔ)償后的溫度。

21、作為所述基于多模態(tài)傳感器的體溫監(jiān)測(cè)系統(tǒng)的進(jìn)一步可選方案，所述多變量回歸模型的計(jì)算公式如下：

22、tcom＝β0+β1tmeas+β2tenv+β3henv；

23、其中，所述tcom為補(bǔ)償后的溫度；

24、所述tmeas為通過(guò)熱成像儀測(cè)量得到的人臉溫度；

25、所述tenv為環(huán)境溫度；

26、所述henv為環(huán)境濕度；

27、所述β0、β1、β2和β3為回歸系數(shù)，通過(guò)回歸分析得到回歸系數(shù)系數(shù)，用于量化不同因素對(duì)溫度測(cè)量的影響。

28、作為所述基于多模態(tài)傳感器的體溫監(jiān)測(cè)系統(tǒng)的進(jìn)一步可選方案，所述系統(tǒng)還包括預(yù)警模塊，所述預(yù)警模塊用于在體溫異常時(shí)進(jìn)行預(yù)警追蹤，具體包括：

29、通過(guò)路由器上傳異常體溫者的圖像和相關(guān)信息到中央服務(wù)器，中央服務(wù)器將異常體溫者的圖像和信息分發(fā)給監(jiān)控?cái)z像頭，監(jiān)控?cái)z像頭利用人臉識(shí)別技術(shù)對(duì)異常體溫者進(jìn)行持續(xù)追蹤，實(shí)時(shí)記錄其行蹤。

30、一種基于多模態(tài)傳感器的體溫監(jiān)測(cè)方法，所述方法基于上述任意所述基于多模態(tài)傳感器的體溫監(jiān)測(cè)系統(tǒng)，具體包括：

31、使用可見(jiàn)光攝像頭捕捉人臉圖像；

32、利用與可見(jiàn)光攝像頭集成的深度相機(jī)測(cè)量人臉與相機(jī)之間的距離，并生成距離信息；

33、通過(guò)熱成像儀接收深度相機(jī)生成的距離信息，并將該距離信息與可見(jiàn)光攝像頭獲取的圖像進(jìn)行配準(zhǔn)，以確定定位測(cè)溫點(diǎn)；

34、基于所述定位測(cè)溫點(diǎn)，利用熱成像儀進(jìn)行溫度測(cè)量，獲取初步體溫?cái)?shù)據(jù)；

35、使用環(huán)境溫濕度檢測(cè)模塊實(shí)時(shí)獲取環(huán)境的溫度和濕度信息；

36、將環(huán)境溫濕度檢測(cè)模塊獲取的環(huán)境溫濕度信息輸入至矯正模塊，矯正模塊依據(jù)預(yù)設(shè)的矯正模型，根據(jù)環(huán)境的溫濕度對(duì)熱成像儀測(cè)量到的初步體溫?cái)?shù)據(jù)進(jìn)行矯正，得到最終的體溫?cái)?shù)據(jù)；

37、將最終的體溫?cái)?shù)據(jù)實(shí)時(shí)傳輸至顯示模塊，通過(guò)顯示模塊展示體溫測(cè)量結(jié)果。

38、一種計(jì)算設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述所述基于多模態(tài)傳感器的體溫監(jiān)測(cè)方法的步驟。

39、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述所述基于多模態(tài)傳感器的體溫監(jiān)測(cè)方法的步驟。

40、本發(fā)明的有益效果是：通過(guò)將可見(jiàn)光攝像頭、深度相機(jī)和熱成像儀集成于一體，系統(tǒng)能夠同時(shí)獲取人臉的圖像、深度信息和熱成像數(shù)據(jù)，這種多模態(tài)數(shù)據(jù)的融合使得系統(tǒng)能夠更精確地定位到人臉上的測(cè)溫點(diǎn)，避免了因人臉姿態(tài)、表情變化等因素導(dǎo)致的測(cè)溫誤差，環(huán)境溫濕度檢測(cè)模塊的加入，使得系統(tǒng)能夠?qū)崟r(shí)感知并適應(yīng)不同的環(huán)境條件，通過(guò)矯正模塊依據(jù)環(huán)境的溫濕度對(duì)熱成像儀的測(cè)量結(jié)果進(jìn)行動(dòng)態(tài)調(diào)整，系統(tǒng)能夠在不同環(huán)境條件下保持較高的測(cè)溫準(zhǔn)確性，顯示模塊的設(shè)計(jì)使得體溫測(cè)量結(jié)果能夠?qū)崟r(shí)、直觀地展示給用戶(hù)，這對(duì)于需要快速響應(yīng)的體溫監(jiān)測(cè)場(chǎng)景尤為重要，由于可見(jiàn)光攝像頭、深度相機(jī)和熱成像儀的集成設(shè)計(jì)，用戶(hù)無(wú)需進(jìn)行復(fù)雜的操作或調(diào)整即可完成體溫測(cè)量，這種一鍵式、非接觸式的測(cè)量方式不僅提高了測(cè)量的便捷性，還降低了交叉感染的風(fēng)險(xiǎn)和成本，該系統(tǒng)通過(guò)集成多種傳感器和智能矯正算法，實(shí)現(xiàn)了體溫監(jiān)測(cè)的智能化和自動(dòng)化，系統(tǒng)能夠自動(dòng)完成人臉識(shí)別、距離測(cè)量、溫度測(cè)量、環(huán)境感知、數(shù)據(jù)矯正和結(jié)果顯示等一系列操作，無(wú)需人工干預(yù)即可高效完成體溫監(jiān)測(cè)任務(wù)，提高智能化水平。