本發(fā)明涉及用于輔助人的精神健康的管理的技術(shù)。

背景技術(shù)：

近年來(lái)，抑郁癥、癡呆癥等精神疾病的患者數(shù)顯著增加，成為大的社會(huì)問(wèn)題。特別是在日本，據(jù)說(shuō)伴隨老人的增加，針對(duì)精神疾病的對(duì)策今后將日益成為重要的課題。關(guān)于精神疾病，普通生活中的預(yù)防極其重要，并且，早期階段的察覺(jué)(早期發(fā)現(xiàn))和適當(dāng)?shù)闹委熓腔謴?fù)的捷徑。但是，實(shí)際情況是具有對(duì)于精神疾病的正確的認(rèn)識(shí)或知識(shí)的人少，一般人難以察覺(jué)精神疾病的信號(hào)(征兆)或癥狀。

以輔助精神疾病的診斷為目的，在專利文獻(xiàn)1中提出了下述裝置，即根據(jù)被診斷者的面部圖像，生成將表情的左右對(duì)稱度、眼的緊張度、臉頰的緊張度、嘴角的角度數(shù)值化了的診斷數(shù)據(jù)向量，基于該診斷數(shù)據(jù)向量和將醫(yī)學(xué)見(jiàn)解數(shù)值化了的診斷矩陣，圖表顯示偏執(zhí)程度/神經(jīng)衰弱程度/反社會(huì)程度/抑郁程度/緊張(stress)程度的診斷結(jié)果。的確，精神疾病的信號(hào)多為面部的表情或緊張而表現(xiàn)出，在實(shí)際的診斷或心理治療中，專家也將面部表情的變化作為推測(cè)患者的精神健康狀態(tài)的手段之一。但是，例如，即使是專家，也不能通過(guò)僅觀察一張面部圖像來(lái)區(qū)分該表情或眼/臉頰·嘴角的狀態(tài)是精神疾病的信號(hào)還是個(gè)性(本來(lái)的相貌、普通的表情)。因此，認(rèn)為根據(jù)專利文獻(xiàn)1中提出的方法，難以獲得可靠性高的診斷信息。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：特開(kāi)2006－305260號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的課題

本發(fā)明是鑒于上述實(shí)際情況而完成的，其目的在于，提供一種基于從圖像識(shí)別出的面部表情來(lái)估計(jì)該人的精神健康狀態(tài)，可以提供對(duì)精神健康的管理有用的信息的技術(shù)。

用于解決課題的手段

為了實(shí)現(xiàn)上述目的，本發(fā)明中采用下述結(jié)構(gòu)，即從面部表情的時(shí)間序列數(shù)據(jù)中檢測(cè)與對(duì)象者的面部表情的時(shí)間變化有關(guān)的特征，基于檢測(cè)到的該特征來(lái)估計(jì)對(duì)象者的精神健康狀態(tài)。

具體而言，本發(fā)明的健康管理輔助裝置是，輔助對(duì)象者的精神健康的管理的健康管理輔助裝置，其特征在于，具有：圖像取得部，取得以時(shí)間序列拍攝所述對(duì)象者所得的多個(gè)圖像；表情識(shí)別部，根據(jù)由所述圖像取得部取得的多個(gè)圖像的每一個(gè)，識(shí)別所述對(duì)象者的表情的特征；存儲(chǔ)部，將所述多個(gè)圖像的表情識(shí)別結(jié)果作為時(shí)間序列數(shù)據(jù)進(jìn)行存儲(chǔ)；健康狀態(tài)估計(jì)部，根據(jù)存儲(chǔ)于所述存儲(chǔ)部的時(shí)間序列數(shù)據(jù)來(lái)檢測(cè)與所述對(duì)象者的表情的時(shí)間變化有關(guān)的特征，基于檢測(cè)到的該特征來(lái)估計(jì)所述對(duì)象者的精神健康狀態(tài)；以及輸出部，基于所述健康狀態(tài)估計(jì)部的估計(jì)結(jié)果，輸出與所述對(duì)象者的精神健康狀態(tài)有關(guān)的信息。

根據(jù)本發(fā)明，因?yàn)殛P(guān)注與面部表情的時(shí)間變化有關(guān)的特征，所以能夠檢測(cè)作為面部表情的變化表現(xiàn)的精神健康狀態(tài)的變化(惡化或好轉(zhuǎn))，與僅通過(guò)一張圖像上的面部表情進(jìn)行估計(jì)相比，能夠獲得可靠性高的估計(jì)結(jié)果。而且，因?yàn)槟軌蜃詣?dòng)且早期獲得這種可靠性高的估計(jì)結(jié)果，所以能夠適時(shí)提供與對(duì)象者的精神健康狀態(tài)對(duì)應(yīng)的有用的信息，能夠適當(dāng)輔助對(duì)象者的精神健康管理。

優(yōu)選的是，所述健康狀態(tài)估計(jì)部在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到表示積極情緒的表情的減少的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在惡化。這是因?yàn)樵谧鳛橐钟舭Y、癡呆癥等精神疾病的信號(hào)(征兆)或癥狀之一的“郁悶狀態(tài)”中，表示積極情緒的表情(快樂(lè)的表情等)顯著減少?；蛘?，優(yōu)選的是，所述健康狀態(tài)估計(jì)部在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到表示消極情緒的表情的增加的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在惡化。這是因?yàn)樵谧鳛橐钟舭Y、癡呆癥等精神疾病的信號(hào)(征兆)或癥狀之一的“郁悶狀態(tài)”中，表示消極情緒的表情(傷心的表情等)顯著增加。

優(yōu)選的是，所述表情識(shí)別部根據(jù)所述對(duì)象者的圖像，計(jì)算將多種表情各自的程度進(jìn)行了數(shù)值化的得分，并將各表情的得分作為表情識(shí)別結(jié)果而輸出，所述健康狀態(tài)估計(jì)部，根據(jù)所述多種表情的得分而選擇或生成表示積極情緒的程度的積極表情得分，在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到最近的規(guī)定期間的積極表情得分與正常值相比處于降低傾向的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在惡化。由此，能夠定量評(píng)價(jià)表示積極情緒的表情的減少，能夠高可靠地估計(jì)精神健康狀態(tài)的惡化?；蛘撸部梢允?，所述健康狀態(tài)估計(jì)部，根據(jù)所述多種表情的得分而選擇或生成表示消極情緒的程度的消極表情得分，在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到最近的規(guī)定期間的消極表情得分與正常值相比處于上升傾向的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在惡化。由此，能夠定量評(píng)價(jià)表示消極情緒的表情的增加，能夠高可靠地估計(jì)精神健康狀態(tài)的惡化。

優(yōu)選的是，所述表情識(shí)別部根據(jù)所述對(duì)象者的圖像，計(jì)算將多種表情各自的程度進(jìn)行了數(shù)值化的得分，并將各表情的得分作為表情識(shí)別結(jié)果而輸出，所述健康狀態(tài)估計(jì)部，根據(jù)所述多種表情的得分而選擇或生成表示積極情緒的程度的積極表情得分，在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到最近的規(guī)定期間的積極表情得分與正常值相比處于上升傾向的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在好轉(zhuǎn)。由此，能夠定量評(píng)價(jià)表示積極情緒的表情的上升，能夠高可靠地估計(jì)精神健康狀態(tài)的好轉(zhuǎn)。或者，也可以是所述健康狀態(tài)估計(jì)部，根據(jù)所述多種表情的得分而選擇或生成表示消極情緒的程度的消極表情得分，在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到最近的規(guī)定期間的消極表情得分與正常值相比處于降低傾向的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在好轉(zhuǎn)。由此，能夠定量評(píng)價(jià)表示消極情緒的表情的減少，能夠高可靠地估計(jì)精神健康狀態(tài)的好轉(zhuǎn)。

另外，也優(yōu)選的是，所述表情識(shí)別部根據(jù)所述對(duì)象者的圖像，計(jì)算將多種表情各自的程度進(jìn)行了數(shù)值化的得分，并將各表情的得分作為表情識(shí)別結(jié)果而輸出，所述健康狀態(tài)估計(jì)部，根據(jù)所述多種表情的得分而選擇或生成表示積極情緒的程度的積極表情得分，在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到最近的規(guī)定期間的積極表情得分的變動(dòng)幅度與正常值相比處于減少傾向的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在惡化。由此，能夠定量評(píng)價(jià)表示積極情緒的表情的減少，能夠高可靠地估計(jì)精神健康狀態(tài)的惡化?；蛘?，也優(yōu)選的是，所述健康狀態(tài)估計(jì)部，根據(jù)所述多種表情的得分而選擇或生成表示消極情緒的程度的消極表情得分，在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到最近的規(guī)定期間的消極表情得分的變動(dòng)幅度與正常值相比處于增加傾向的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在惡化。由此，能夠定量評(píng)價(jià)表示消極情緒的表情的減少，能夠高可靠地估計(jì)精神健康狀態(tài)的惡化。

另外，也優(yōu)選的是，所述表情識(shí)別部根據(jù)所述對(duì)象者的圖像，計(jì)算將多種表情各自的程度進(jìn)行了數(shù)值化的得分，并將各表情的得分作為表情識(shí)別結(jié)果而輸出，所述健康狀態(tài)估計(jì)部，根據(jù)所述多種表情的得分而選擇或生成表示積極情緒的程度的積極表情得分，在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到最近的規(guī)定期間的積極表情得分的變動(dòng)幅度與正常值相比處于增加傾向的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在好轉(zhuǎn)。由此，能夠定量評(píng)價(jià)表示積極情緒的表情的增加，能夠高可靠地估計(jì)精神健康狀態(tài)的好轉(zhuǎn)?；蛘撸矁?yōu)選的是，所述健康狀態(tài)估計(jì)部，根據(jù)所述多種表情的得分而選擇或生成表示消極情緒的程度的消極表情得分，在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到最近的規(guī)定期間的消極表情得分的變動(dòng)幅度與正常值相比處于減少傾向的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在好轉(zhuǎn)。由此，能夠定量評(píng)價(jià)表示消息情緒的表情的減少，能夠高可靠地估計(jì)精神健康狀態(tài)的好轉(zhuǎn)。

另外，也優(yōu)選的是，所述表情識(shí)別部根據(jù)所述對(duì)象者的圖像，計(jì)算將多種表情各自的程度進(jìn)行了數(shù)值化的得分，并將各表情的得分作為表情識(shí)別結(jié)果而輸出，所述健康狀態(tài)估計(jì)部，根據(jù)所述多種表情的得分而選擇或生成表示積極情緒的程度的積極表情得分，在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到積極表情得分的日內(nèi)變動(dòng)處于傍晚的得分與清晨的得分相比相對(duì)高的傾向的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在惡化?；蛘?，也優(yōu)選的是，所述健康狀態(tài)估計(jì)部，根據(jù)所述多種表情的得分而選擇或生成表示消極情緒的程度的消極表情得分，在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到消極表情得分的日內(nèi)變動(dòng)處于傍晚的得分與清晨的得分相比相對(duì)低的傾向的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在惡化。由此，能夠定量評(píng)價(jià)清晨心境低落，當(dāng)?shù)桨頃r(shí)心境上升的癥狀的出現(xiàn)，能夠高可靠地估計(jì)精神健康狀態(tài)的惡化。

優(yōu)選的是，所述健康狀態(tài)估計(jì)部在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到多種表情的出現(xiàn)比例的變化的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在惡化。這是因?yàn)樵诎V呆癥等精神疾病中，例如會(huì)發(fā)生易怒等情緒表現(xiàn)的變化(人格的變化)。

優(yōu)選的是，所述表情識(shí)別部根據(jù)所述對(duì)象者的圖像，計(jì)算將多種表情各自的程度進(jìn)行了數(shù)值化的得分，并將各表情的得分作為表情識(shí)別結(jié)果而輸出，所述健康狀態(tài)估計(jì)部在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到與所述多種表情中的一部分或全部表情有關(guān)的最近的規(guī)定期間的得分平均和正常值之差大于閾值的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在惡化。由此，能夠定量評(píng)價(jià)表情的出現(xiàn)比例的變化，能夠高可靠地估計(jì)精神健康狀態(tài)的惡化。

優(yōu)選的是，所述表情識(shí)別部根據(jù)所述對(duì)象者的圖像，計(jì)算將多種表情各自的程度進(jìn)行了數(shù)值化的得分，并將各表情的得分作為表情識(shí)別結(jié)果而輸出，所述健康狀態(tài)估計(jì)部在作為與表情的時(shí)間變化有關(guān)的特征而檢測(cè)到最近的規(guī)定期間的某一表情的得分的變動(dòng)幅度與正常值相比處于增加傾向的情況下，估計(jì)為所述對(duì)象者的精神健康狀態(tài)在惡化。能夠定量評(píng)價(jià)情緒的起伏劇烈這一癥狀的出現(xiàn)，能夠高可靠地估計(jì)精神健康狀態(tài)的惡化。

優(yōu)選的是，所述正常值是根據(jù)存儲(chǔ)于所述存儲(chǔ)部的所述對(duì)象者的時(shí)間序列數(shù)據(jù)，以統(tǒng)計(jì)方式求出的值。通過(guò)將根據(jù)對(duì)象者自身的時(shí)間序列數(shù)據(jù)以統(tǒng)計(jì)方式求出的值作為正常值來(lái)使用，能夠以該對(duì)象者的表情的個(gè)性(本來(lái)的樣貌、正常時(shí)的表情或情緒表現(xiàn)等)為基準(zhǔn)來(lái)評(píng)價(jià)表情的時(shí)間變化，因此，能夠抑制個(gè)體差異引起的估計(jì)精度的降低，能夠進(jìn)一步提高估計(jì)處理的可靠性。

優(yōu)選的是，所述健康狀態(tài)估計(jì)部使用所述對(duì)象者的多天的時(shí)間序列數(shù)據(jù)，進(jìn)行精神健康狀態(tài)的估計(jì)。另外，優(yōu)選的是，所述“最近的規(guī)定期間”是比1天長(zhǎng)的期間。這是因?yàn)榧词故墙】档娜耍矔?huì)存在心情的起伏或情緒的變化，因此，僅憑幾個(gè)小時(shí)～1天左右的期間的表情變化，不易估計(jì)此人的精神健康狀態(tài)(即使能夠估計(jì)，可靠性也低)。雖然也取決于要檢測(cè)的“與表情的時(shí)間變化有關(guān)的特征”，但優(yōu)選評(píng)價(jià)天單位、周單位、月單位、或年單位的表情變化。因此，“最近的規(guī)定期間”例如可以設(shè)定為幾天、1周～幾周、1個(gè)月～幾個(gè)月、或1年～幾年之類的期間。

此外，本發(fā)明能夠作為具有上述結(jié)構(gòu)或功能的至少一部分的健康管理輔助裝置來(lái)掌握。另外，本發(fā)明也能夠作為包含上述處理的至少一部分的健康管理輔助方法、或用于使計(jì)算機(jī)執(zhí)行該方法的程序、或非暫時(shí)性記錄這種程序的計(jì)算機(jī)可讀取的記錄介質(zhì)來(lái)掌握。只要不產(chǎn)生技術(shù)上的矛盾，上述結(jié)構(gòu)及處理就能夠相互組合而構(gòu)成本發(fā)明。

發(fā)明效果

根據(jù)本發(fā)明，能夠基于從圖像識(shí)別出的面部表情來(lái)估計(jì)此人的精神健康狀態(tài)，能夠提供對(duì)精神健康的管理有用的信息。

附圖說(shuō)明

圖1是表示健康管理輔助裝置的結(jié)構(gòu)例的圖。

圖2是表示表情識(shí)別處理的流程的流程圖。

圖3是存儲(chǔ)于存儲(chǔ)部的表情識(shí)別結(jié)果的時(shí)間序列數(shù)據(jù)的一例。

圖4是基于精神疾病的積極(positive)表情得分的變化的例子。

圖5a是表示具體例(1)的健康狀態(tài)估計(jì)部的估計(jì)邏輯的圖。

圖5b是表示具體例(1)的健康狀態(tài)估計(jì)部的估計(jì)邏輯的圖。

圖6a是表示具體例(2)的健康狀態(tài)估計(jì)部的估計(jì)邏輯的圖。

圖6b是表示具體例(2)的健康狀態(tài)估計(jì)部的估計(jì)邏輯的圖。

圖7a是表示具體例(3)的健康狀態(tài)估計(jì)部的估計(jì)邏輯的圖。

圖7b是表示具體例(3)的健康狀態(tài)估計(jì)部的估計(jì)邏輯的圖。

圖8a是表示具體例(4)的健康狀態(tài)估計(jì)部的估計(jì)邏輯的圖。

圖8b是表示具體例(4)的健康狀態(tài)估計(jì)部的估計(jì)邏輯的圖。

圖9a是表示具體例(5)的健康狀態(tài)估計(jì)部的估計(jì)邏輯的圖。

圖9b是表示具體例(5)的健康狀態(tài)估計(jì)部的估計(jì)邏輯的圖。

具體實(shí)施方式

以下，參照附圖，示例性地詳細(xì)說(shuō)明用于實(shí)施本發(fā)明的優(yōu)選的方式。但是，以下的實(shí)施方式所記載的構(gòu)成元件的尺寸、材質(zhì)、形狀、其相對(duì)配置等只要沒(méi)有特別記載，就不是將發(fā)明的范圍僅限定于這些實(shí)施方式的意思。

(裝置結(jié)構(gòu))

圖1是表示本發(fā)明的實(shí)施方式的健康管理輔助裝置的結(jié)構(gòu)例的圖。健康管理輔助裝置1是對(duì)拍攝對(duì)象者2所得的圖像進(jìn)行分析，用于提供對(duì)對(duì)象者2的精神健康(心理健康)的管理有用的信息的裝置。該健康管理輔助裝置1可應(yīng)用于對(duì)象者自身進(jìn)行的自檢、用于醫(yī)師或顧問(wèn)等專家的診斷工具、企業(yè)或?qū)W校等的心理保健等各種用途。

圖1的健康管理輔助裝置1作為主要的結(jié)構(gòu)，具有圖像取得部10、表情識(shí)別部11、存儲(chǔ)部12、健康狀態(tài)估計(jì)部13、結(jié)果輸出部14。

圖像取得部10具有從拍攝裝置3取得圖像的功能。本實(shí)施方式中，從拍攝裝置3依次取入以時(shí)間序列拍攝對(duì)象者2的面部所得的多個(gè)圖像。拍攝裝置3由黑白或彩色照相機(jī)構(gòu)成。圖1中，將拍攝裝置3與健康管理輔助裝置1分別設(shè)置，但也可以將拍攝裝置3搭載于健康管理輔助裝置1。表情識(shí)別部11具有通過(guò)圖像傳感處理而從圖像識(shí)別面部表情的特征的功能。存儲(chǔ)部12具有將從表情識(shí)別部11輸出的表情識(shí)別結(jié)果作為時(shí)間序列數(shù)據(jù)進(jìn)行存儲(chǔ)的功能。健康狀態(tài)估計(jì)部13具有根據(jù)存儲(chǔ)于存儲(chǔ)部12的時(shí)間序列數(shù)據(jù)而檢測(cè)與對(duì)象者2的表情的時(shí)間變化相關(guān)的特征，基于該檢測(cè)出的特征來(lái)估計(jì)對(duì)象者2的精神健康狀態(tài)的功能。結(jié)果輸出部14具有輸出健康狀態(tài)估計(jì)部13的估計(jì)結(jié)果的功能。

拍攝乃至于取入對(duì)象者2的圖像的間隔只要根據(jù)健康管理輔助裝置1的用途或使用環(huán)境適當(dāng)設(shè)定即可。例如，如果是評(píng)價(jià)面部表情的日內(nèi)變動(dòng)或遍及多日(例如幾天、幾周、幾個(gè)月等)的變化的目的，則只要以幾秒至幾分鐘1次左右的頻率、或者幾十分鐘至幾小時(shí)1次左右的頻率拍攝乃至于取入圖像即可。在對(duì)象者2總是存在于拍攝裝置3的視野內(nèi)的情況下，能夠在預(yù)定的時(shí)間間隔或確定的時(shí)刻進(jìn)行拍攝。在不限于對(duì)象者2總是存在于拍攝裝置3的視野內(nèi)的情況下，例如也可以采用通過(guò)人體感應(yīng)傳感器等能夠探測(cè)到對(duì)象者2時(shí)進(jìn)行拍攝、或者對(duì)象者自身按規(guī)定的頻率進(jìn)行自拍等的結(jié)構(gòu)。

健康管理輔助裝置1能夠由具備cpu(處理器)、存儲(chǔ)器、輔助存儲(chǔ)裝置、輸入裝置、顯示裝置、通信裝置等的計(jì)算機(jī)構(gòu)成。健康管理輔助裝置1的各功能通過(guò)將存儲(chǔ)于輔助存儲(chǔ)裝置的程序載入存儲(chǔ)器并由cpu執(zhí)行來(lái)實(shí)現(xiàn)。但是，也能將健康管理輔助裝置1的一部分或全部功能由asic或fpga等電路實(shí)現(xiàn)?；蛘?，也可以通過(guò)云計(jì)算或方差計(jì)算來(lái)實(shí)現(xiàn)健康管理輔助裝置1的一部分功能(例如表情識(shí)別部11、存儲(chǔ)部12、健康狀態(tài)估計(jì)部13的功能)。

(表情識(shí)別結(jié)果的時(shí)間序列數(shù)據(jù))

參照?qǐng)D2，說(shuō)明由健康管理輔助裝置1執(zhí)行的表情識(shí)別處理的流程。圖2是表示表情識(shí)別處理的流程的流程圖。圖2的處理是每次由拍攝裝置3拍攝對(duì)象者2時(shí)執(zhí)行的處理。

在步驟s201中，圖像取得部10從拍攝裝置3取得拍攝了對(duì)象者2的圖像。由于以面部表情的識(shí)別為目的，因此期望是(盡可能)從正面拍攝了對(duì)象者2的面部的圖像。接著，表情識(shí)別部11從圖像檢測(cè)面部(步驟s202)，進(jìn)而檢測(cè)面部器官(眼、眉、鼻、口等)(步驟s203)。面部檢測(cè)及面部器官檢測(cè)可以使用包括公知的方法在內(nèi)的任何算法，因此省略詳細(xì)的說(shuō)明。

接著，表情識(shí)別部11利用步驟s202及s203的檢測(cè)結(jié)果來(lái)識(shí)別對(duì)象者2的面部表情的特征(步驟s204)。在本實(shí)施方式中，基于保羅·艾克曼(paulekman)的表情分析，將面部表情分類成“憤怒”、“厭惡”、“恐懼”、“快樂(lè)”、“傷心”、“驚訝”、“嚴(yán)肅(無(wú)表情)”這7種。作為表情識(shí)別結(jié)果，輸出將7種表情各自的程度(也稱作表情估量、表情度)以合計(jì)為100的方式進(jìn)行了數(shù)值化的得分。各表情的得分也被稱作表情分量值。在以后的說(shuō)明中，有時(shí)對(duì)7個(gè)表情標(biāo)注以下的編號(hào)，并將各表情的得分記為s1～s7。

1：憤怒

2：厭惡

3：恐懼

4：快樂(lè)

5：傷心

6：驚訝

7：嚴(yán)肅

另外，步驟s204的表情識(shí)別可以使用包括公知的方法在內(nèi)的任何算法。以下，敘述表情識(shí)別處理的一例。首先，表情識(shí)別部11基于面部器官的位置信息來(lái)提取有關(guān)面部器官的相對(duì)位置或形狀的特征量。作為特征量，能夠使用haar-like特征量、特征點(diǎn)間距離、傅立葉描述符等。接著，表情識(shí)別部11將所提取的特征量輸入到7種面部表情各自的判別器，計(jì)算各表情的程度。各判別器能夠通過(guò)使用了樣本圖像的學(xué)習(xí)而生成。最后，表情識(shí)別部11將來(lái)自7個(gè)判別器的輸出值進(jìn)行標(biāo)準(zhǔn)化以使其合計(jì)成為100，輸出7種表情的得分(表情分量值)。

表情識(shí)別部11將表情識(shí)別結(jié)果與時(shí)間戳信息一同存儲(chǔ)于存儲(chǔ)部12內(nèi)的數(shù)據(jù)庫(kù)(步驟s205)。圖3是存儲(chǔ)于存儲(chǔ)部12內(nèi)的表情識(shí)別結(jié)果的時(shí)間序列數(shù)據(jù)的一例。各行表示從1張面部圖像得到的表情識(shí)別結(jié)果。

(精神健康狀態(tài)的估計(jì))

接著，說(shuō)明精神健康狀態(tài)的估計(jì)處理。在本實(shí)施方式的健康管理輔助裝置1中，健康狀態(tài)估計(jì)部13從表情識(shí)別結(jié)果的時(shí)間序列數(shù)據(jù)檢測(cè)有關(guān)對(duì)象者2的面部表情的時(shí)間變化的特征(也將該處理稱作“表情數(shù)據(jù)的時(shí)間序列分析”)，基于該檢測(cè)到的特征，估計(jì)對(duì)象者2的精神健康狀態(tài)。通過(guò)表情數(shù)據(jù)的時(shí)間序列分析能夠檢測(cè)出的“有關(guān)面部表情的時(shí)間變化的特征”中有各種特征。以下，說(shuō)明具體例(1)～(5)。

(1)表示積極的情緒的表情的減少(得分的降低)

作為精神疾病之一的“抑郁癥”的典型的癥狀，有下述等：

·精神不振(心情郁悶)

·提不起興趣

·感覺(jué)疲憊或精力衰弱

·無(wú)法專心工作或家務(wù)，無(wú)法決斷

·行為或講話遲慢、或者焦躁、不安

·食欲降低(增加)、體重增減

·睡不著，半夜或清晨醒來(lái)

·覺(jué)得自己沒(méi)有價(jià)值或者覺(jué)得愧疚

·想過(guò)從這個(gè)世界上消失。

這些癥狀中的多數(shù)會(huì)引起面部表情的變化、例如作為“表情暗淡”、“笑臉減少”、“表情匱乏”之類的信號(hào)表現(xiàn)。

因此，在具體例(1)中，作為有關(guān)表情的時(shí)間變化的特征，關(guān)注“表示積極的情緒的表情的減少”。詳細(xì)而言，在本實(shí)施方式中，作為表示積極情緒的程度的指標(biāo)，如下定義“積極表情得分spos”。

spos＝快樂(lè)得分s4-憤怒得分s1-傷心得分s5

該積極表情得分spos如下進(jìn)行設(shè)計(jì)，在對(duì)象者2的心情良好且積極的情況下表示高的值，在心境低落或焦躁的情況下表示低的值。

圖4表示積極表情得分spos的日內(nèi)變動(dòng)的例子。在精神健康狀態(tài)良好的人的情況下，通常會(huì)在一天之中有情緒的變化，因此，如圖4的左側(cè)的圖表那樣，得分spos大幅變動(dòng)。與之相對(duì)，在抑郁癥的人的情況下，如圖4的右側(cè)的圖表，處于得分spos整體降低、或者得分spos的變動(dòng)幅度減小的傾向。另外，作為抑郁癥的典型癥狀，也有清晨情緒低落、隨著到傍晚而情緒高漲之類的情況。因此，通過(guò)利用表情數(shù)據(jù)的時(shí)間序列分析來(lái)檢測(cè)這種得分變化，可以發(fā)現(xiàn)作為精神疾病(特別是抑郁癥)的征兆或癥狀的精神健康狀態(tài)的變化(惡化)。在本說(shuō)明書(shū)中，“精神疾病的征兆”是指在成為精神疾病之前或精神疾病的非常早期階段出現(xiàn)的癥狀。

參照?qǐng)D5a、圖5b，說(shuō)明健康狀態(tài)估計(jì)部13的處理。圖5a是表示某對(duì)象者2的積極表情得分spos的變化的圖表，橫軸表示天數(shù)，縱軸表示積極表情得分spos的每天的平均(以下稱作得分日平均dspos)。最近的得分日平均dspos處于降低的傾向，表現(xiàn)出精神疾病(抑郁癥)的征兆。圖5b表示具體例(1)的健康狀態(tài)估計(jì)部13的處理流程。

步驟s500中，健康狀態(tài)估計(jì)部13從存儲(chǔ)部12讀入必要的期間量(例如過(guò)去一個(gè)月量)的時(shí)間序列數(shù)據(jù)，對(duì)各數(shù)據(jù)計(jì)算積極表情得分spos。接著，健康狀態(tài)估計(jì)部13計(jì)算積極表情得分spos的日平均dspos(步驟s501)。另外，健康狀態(tài)估計(jì)部13取得得分日平均dspos的正常值rds(步驟s502)。正常值rds是精神健康狀態(tài)處于正常狀態(tài)時(shí)的得分日平均dspos的值。在此，設(shè)為將對(duì)象者2自身的得分日平均dspos的過(guò)去一個(gè)月的平均作為正常值rds使用。

接著，健康狀態(tài)估計(jì)部13將最近的規(guī)定期間(例如幾天～1周)量的得分日平均dspos和正常值rds進(jìn)行比較，判斷最近的值相對(duì)于正常值rds是否處于降低傾向(步驟s503、s504)。在此，在將得分日平均dspos的過(guò)去一個(gè)月的標(biāo)準(zhǔn)偏差設(shè)為σ時(shí)，滿足

dspos＜rds－n×σ

的得分日平均dspos持續(xù)了規(guī)定期間(例如幾天～1周)的情況下，判定為最近的值處于降低傾向。n是調(diào)整檢測(cè)靈敏度的參數(shù)，例如設(shè)定為1～3的值。

在步驟s504中檢測(cè)到得分的降低傾向的情況下，健康狀態(tài)估計(jì)部13輸出對(duì)象者2的精神健康狀態(tài)在惡化這一估計(jì)結(jié)果(步驟s505)。相反，在未檢測(cè)到得分的降低傾向的情況下，健康狀態(tài)估計(jì)部13輸出在對(duì)象者2的精神健康狀態(tài)上沒(méi)有變化這一估計(jì)結(jié)果(步驟s506)。由此，能夠自動(dòng)且早期地發(fā)現(xiàn)對(duì)象者2的精神疾病的征兆或癥狀(例如疑似抑郁癥)。

(2)表示積極情緒的表情的減少(得分的變動(dòng)幅度的減少)

如圖4所說(shuō)明，在抑郁狀態(tài)下，積極表情得分spos的變動(dòng)幅度有減少的傾向。因此，在具體例(2)中，通過(guò)檢測(cè)積極表情得分spos的方差的降低，從而發(fā)現(xiàn)精神疾病(特別是抑郁癥)的征兆或癥狀。

參照?qǐng)D6a、圖6b，說(shuō)明健康狀態(tài)估計(jì)部13的處理。圖6a是表示某對(duì)象者2的積極表情得分spos的變化的圖表，橫軸表示天數(shù)，縱軸表示積極表情得分spos的每天的方差(以下稱作得分日方差vspos)。最近的得分日方差vspos處于降低傾向，表現(xiàn)出精神疾病(抑郁癥)的征兆。圖6b表示具體例(2)的健康狀態(tài)估計(jì)部13的處理流程。

在步驟s600中，健康狀態(tài)估計(jì)部13從存儲(chǔ)部12讀入必要的期間量(例如過(guò)去一個(gè)月量)的時(shí)間序列數(shù)據(jù)，對(duì)各數(shù)據(jù)計(jì)算積極表情得分spos。接著，健康狀態(tài)估計(jì)部13計(jì)算積極表情得分spos的日方差vspos(步驟s601)。另外，健康狀態(tài)估計(jì)部13取得得分日方差vspos的正常值rvs(步驟s602)。正常值rvs是精神健康狀態(tài)處于正常狀態(tài)時(shí)的得分日方差vspos的值。在此，設(shè)為將對(duì)象者2自身的得分日方差vspos的過(guò)去一個(gè)月的平均作為正常值rvs來(lái)使用。

接著，健康狀態(tài)估計(jì)部13將最近的規(guī)定期間(例如幾天～1周)量的得分日方差vspos和正常值rvs進(jìn)行比較，判斷最近的值相對(duì)于正常值rvs是否處于降低傾向(步驟s603、s604)。在此，在將得分日方差vspos的過(guò)去一個(gè)月的標(biāo)準(zhǔn)偏差設(shè)為σ時(shí)，滿足

vspos＜rvs－n×σ

的得分日方差vspos持續(xù)了規(guī)定期間(例如幾天～1周)的情況下，判定為最近的得分日方差處于降低傾向(即，得分變動(dòng)幅度處于減少傾向)。n是調(diào)整檢測(cè)靈敏度的參數(shù)，例如被設(shè)定為1～3的值。

在步驟s604中檢測(cè)到得分變動(dòng)幅度的減少傾向的情況下，健康狀態(tài)估計(jì)部13輸出對(duì)象者2的精神健康狀態(tài)在惡化這一估計(jì)結(jié)果(步驟s605)。相反，在未檢測(cè)到得分變動(dòng)幅度的減少傾向的情況下，健康狀態(tài)估計(jì)部13輸出在對(duì)象者2的精神健康狀態(tài)上沒(méi)有變化這一估計(jì)結(jié)果(步驟s606)。由此，能夠自動(dòng)且早期地發(fā)現(xiàn)對(duì)象者2的精神疾病的征兆或癥狀(例如，疑似抑郁癥)。

此外，雖然在具體例(2)中檢測(cè)了得分日方差的降低，但通過(guò)檢測(cè)積極表情得分spos的值超過(guò)閾值的頻率或時(shí)間的減少，也能夠掌握得分變動(dòng)幅度的減少傾向。

(3)清晨和傍晚之間的表情的變化

如圖4所說(shuō)明，作為抑郁癥的典型癥狀，有清晨情緒低落、隨著到傍晚而情緒高漲之類的情況。因此，在具體例(3)中，通過(guò)評(píng)價(jià)積極表情得分spos的日內(nèi)變動(dòng)，從而發(fā)現(xiàn)精神疾病(特別是抑郁癥)的征兆或癥狀。

參照?qǐng)D7a、圖7b，說(shuō)明健康狀態(tài)估計(jì)部13的處理。圖7a是表示抑郁癥的人所表現(xiàn)出的積極表情得分spos的日內(nèi)變動(dòng)的圖表，橫軸表示時(shí)間，縱軸表示積極表情得分spos。清晨的得分最低，隨著時(shí)間經(jīng)過(guò)，得分逐漸上升，傍晚的得分與清晨相比，相對(duì)升高。圖7b表示具體例(3)的健康狀態(tài)估計(jì)部13的處理流程。

在步驟s700，健康狀態(tài)估計(jì)部13從存儲(chǔ)部12讀入一天量的時(shí)間序列數(shù)據(jù)，對(duì)各數(shù)據(jù)計(jì)算積極表情得分spos。接著，健康狀態(tài)估計(jì)部13計(jì)算清晨和傍晚各自的積極表情得分spos的平均(步驟s701)。在此，根據(jù)上午7點(diǎn)～上午9點(diǎn)的數(shù)據(jù)求出清晨的得分平均aspos，根據(jù)下午4點(diǎn)～下午6點(diǎn)的數(shù)據(jù)求出傍晚的得分平均pspos。

接著，健康狀態(tài)估計(jì)部13計(jì)算清晨的得分平均aspos和傍晚的得分平均pspos的差δspos(＝pspos－aspos)(步驟s702)，將差δspos與閾值th1進(jìn)行比較(步驟s703)。在差δspos大于閾值th1的情況下(步驟s703；是)，健康狀態(tài)估計(jì)部13輸出對(duì)象者2的精神健康狀態(tài)在惡化這一估計(jì)結(jié)果(步驟s704)。相反，在差δspos為閾值th1以下的情況下(步驟s703；否)，健康狀態(tài)估計(jì)部13輸出在對(duì)象者2的精神健康狀態(tài)上沒(méi)有變化這一估計(jì)結(jié)果(步驟s705)。由此，能夠自動(dòng)且早期地發(fā)現(xiàn)對(duì)象者2的精神疾病的可能性(例如疑似抑郁癥)。

此外，在具體例(3)中，僅評(píng)價(jià)了一天量的日內(nèi)變動(dòng)，但也可以在評(píng)價(jià)最近幾天量的日內(nèi)變動(dòng)且圖7a那樣的日內(nèi)變動(dòng)持續(xù)了幾天的情況下，判斷為精神健康狀態(tài)的惡化。

(4)表情的出現(xiàn)比例的變化

在作為精神疾病之一的“癡呆癥”的情況下，作為行動(dòng)/心理癥狀，有下述等：

·不安及焦燥

·郁悶狀態(tài)

·幻覺(jué)及妄想

·興奮及暴力。

這些癥狀引起情緒表現(xiàn)的變化(人格的變化)，例如有時(shí)作為“易怒”、“情緒的起伏劇烈”、“厭惡或傷心的表情增加”之類的信號(hào)表現(xiàn)。

因此，在具體例(4)中，通過(guò)評(píng)價(jià)7種表情的出現(xiàn)比例的變化，發(fā)現(xiàn)精神疾病(特別是癡呆癥)的征兆或癥狀。

參照?qǐng)D8a、圖8b，說(shuō)明健康狀態(tài)估計(jì)部13的處理。圖8a是表示7種表情的出現(xiàn)比例的圖表，橫軸表示表情的編號(hào)(1：憤怒、2：厭惡、3：恐懼、4：快樂(lè)、5：傷心、6：驚訝、7：嚴(yán)肅)，縱軸表示得分s1～s7的月平均?？芍诰窠】禒顟B(tài)為良好時(shí)，如左側(cè)的圖表，“4：快樂(lè)”或“5：傷心”的表情多，與之相對(duì)，因癡呆癥的癥狀，如右側(cè)的圖表，“4：快樂(lè)”的表情減少，“1：憤怒”或“2：厭惡”的表情增多。圖8b表示具體例(4)中的健康狀態(tài)估計(jì)部13的處理流程。

在步驟s800中，健康狀態(tài)估計(jì)部13從存儲(chǔ)部12讀入必要的期間量(例如過(guò)去兩個(gè)月量)的時(shí)間序列數(shù)據(jù)，計(jì)算7種表情各自的得分s1～s7的每個(gè)月的平均(得分月平均ms1～ms7)(步驟s800)。另外，健康狀態(tài)估計(jì)部13取得得分月平均ms1～ms7的正常值rms1～rms7(步驟s801)。正常值rms1～rms7是精神健康狀態(tài)處于正常狀態(tài)時(shí)的得分月平均ms1～ms7的值。在此，設(shè)為將對(duì)象者2自身的過(guò)去(例如一個(gè)多月以前)的得分月平均ms1～ms7作為正常值rms1～rms7來(lái)使用。

接著，健康狀態(tài)估計(jì)部13通過(guò)下式，計(jì)算得分月平均ms1～ms7和正常值rms1～rms7的差δs(步驟s803)。

δs＝σ(|rmsi－msi|)(i＝1，2，…，7)

該差δs是表示最近的規(guī)定期間(在此為一個(gè)月)和正常時(shí)的期間的表情的出現(xiàn)比例的變化的大小的指標(biāo)。

健康狀態(tài)估計(jì)部13將差δs與閾值th2進(jìn)行比較(步驟s803)。而且，在差δs比閾值th2大的情況下(步驟s803；是)，健康狀態(tài)估計(jì)部13輸出對(duì)象者2的精神健康狀態(tài)在惡化這一估計(jì)結(jié)果(步驟s804)。相反，在差δs為閾值th2以下的情況下(步驟s803；否)，健康狀態(tài)估計(jì)部13輸出在對(duì)象者2的精神健康狀態(tài)上沒(méi)有變化這一估計(jì)結(jié)果(步驟s805)。由此，能夠自動(dòng)且早期地發(fā)現(xiàn)對(duì)象者2的精神疾病的征兆或癥狀(例如疑似癡呆癥)。

此外，在具體例(4)中，評(píng)價(jià)了月平均，但也可以使用多天的平均或多周的平均來(lái)進(jìn)行評(píng)價(jià)。另外，也可以不使用7種表情所有的得分，而只將因癡呆癥而出現(xiàn)增多或減少的表情(例如“憤怒”、“厭惡”、“快樂(lè)”)的得分用于評(píng)價(jià)。

(5)情緒的起伏的激化

如上述，作為癡呆癥的癥狀，有情緒的起伏變得劇烈的情況。因此，在具體例(5)中，通過(guò)檢測(cè)7種表情中的任一表情的得分的變動(dòng)幅度的增加，從而發(fā)現(xiàn)癡呆癥的征兆或癥狀。

參照?qǐng)D9a、圖9b，說(shuō)明健康狀態(tài)估計(jì)部13的處理。圖9a是表示某一對(duì)象者2的憤怒得分s1的變化的圖表，橫軸表示天數(shù)，縱軸表示憤怒得分s1的每天的方差(以下稱作得分日方差vs1)。最近的得分日方差vs1處于上升傾向，表現(xiàn)出精神疾病(癡呆癥)的征兆。圖9b表示具體例(5)中的健康狀態(tài)估計(jì)部13的處理流程。

在步驟s901中，健康狀態(tài)估計(jì)部13從存儲(chǔ)部12讀入必要的期間量(例如過(guò)去一個(gè)月量)的時(shí)間序列數(shù)據(jù)，計(jì)算憤怒得分s1的日方差vs1。另外，健康狀態(tài)估計(jì)部13取得得分日方差vs1的正常值rvs1(步驟s902)。正常值rvs1是精神健康狀態(tài)處于正常狀態(tài)時(shí)的得分日方差vs1的值。在此，設(shè)為將對(duì)象者2自身的得分日方差vs1的過(guò)去一個(gè)月的平均作為正常值rvs1來(lái)使用。

接著，健康狀態(tài)估計(jì)部13將最近的規(guī)定期間(例如幾天～1周)量的得分日方差vs1和正常值rvs1進(jìn)行比較，判斷最近的值相對(duì)于正常值rvs1是否處于上升傾向(步驟s903，s904)。在此，在將得分日方差vs1的過(guò)去一個(gè)月的標(biāo)準(zhǔn)偏差設(shè)為σ時(shí)，滿足

vs1＞rvs1+n×σ

的得分日方差vs1持續(xù)了規(guī)定期間(例如幾天～1周)的情況下，判定為最近的得分日方差處于上升傾向(即，憤怒得分的變動(dòng)幅度處于增加傾向)。n是調(diào)整檢測(cè)靈敏度的參數(shù)，例如被設(shè)定為1～3的值。

在步驟s904中，在檢測(cè)到憤怒得分的變動(dòng)幅度的增加傾向的情況下，健康狀態(tài)估計(jì)部13輸出對(duì)象者2的精神健康狀態(tài)在惡化這一估計(jì)結(jié)果(步驟s905)。相反，在未檢測(cè)到憤怒得分的變動(dòng)幅度的增加傾向的情況下，健康狀態(tài)估計(jì)部13輸出在對(duì)象者2的精神健康狀態(tài)上沒(méi)有變化這一估計(jì)結(jié)果(步驟s906)。由此，能夠自動(dòng)且早期地發(fā)現(xiàn)對(duì)象者2的精神疾病的征兆或癥狀(例如疑似癡呆癥)。

此外，在具體例(5)中檢測(cè)了得分日方差的上升，但通過(guò)檢測(cè)憤怒得分s1的值超過(guò)閾值的頻率或時(shí)間的增加，也能夠掌握憤怒得分的變動(dòng)幅度的增加傾向。另外，不僅可以評(píng)價(jià)憤怒得分s1，而且還可以評(píng)價(jià)其它表情的得分(例如厭惡得分s2)的方差或變動(dòng)幅度。

本實(shí)施方式的健康狀態(tài)估計(jì)部13具有上述的具體例(1)～(5)中的一個(gè)或多個(gè)估計(jì)邏輯。但是，這些估計(jì)邏輯只不過(guò)是基于有關(guān)表情的時(shí)間變化的特征來(lái)估計(jì)精神健康狀態(tài)的處理的一例，也可以將這些以外的估計(jì)邏輯安裝于健康狀態(tài)估計(jì)部13。

(估計(jì)結(jié)果的輸出)

如上，如果得到健康狀態(tài)估計(jì)部13估計(jì)的估計(jì)結(jié)果，則結(jié)果輸出部14基于該估計(jì)結(jié)果而輸出有關(guān)對(duì)象者2的精神健康狀態(tài)的信息。輸出目的地的設(shè)備、輸出信息、輸出方法是任意的，能夠根據(jù)健康管理輔助裝置1的用途或結(jié)構(gòu)適當(dāng)變更。例如，結(jié)果輸出部14能夠在顯示裝置上顯示圖像或消息、或者對(duì)揚(yáng)聲器輸出聲音信息、或者向外部裝置(智能手機(jī)、其它計(jì)算機(jī)、外部存儲(chǔ)器等)傳送信息。作為輸出的信息，例如只要是精神疾病的可能性、應(yīng)對(duì)策略或建議(advice)等對(duì)心理保健有用的信息，則可以輸出任何信息。另外，也可以輸出圖5a、圖6a、圖7a、圖8a、圖9a所示的表示表情的時(shí)間變化的圖表。通過(guò)觀察這種圖表(時(shí)間變化)，能夠直觀地理解精神健康狀態(tài)的好壞或傾向等。

此外，在健康狀態(tài)估計(jì)部13具有多個(gè)估計(jì)邏輯的情況下，結(jié)果輸出部14可以分別輸出通過(guò)各邏輯得到的估計(jì)結(jié)果，也可以輸出綜合了多個(gè)邏輯的估計(jì)結(jié)果的結(jié)果(例如在任一邏輯中判定為真(true)(＝精神健康狀態(tài)在惡化)就輸出真(true)的方法、僅在所有的邏輯中判定為真(true)時(shí)才輸出真(true)的方法等)。

(健康管理輔助裝置的應(yīng)用例)

作為健康管理輔助裝置1的應(yīng)用例，例如假定以下的例子。

(應(yīng)用例1)職場(chǎng)的健康管理

通過(guò)設(shè)置于桌子或天花板的傳感器定期拍攝正在工作的對(duì)象者(伏案工作人員等)的面部。健康管理輔助裝置1(服務(wù)器)經(jīng)由lan從各傳感器收集圖像，進(jìn)行各對(duì)象者的表情識(shí)別及健康狀態(tài)估計(jì)，蓄積估計(jì)結(jié)果。當(dāng)檢測(cè)到精神疾病的征兆時(shí)，將該信息通知給上司。另外，上司能夠訪問(wèn)健康管理輔助裝置1，確認(rèn)下屬的心理健康狀態(tài)。根據(jù)這種系統(tǒng)，上司能夠?qū)⑾聦俚男睦斫】禒顟B(tài)作為實(shí)時(shí)且客觀的信息進(jìn)行確認(rèn)，因此，能夠迅速覺(jué)察到心理健康的降低或精神疾病的征兆。而且，能夠迅速采取進(jìn)行面談、或減輕工作負(fù)擔(dān)、或者早期與健康管理室合作等適當(dāng)?shù)男袆?dòng)。

(應(yīng)用例2)關(guān)注老人

對(duì)象者是獨(dú)居老人。通過(guò)設(shè)置于電視機(jī)或廚房的傳感器定期拍攝對(duì)象者的面部。設(shè)置于家庭內(nèi)的健康管理輔助裝置1從傳感器收集圖像，進(jìn)行對(duì)象者的表情識(shí)別及健康狀態(tài)估計(jì)，將估計(jì)結(jié)果上傳到云服務(wù)器。分開(kāi)居住的家族、社會(huì)工作者、醫(yī)生等在必要時(shí)訪問(wèn)云服務(wù)器，能夠確認(rèn)對(duì)象者的心理健康狀態(tài)?；蛘撸瑥脑品?wù)器接收對(duì)象者的心理健康狀態(tài)的通知。根據(jù)這樣的系統(tǒng)，能夠遠(yuǎn)距離簡(jiǎn)單地確認(rèn)獨(dú)居老人的健康狀態(tài)，也能夠早期發(fā)現(xiàn)癡呆癥的征兆等。

(應(yīng)用例3)在自家的自我診斷

通過(guò)設(shè)置于梳妝臺(tái)或洗手盆的傳感器定期拍攝對(duì)象者的面部。健康管理輔助裝置1(例如智能手機(jī)的應(yīng)用)從傳感器收集圖像，進(jìn)行對(duì)象者的表情識(shí)別及健康狀態(tài)估計(jì)，蓄積估計(jì)結(jié)果。根據(jù)這種系統(tǒng)，用戶能夠在必要時(shí)在智能手機(jī)上檢查自身的心理健康狀態(tài)。

以上所述的本實(shí)施方式的結(jié)構(gòu)具有如下的優(yōu)點(diǎn)。健康管理輔助裝置1關(guān)注有關(guān)面部表情的時(shí)間變化的特征，因此，能夠檢測(cè)作為面部表情的變化表現(xiàn)的精神健康狀態(tài)的變化(惡化或好轉(zhuǎn))，與僅通過(guò)一張圖像上的面部表情進(jìn)行估計(jì)相比，能夠獲得高可靠的估計(jì)結(jié)果。而且，因?yàn)槟軌蜃詣?dòng)且早期獲得這種高可靠的估計(jì)結(jié)果，所以能夠適時(shí)提供與對(duì)象者的精神健康狀態(tài)對(duì)應(yīng)的有用的信息，能夠適當(dāng)輔助對(duì)象者的精神健康管理。另外，如具體例(1)～(5)所述，因?yàn)榛趯?種表情數(shù)值化的得分的時(shí)間序列數(shù)據(jù)來(lái)定量評(píng)價(jià)表情的時(shí)間變化，所以能夠高可靠性地估計(jì)與抑郁癥或癡呆癥等精神疾病相關(guān)的精神健康狀態(tài)的惡化。進(jìn)而，通過(guò)將從對(duì)象者自身的時(shí)間序列數(shù)據(jù)以統(tǒng)計(jì)方式求出的值(上述的例子中為平均值)作為正常值使用，能夠以該對(duì)象者的表情的個(gè)性(本來(lái)的樣貌、正常時(shí)的表情或情緒表現(xiàn)等)為基準(zhǔn)而評(píng)價(jià)表情的時(shí)間變化，因此，能夠抑制個(gè)體差異引起的估計(jì)精度的降低，能夠進(jìn)一步提高估計(jì)處理的可靠性。

此外，上述的實(shí)施方式的結(jié)構(gòu)只不過(guò)示出本發(fā)明的一具體例，不是限定本發(fā)明的范圍的意思。本發(fā)明在不脫離其技術(shù)思想的范圍內(nèi)能夠采用各種具體的結(jié)構(gòu)。例如，在上述實(shí)施方式中，使用了7種表情分類，但也可以使用其它表情分類。另外，在上述實(shí)施方式中，根據(jù)快樂(lè)得分、憤怒得分和傷心得分生成積極表情得分，但積極表情得分的定義不限于此。例如，也可以將7種表情中的一個(gè)(例如快樂(lè)得分)直接作為積極表情得分來(lái)選擇并使用。另外，在上述實(shí)施方式中，作為精神疾病的例子，舉出抑郁癥和癡呆癥，但只要是在面部表情上表現(xiàn)征兆(信號(hào))的精神疾病，本發(fā)明的方法就有效。例如，假定分離性障害、適應(yīng)性障害、精神分裂癥、恐慌癥/焦慮癥等。另外，作為表情數(shù)據(jù)的時(shí)間序列分析，也可以應(yīng)用回歸分析、頻率分析、傾向估計(jì)等任何方法。另外，在上述實(shí)施方式中，作為正常值，使用了平均值，但只要是根據(jù)對(duì)象者自身的時(shí)間序列數(shù)據(jù)以統(tǒng)計(jì)方式求出的值，則也優(yōu)選使用其它統(tǒng)計(jì)值(例如中間值、最頻值等)。

有關(guān)用于時(shí)間序列分析的表情數(shù)據(jù)的期間，能夠根據(jù)估計(jì)邏輯、表情的時(shí)間變化的特征、精神疾病或其征兆/癥狀的種類等，以天單位、周單位、月單位、或年單位適當(dāng)設(shè)定。在上述具體例(1)等中，以最近的幾天～1周的表情作為評(píng)價(jià)對(duì)象，將其與以統(tǒng)計(jì)方式求出的正常值進(jìn)行了比較，但對(duì)評(píng)價(jià)對(duì)象進(jìn)行采樣的期間能夠設(shè)定為幾天、1周～幾周、1個(gè)月～幾個(gè)月、或1年～幾年等期間。同樣，對(duì)正常值進(jìn)行采樣的期間也能夠設(shè)定為幾天、1周～數(shù)周、1個(gè)月～幾月、或1年～數(shù)年等期間。例如，考慮如果最近的一個(gè)月的積極表情得分與之前的得分相比在惡化(得分降低或變動(dòng)幅度減少)，則判定為“精神健康狀態(tài)的惡化”，進(jìn)而如果該狀態(tài)持續(xù)三個(gè)月，則判定為“抑郁癥的可能性高”。

另外，根據(jù)精神疾病，癥狀存在季節(jié)變動(dòng)。在有季節(jié)變動(dòng)的情況下，可以從與對(duì)評(píng)價(jià)對(duì)象進(jìn)行采樣的期間相同季節(jié)的過(guò)去的數(shù)據(jù)中，對(duì)正常值進(jìn)行采樣。例如，在以年單位評(píng)價(jià)癡呆癥的癥狀發(fā)展的情況下，考慮將今年的最近一個(gè)月的表情和過(guò)去幾年的同一月的表情進(jìn)行比較。

在上述具體例(1)中，在檢測(cè)到積極表情得分spos比正常值低的情況下，判定為“精神健康狀態(tài)的惡化”，但相反，也能夠在檢測(cè)到積極表情得分spos比正常值上升的情況下，判定為“精神健康狀態(tài)的好轉(zhuǎn)”。例如，在將得分日平均設(shè)為dspos，將正常值設(shè)為rds，將得分日平均dspos的過(guò)去一個(gè)月的標(biāo)準(zhǔn)偏差設(shè)為σ，將調(diào)整檢測(cè)靈敏度的參數(shù)設(shè)為n時(shí)，滿足

dspos＞rds+n×σ

的得分日平均持續(xù)了規(guī)定期間的情況下，能夠判定為最近的值處于上升傾向。同樣，也可以在檢測(cè)到積極表情得分spos的變動(dòng)幅度比正常值(過(guò)去的統(tǒng)計(jì)值)增加的情況下，判定為“精神健康狀態(tài)的好轉(zhuǎn)”。

另外，除積極表情得分spos之外，也可以關(guān)注將表示消極情緒的表情的程度數(shù)值化的消極表情得分sneg的時(shí)間變化。傷心的表情、憤怒的表情等符合表示消極情緒的表情，消極表情得分sneg例如能夠如下定義。

sneg＝傷心得分s5+憤怒得分s1

具體而言，在消極表情得分sneg相較于正常值上升的情況、或消極表情得分sneg的變動(dòng)幅度相較于正常值增加的情況下，能夠判定為“精神健康狀態(tài)的惡化”。相反，在消極表情得分sneg相較于正常值降低的情況、或消極表情得分sneg的變動(dòng)幅度相較于正常值減少的情況下，能夠判定為“精神健康狀態(tài)的好轉(zhuǎn)”。另外，也能代替具體例(3)的積極表情得分spos，評(píng)價(jià)消極表情得分sneg的日內(nèi)變動(dòng)，在消極表情得分sneg在清晨高且在傍晚相對(duì)低的情況下，判定為”精神健康狀態(tài)的惡化”。

標(biāo)號(hào)說(shuō)明

1：健康管理輔助裝置

2：對(duì)象者

3：拍攝裝置

10：圖像取得部

11：表情識(shí)別部

12：存儲(chǔ)部

13：健康狀態(tài)估計(jì)部

14：結(jié)果輸出部