專利名稱：信息處理設(shè)備、信息處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及個人識別技術(shù)。
背景技術(shù)：
作為進(jìn)行個人核對的認(rèn)證技術(shù)，有生物特征識別技術(shù)(biometrics)，作為生物特征的核對和識別，使用了指紋認(rèn)證(參照日本專利申請公開特開平11-96363號公報(bào))、虹膜認(rèn)證(參照日本專利申請公開特開平11-13164號公報(bào))、聲紋認(rèn)證(參照日本專利申請公開特開平11-73196號公報(bào))、臉認(rèn)證(參照日本專利申請公開特開平11-161791號公報(bào))等。
已有為了實(shí)現(xiàn)高精度使用多個核對用的特征進(jìn)行認(rèn)證的方法(參照日本專利申請公開特開2001-331801號公報(bào)、日本專利申請公開特開2003-186847號公報(bào))例如，在日本專利申請公開特開2000-102524號公報(bào)記載的個體識別裝置中，并用了臉圖像識別和虹膜識別的技術(shù)。
在日本專利申請公開特開平11-253426號公報(bào)公開的活體特征的認(rèn)證方法和裝置、記錄介質(zhì)中，根據(jù)綜合多個活體特征的核對分?jǐn)?shù)(score)從而獲得的特征空間的識別規(guī)則進(jìn)行認(rèn)證。
日本專利申請公開特開2000-242786號公報(bào)的本人認(rèn)證系統(tǒng)中，公開了將指紋、臉、聲音、筆跡中2種或2種以上的認(rèn)證方式進(jìn)行組合，概率地(probabilistically)進(jìn)行認(rèn)證的結(jié)構(gòu)。
在日本專利申請公開特開2001-109855號公報(bào)的個人認(rèn)證裝置中，公開了在1次認(rèn)證中進(jìn)行基于不同的多種方式的認(rèn)證處理，融合該認(rèn)證處理的結(jié)果最終進(jìn)行判斷的方式。
在日本專利申請公開特開2000-148985號公報(bào)的個人認(rèn)證系統(tǒng)中，作為活體信息，使用聲音、臉圖像的一部分或者全部、以及體味，用第1活體信息的相似度(或者特征量)和第2活體信息的相似度進(jìn)行認(rèn)證的判斷。
在日本專利申請公開特開2001-338295號公報(bào)所示的基于活體信息的本人認(rèn)證系統(tǒng)中，或者當(dāng)存在多個臉紋信息的符合率(matchingrate)大于等于閾值的登錄對象時使用聲紋信息進(jìn)行符合率的評價，或者將臉紋信息的符合率與聲紋信息的符合率相乘進(jìn)行閾值處理等，從而進(jìn)行認(rèn)證評價。
但是，上述使用多個核對用特征進(jìn)行認(rèn)證的技術(shù)，由于沒有考慮用于核對的特征的檢測信號的質(zhì)量，因此存在不少問題，例如在特征的測量條件不佳、SN比差等情況下，與只使用質(zhì)量好的特征檢測信號進(jìn)行核對的情況相比，錯誤發(fā)生率變高。
例如，即使是同一個人物，根據(jù)不同的觀察角度、距離、該人物的身心狀態(tài)、照明條件，觀察結(jié)果存在很大差異。而且，在攝影條件不佳也要進(jìn)行人物的識別的情況下，即使通過將臉和其他活體信息進(jìn)行整體組合，或者用確定的方法篩選識別對象來進(jìn)行識別，多數(shù)情況下精度也不會高。
以往，為了進(jìn)行認(rèn)證，使認(rèn)證對象在照相機(jī)的前方正對著照相機(jī)、或者按照聲音指示發(fā)出聲音等，需要造出使認(rèn)證對象意識到正在進(jìn)行認(rèn)證的狀況，無法在各種各樣的條件下，不給被認(rèn)證者帶來負(fù)擔(dān)地、自然地進(jìn)行高精度的人物識別(認(rèn)證)。

發(fā)明內(nèi)容
本發(fā)明是鑒于以上的問題而完成的，其目的在于，提供一種對從認(rèn)證的對象人物獲得的特征檢測信號的有效性等進(jìn)行評價，為了核對明條件或環(huán)境的變動具有穩(wěn)健性并且維持高的核對精度，進(jìn)行適當(dāng)?shù)奶卣鞯倪x擇的人物識別技術(shù)。
而且，本發(fā)明提供一種根據(jù)該有效性而高效地進(jìn)行識別對象的篩選的識別技術(shù)。
而且，本發(fā)明的目的還在于，提供一種通過將人物的步態(tài)、舉止習(xí)慣(mannerism)、手勢、咳嗽、噴嚏等關(guān)于動作的特征也作為人物識別的輔助信息用于篩選，從而縮短認(rèn)證需要的時間，并且提高識別精度的技術(shù)。
進(jìn)而，本發(fā)明提供一種進(jìn)行自然的、并且不使認(rèn)證對象意識到正在進(jìn)行認(rèn)證的、高精度的個人識別的人物識別技術(shù)。
為了實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明的信息處理設(shè)備包括以下的結(jié)構(gòu)。即，本發(fā)明的信息處理設(shè)備的其特征在于，包括取得裝置，取得人所處的空間的環(huán)境信息；收集裝置，從上述取得裝置取得的環(huán)境信息中收集多種特征量；計(jì)算裝置，求上述收集裝置收集的各種特征量的有效值；確定裝置，根據(jù)上述計(jì)算裝置計(jì)算出的各有效值，從上述多種特征量中確定用于個人識別的特征量；以及識別裝置，使用上述確定裝置所確定的特征量進(jìn)行個人識別。
為了實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明的信息處理方法包括以下的步驟。即，本發(fā)明的信息處理方法的特征在于，包括取得步驟，取得人所處的空間的環(huán)境信息；收集步驟，從在上述取得步驟中取得的環(huán)境信息中收集多種特征量；計(jì)算步驟，求在上述收集步驟中所收集的各種特征量的有效值；確定步驟，根據(jù)在上述計(jì)算步驟中計(jì)算出的各有效值，從上述多種特征量中確定用于個人識別的特征量；以及識別步驟，使用在上述確定步驟中所確定的特征量進(jìn)行個人識別。
本發(fā)明的其他特征和優(yōu)點(diǎn)可以通過下面的參照附圖進(jìn)行的說明得到明確，對附圖中的相同或相似的部分賦予相同的說明符號。


該附圖構(gòu)成說明書的一部分，用于說明本發(fā)明的實(shí)施例，并與說明一起解釋本發(fā)明的原理。
圖1是本發(fā)明的第1實(shí)施方式的個人識別處理的流程圖。
圖2是表示本發(fā)明的第1實(shí)施方式的個人識別系統(tǒng)的功能結(jié)構(gòu)的框圖。
圖3是表示特征信息檢測部112的功能結(jié)構(gòu)的框圖。
圖4是表示本發(fā)明的第2實(shí)施方式的個人識別系統(tǒng)的功能結(jié)構(gòu)的框圖。
圖5是本發(fā)明的第2實(shí)施方式的個人識別處理的流程圖。
圖6是表示識別處理裝置1000的基本結(jié)構(gòu)的框圖。
圖7是表示人物檢測部150的功能結(jié)構(gòu)的圖。
圖8是表示裝載圖1或者圖5所示的系統(tǒng)的信號處理裝置的基本結(jié)構(gòu)的圖。
圖9是表示本發(fā)明的第1實(shí)施方式的傳感部111的功能結(jié)構(gòu)的框圖。
具體實(shí)施例方式
以下，參照附圖詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施方式。
〔第1實(shí)施方式〕圖2是表示本實(shí)施方式的個人識別系統(tǒng)的功能結(jié)構(gòu)的框圖。如圖2所示，本實(shí)施方式的系統(tǒng)，由傳感部111、識別處理裝置1000構(gòu)成，并且，該識別處理裝置1000，由人物檢測部150、特征信息檢測部112、學(xué)習(xí)分類部113、數(shù)據(jù)庫115、核對部118、以及2次認(rèn)證部119構(gòu)成。
傳感部111用于收集現(xiàn)實(shí)空間的圖像信息、聲音信息，更具體地說，由用于拍攝現(xiàn)實(shí)空間的圖像(動圖像/靜止圖像)的攝像機(jī)、用于收集現(xiàn)實(shí)空間中的聲音的傳聲器等構(gòu)成。在本實(shí)施方式中，為了收集現(xiàn)實(shí)空間中作為環(huán)境信息的圖像信息、聲音信息，傳感部111如圖9所示，由收集現(xiàn)實(shí)空間的圖像信息的圖像傳感部1111、和收集現(xiàn)實(shí)空間中的聲音信息的聲音傳感部1112構(gòu)成。圖9是表示本實(shí)施方式的傳感部111的功能結(jié)構(gòu)的框圖。
另外，關(guān)于收集現(xiàn)實(shí)空間的圖像信息、聲音信息的裝置不限于此，例如也可以使其收集保持在外部裝置中的現(xiàn)實(shí)空間的圖像信息、聲音信息。
返回圖2，人物檢測部150，根據(jù)由傳感部111取得的圖像確定人物像的區(qū)域。圖7是表示人物檢測部150的功能結(jié)構(gòu)的圖。如該圖所示，人物檢測部150由分層的神經(jīng)網(wǎng)絡(luò)(作為分層神經(jīng)回路網(wǎng)模型之一的Convolutional網(wǎng)絡(luò)的結(jié)構(gòu)(LeCun，Y.and Bengio，Y.，1995，“Convolutional Networks for Images Speech，and Time Series”inHandbook of Brain Theory and Neural Networks(M.Arbib，Ed.)，MITPress，pp.255-258))構(gòu)成。
由傳感部111取得的圖像輸入到數(shù)據(jù)輸入層701。第j層特征檢測層(1，j)，由以預(yù)定的分辨率檢測來自前級的層的輸入圖案中的局部特征(一種以上)的神經(jīng)元(具有由檢測預(yù)定的特征量的種類決定的共通的局部接受域結(jié)構(gòu))構(gòu)成。
第k層特征綜合(特征組合)層(2，k)，由具有預(yù)定的接受域結(jié)構(gòu)(以下，接受域表示與緊前一個層的輸出元的耦合范圍；接受域結(jié)構(gòu)表示該耦合負(fù)載的分布)的神經(jīng)元構(gòu)成，作為來自特征檢測層的多個神經(jīng)元輸出(特征綜合層神經(jīng)元的局部接受域內(nèi))的綜合處理，進(jìn)行基于局部平均化、最大輸出抽取等的子采樣等運(yùn)算。特征綜合層各神經(jīng)元的各接受域也在與檢測出的特征類型對應(yīng)的各模塊內(nèi)具有共通的結(jié)構(gòu)。詳細(xì)內(nèi)容可以參照日本專利申請公開特開2002-8032號公報(bào)、日本專利申請公開特開2002-358500號公報(bào)等。而后，從最終輸出層輸出圖像中的人物的檢測位置信息。
特征信息檢測部112，進(jìn)行如下的處理，即求出適用于對人物檢測部150確定的位置上的人物像進(jìn)行個人識別這一類型的特征量、以及適用于根據(jù)由上述聲音傳感部1112取得的聲音信息進(jìn)行個人識別這一類型的特征量。特征信息檢測部112如圖3所示那樣，由特征檢測部1120、特征有效度評價部1121、特征選擇部1122構(gòu)成。圖3是表示特征信息檢測部112的功能結(jié)構(gòu)的框圖。
特征檢測部1120，求出關(guān)于人物檢測部150確定的位置上的人物像相關(guān)的各種特征量，根據(jù)由上述聲音傳感部1112取得的聲音信息求出為了進(jìn)行個人識別所需要的各種特征量。
特征有效度評價部1121，對特征檢測部1120求出的各特征量求有效值。
特征選擇部1122，根據(jù)特征有效度評價部1121求出的各特征量的有效值，對人物檢測部150確定的位置上的人物(包含在由聲音傳感部1112取得的聲音信息中的人物)，決定用于進(jìn)行個人識別的特征量。
核對部118，對由特征信息檢測部112獲得的特征量(特征選擇部1122決定的特征量)、與按個人登錄在數(shù)據(jù)庫115中的特征量進(jìn)行核對，從而進(jìn)行個人識別。當(dāng)然，在由特征信息檢測部112獲得的特征量(特征選擇部1122決定的特征量)、與按個人登錄在數(shù)據(jù)庫115上的特征量的任何一個都不相符的情況下，判斷“人物檢測部150確定的位置上的人物像，沒有登錄在數(shù)據(jù)庫115中”，在這樣的情況下，學(xué)習(xí)分類部113，將由特征信息檢測部112獲得的特征量登錄到數(shù)據(jù)庫115，并且使用該特征量使特征信息檢測部112學(xué)習(xí)人物檢測部150確定的位置上的人物像，將該學(xué)習(xí)結(jié)果登錄到數(shù)據(jù)庫115上。由此，使得在下次向核對部118呈現(xiàn)該特征量時，能夠識別該人物。
數(shù)據(jù)庫115，對每個個人，按類型登錄了特征量。作為類型，包括與從多個角度觀察到的人物的臉圖像或者臉的3維形狀模型和從離散的角度觀察到的臉圖像；關(guān)于人物的服裝、攜帶的物品和發(fā)型的圖像特征；關(guān)于手勢、步態(tài)的圖像特征；以及基于發(fā)聲、笑、咳嗽、噴嚏等的聲音特征等，各個類型的特征量按個人登錄在數(shù)據(jù)庫115上。
作為在本實(shí)施方式中使用的類型有涉及臉、發(fā)型、背影、體型、姿勢、服裝、攜帶的物品等的，關(guān)于眼睛、嘴等人體構(gòu)成器官的局部形狀、輪廓形狀、顏色成分特征、肌理(texture)特征量，眼睛、嘴等人體構(gòu)成器官的配置信息等各類型的以靜止圖像為基礎(chǔ)的圖像特征；關(guān)于動作和步態(tài)等的人體構(gòu)成器官在時空域(time-space domain)的軌跡信息等以動圖像為基礎(chǔ)的圖像特征；以及咳嗽、噴嚏等非語言聲音，關(guān)于發(fā)聲時的聲音的聲紋等聲音特征等。使用了聲紋的個人識別，只需采用本申請人在日本專利申請公開特開平7-302351號公報(bào)等中記載的技術(shù)即可。
此外，進(jìn)一步說明核對部118，核對部118對圖像信息進(jìn)行與數(shù)據(jù)庫115核對的處理，對聲音信息進(jìn)行與數(shù)據(jù)庫115核對的處理。
圖像信息的核對這樣進(jìn)行，即對臉、發(fā)型、背影、體型、服裝、攜帶的物品等以靜止圖像為基礎(chǔ)的特征、手勢和步態(tài)的習(xí)慣等以動圖像為基礎(chǔ)的特征進(jìn)行核對，并針對這些特征進(jìn)行個人識別。在服裝特征的識別中，例如，服裝的質(zhì)地特征、顏色成分特征、服裝的類型(連衣裙、褲子、裙子、襯衣、毛衣、外套等各類型)的輪廓、以及從特定視點(diǎn)位置觀察到的圖像的局部特征的空間配置信息(參照本申請人的日本專利申請?zhí)卦S3078166號公報(bào))等，是核對時所使用的特征類型。攜帶的物品、以及其他以靜止圖像為基礎(chǔ)的核對也同樣地進(jìn)行。關(guān)于手勢、步態(tài)的習(xí)慣的特征檢測方法，只需使用公知的技術(shù)(例如日本專利申請公開特開2002-8042號公報(bào)、日本專利申請公開特開2002-344946號公報(bào)等)即可，由于在這里不作為主要著眼點(diǎn)，故而省略對其的說明。
2次認(rèn)證部119，在檢驗(yàn)部118識別個人時，使用其他的特征量進(jìn)行識別處理，以進(jìn)一步對該個人進(jìn)行更為詳細(xì)的識別處理。
圖6是表示上述識別處理裝置1000的基本結(jié)構(gòu)的框圖。作為識別處理裝置1000，可以應(yīng)用普通的PC(個人計(jì)算機(jī))、WS(工作站)等，但本發(fā)明不限于此。
在圖6中，801是CPU，使用存儲在RAM802、ROM803中的程序、數(shù)據(jù)，進(jìn)行本裝置整體的控制，并且執(zhí)行識別處理裝置1000進(jìn)行的后述各項(xiàng)處理。另外，圖2所示的人物檢測部150、特征信息檢測部112、學(xué)習(xí)分類部113、核對部118、以及2次認(rèn)證部119都作為CPU801具有的功能的一部分進(jìn)行動作。
802是RAM，具有用于暫時存儲從外部存儲裝置806加載的程序、數(shù)據(jù)，經(jīng)由接口807接收的程序、數(shù)據(jù)的區(qū)域，并且還具有CPU801執(zhí)行各種處理時使用的工作區(qū)。
803是ROM，存儲本裝置的設(shè)定數(shù)據(jù)、引導(dǎo)程序等。
804是操作部，由鍵盤、鼠標(biāo)等構(gòu)成，能夠通過本裝置的操作者進(jìn)行操作而對CPU801輸入各種指示。
805是顯示部，由CRT、液晶畫面等構(gòu)成，能夠通過圖像、字符等顯示CPU801的處理結(jié)果。
806是外部存儲裝置，由硬盤驅(qū)動裝置等大容量信息存儲裝置構(gòu)成，在這里保存著用于使OS(操作系統(tǒng))、CPU801執(zhí)行識別處理裝置1000進(jìn)行的后述各項(xiàng)處理的程序、數(shù)據(jù)。而且，在此登錄有圖2所示的數(shù)據(jù)庫115保持的信息組，即對每個個人，登錄有每個類型的特征量。并且，這些信息中的一部分或者全部，按照CPU801的控制被加載到RAM802，成為CPU801的處理對象。
807是I/F，用于本裝置與外部設(shè)備進(jìn)行數(shù)據(jù)通信，例如，可以將上述攝像機(jī)、傳聲器等連接在這里，除此之外，還可以經(jīng)由網(wǎng)絡(luò)與保持現(xiàn)實(shí)空間的圖像信息、聲音信息的裝置連接。
808是連接上述各部的總線。
接著，對具有上述結(jié)構(gòu)的識別處理裝置1000進(jìn)行的本實(shí)施方式的個人識別處理，使用表示該處理流程圖的圖1，在以下進(jìn)行說明。另外，用于使CPU801按照圖1的流程圖執(zhí)行處理的程序、數(shù)據(jù)保持在外部存儲裝置806中，通過按照CPU801的控制適當(dāng)?shù)貙⑦@些程序、數(shù)據(jù)加載到RAN802，并由CPU801使用這些程序、數(shù)據(jù)進(jìn)行處理，本裝置將執(zhí)行以下說明的各項(xiàng)處理。
首先，從傳感部111向識別處理裝置1000輸入圖像信息、聲音信息(有時統(tǒng)稱為傳感數(shù)據(jù))，因此，CPU801檢測這些信息，并將這些信息暫時存儲到RAM802中(步驟S1)。
接著，CPU801作為人物檢測部150發(fā)揮作用，從存儲在RAM802的圖像中，主要檢測人物的頭部、或者臉的位置，并根據(jù)檢測出的位置確定圖像中的人物區(qū)域(步驟S2)。
接著，CPU801作為特征信息檢測部112發(fā)揮作用，從在步驟S2中確定的人物區(qū)域中檢測預(yù)先確定的每個類型的特征量，并且，從由傳感部111取得的聲音信息中檢測預(yù)先確定的每個類型的特征量(步驟S3)，并對檢測出的每個特征量求有效值(步驟S4)，根據(jù)求出的各個有效值選擇在以下的處理中使用的特征量(步驟S5)。
在步驟S3中，檢測臉、發(fā)型、胳膊或手、腿、服裝、攜帶的物品等以靜止圖像為基礎(chǔ)的特征量；手勢和步態(tài)等以動圖像為基礎(chǔ)的特征量；以及聲音信息。并不需要完全抽取這些特征量的全部，即使由于其他物體的遮蔽、照明條件等的限制而沒有抽取也沒有關(guān)系。
接著，對上述步驟S4的處理進(jìn)行說明。在本步驟中如上述那樣，求每個特征量的有效值，以下說明該求解方法的一例。
首先，在圖7所示的分層神經(jīng)網(wǎng)絡(luò)的最終層，對所有的類型(全部的i)取得用于檢測類型i(1≤i≤N)的特征量的模塊的輸出級別(level)Vi(從0(最小)到1(最大)進(jìn)行了標(biāo)準(zhǔn)化)。在本實(shí)施方式中，對于聲音信息沒有使用這樣的分層神經(jīng)網(wǎng)絡(luò)，而在進(jìn)行這樣的處理時，對于聲音信息事先準(zhǔn)備有識別預(yù)先確定的類型的分層神經(jīng)網(wǎng)絡(luò)，并對該分層神經(jīng)網(wǎng)絡(luò)輸入所取得的聲音信息。由此，能夠求出聲音信息的各個類型的輸出級別。對于其他的信息(例如活體信息)也進(jìn)行同樣的處理。
接著，求所有類型的輸出級別的總和S(S＝V1+V2+...+Vn)。而且，對各個類型，預(yù)先求出出現(xiàn)頻率，然后，設(shè)類型i的出現(xiàn)頻率為ki時，可以通過計(jì)算Yi＝Ki×Vi/S求出對應(yīng)于類型i的特征量的有效值Yi。由此，能夠?qū)Ω鱾€類型求出相對的有效度(＝有效值)。關(guān)于對各個類型求有效值的方法不限于此。
例如，在上述神經(jīng)網(wǎng)絡(luò)中，有時通過自組織映射(self-organizationmap)獲得的鄰接、或者鄰近的各類型的典型局部特征，即使人進(jìn)行了視覺上的識別，相互之間的相似度依然高。因此，選擇(像在預(yù)定的特征空間相互正交這樣)相互之間的相似度低的典型性的類型。具體而言，引入用于評價特征的相似度的距離尺度(特征矢量空間的歐幾里得距離等)，選擇相互之間距離預(yù)定閾值以上的特征；或者通過人的視覺識別選擇典型的特征。結(jié)果，在獲得的各個特征類型中，含有某種程度的不同變動(尺寸變動、朝向變動、照明變動等)下的多個局部特征。
因此，通過這樣可以選擇在以下的處理中使用的特征量。
接著，對上述步驟S5的處理進(jìn)行說明。在本步驟中，如上述那樣，根據(jù)在步驟S4中求出的各類型的有效值，選擇在以下的處理中使用的特征量，例如，將具有大于等于預(yù)定的閾值的有效值的特征量，作為在以下的處理中使用的特征量來選擇。此時使用的閾值，也可以通過檢查各個有效值的分布的統(tǒng)計(jì)量(平均值、分散值等)適應(yīng)性地設(shè)定。在本實(shí)施方式中，將有效度的分布的平均值作為閾值使用。
在人物從遠(yuǎn)處走過來這樣的情況下，作為選擇使用了有效值的特征量的例子，臉圖像大多由于臉的尺寸過小而不適于人物的識別。在這樣的情況下，臉特征類型的有效度低，步態(tài)、姿容整體、發(fā)型、服裝等特征的有效度變高，可以使用步態(tài)等特征篩選(narrow down)對象人物。
此外，顯然在只能觀測到人物的背影的情況下，從正面臉等獲得的特征的有效度就低。這樣，預(yù)先沒有確定以怎樣的順序進(jìn)行特征的選擇和對象的篩選，通過評價由環(huán)境的條件、傳感信息取得的條件、識別對象人物所處的狀況等決定的上述有效度，來確定特征的選擇和篩選結(jié)果。
返回圖1，接著，CPU801作為核對部118發(fā)揮作用，為了確定在步驟S5中選擇的特征量是誰的，進(jìn)行在步驟S5中選擇的特征量與登錄在數(shù)據(jù)庫115中的每個個人的特征量的核對處理(步驟S6)。在步驟S5中選擇的特征量中包括圖像特征和聲音特征，關(guān)于圖像特征的核對，不論特征類型是以靜止圖像為基礎(chǔ)，還是以動圖像為基礎(chǔ)，都以動圖像來進(jìn)行圖像數(shù)據(jù)的輸入。作為時間序列數(shù)據(jù)，輸入多個圖像數(shù)據(jù)并進(jìn)行核對，例如，如果判斷為特定人物的圖像數(shù)據(jù)數(shù)的比例大于等于預(yù)定值，則將剩余的確定結(jié)果視作由于沒有良好地進(jìn)行特征抽取而造成的錯誤判斷。這是為了追求降低伴隨攝影條件的變動而發(fā)生的錯誤識別。
然后，在該核對處理的結(jié)果，是在步驟S5中選擇的特征量與任何一個登錄在數(shù)據(jù)庫115的每個個人的特征量都不相符的情況下，使處理經(jīng)由步驟S7進(jìn)入步驟S8，CPU801作為2次認(rèn)證部119發(fā)揮作用，開始2次認(rèn)證處理(步驟S8)。即，由于在步驟S5中選擇的特征量是否與登錄在數(shù)據(jù)庫115的每個個人的特征量的任何一個都不相符，存在判斷誤差，因此無法嚴(yán)密地進(jìn)行判斷。于是，通過進(jìn)一步進(jìn)行認(rèn)證處理(2次認(rèn)證處理)，更嚴(yán)密地進(jìn)行判斷。
在2此認(rèn)證中，進(jìn)行虹膜認(rèn)證、基于基因序列的認(rèn)證、以及指紋認(rèn)證等以活體信息為基礎(chǔ)的認(rèn)證，并進(jìn)行使用了密碼和表示出生年月日以及其他用于確認(rèn)本人的屬性信息的文本信息的認(rèn)證。該文本信息，對于判斷為非登錄人物的人物，發(fā)出輸入指示等進(jìn)行輸入。
然后，在該2次認(rèn)證處理的結(jié)果，是在步驟S5中選擇的特征量與登錄在數(shù)據(jù)庫115的每個個人的特征量中的某個相符的情況下，將在步驟S5中選擇的特征量登錄到數(shù)據(jù)庫115(步驟S9)，進(jìn)而，對識別模型進(jìn)行學(xué)習(xí)處理，使得將在步驟S5中選擇的特征量，識別為與該特征量相符的個人(特定個人)的特征量(步驟S10)。關(guān)于該學(xué)習(xí)處理，使用公知的方法(參照日本專利申請公開特開平5-89076號公報(bào)、日本專利申請公開特開平5-108596號公報(bào)等)即可。此時，也可以將測量照明條件、濕度、溫度等的傳感器的輸出作為環(huán)境信息存儲到數(shù)據(jù)庫。這是為了應(yīng)對能夠考慮到環(huán)境信息(例如，由于亮度低，因此臉圖像數(shù)據(jù)對于人物識別無用等的情況)時判斷為特征選擇部1122選擇的特征不適當(dāng)?shù)那闆r，使得以后在同樣的環(huán)境條件下進(jìn)行人物識別時能夠適當(dāng)?shù)剡M(jìn)行特征選擇。即，特征選擇部1122也可以參照特征類型的有效度和環(huán)境信息兩者，選擇用于識別的特征類型。存儲何種環(huán)境信息，取決于用于核對的特征類型。例如，在為從臉圖像抽取的特征類型的情況下，亮度和曝光量等攝影條件被用作環(huán)境信息。
根據(jù)以上的說明，通過本實(shí)施方式，能夠?qū)φ彰鳁l件和環(huán)境變動具有穩(wěn)健性，并且維持高的核對精度。另外，能夠有效地進(jìn)行識別對象的篩選。
而且，在本實(shí)施方式中，通過將人物的步態(tài)、舉止習(xí)慣、手勢、咳嗽、噴嚏等關(guān)于動作的特征也作為人物識別的輔助信息用于篩選，能夠縮短認(rèn)證需要的時間，并且提高識別精度。
另外，在本實(shí)施方式中，收集圖像信息、聲音信息作為現(xiàn)實(shí)空間中的環(huán)境信息，并在各種信息的特征量中決定使用的特征量，但作為環(huán)境信息使用的信息不限于此，既可以只使用圖像信息或聲音信息，也可以與其他信息適當(dāng)?shù)亟M合使用。
此外，在本實(shí)施方式中，將圖2所示的一部分作為CPU801具有的功能進(jìn)行了說明，但也可以用專用的硬件來構(gòu)成各部分。
〔第2實(shí)施方式〕在本實(shí)施方式中，說明識別在家庭內(nèi)等生活環(huán)境、辦公室等特定環(huán)境中，通?；蛘咭欢〞r間范圍待在該場所的人物、或者識別該人物的狀況(正常/異常)的情況。
更詳細(xì)地說，在環(huán)境內(nèi)分散設(shè)置臉圖像特征等以圖像為基礎(chǔ)的特征的檢測裝置(攝像裝置等)、和聲紋等以聲音為基礎(chǔ)的特征的檢測裝置(傳聲器等)、以及以下例示的活體信息的檢測裝置(傳感裝置)。此處，作為活體信息，使用虹膜圖案、指紋圖案、靜脈圖案、基因序列信息、體味中的至少1個，處理并抽取來自對應(yīng)于每一個上述活體信息的傳感器的傳感數(shù)據(jù)。一直以來，這些中的無論哪一個都作為確定個人的活體傳感數(shù)據(jù)來使用(基于體味的個體識別技術(shù)，參照日本專利申請公開特開平9-131335號公報(bào)等)。人物的狀況識別主要通過處理從攝像裝置獲得的圖像數(shù)據(jù)來進(jìn)行。
人物的識別、人物狀況的識別，一并使用從這些傳感器獲得的傳感數(shù)據(jù)和在第1實(shí)施方式中說明過的圖像信息、聲音信息來進(jìn)行。
圖4是表示本實(shí)施方式的個人識別系統(tǒng)的功能結(jié)構(gòu)的框圖。如該圖所示，本實(shí)施方式的系統(tǒng)，由圖像輸入部2210、聲音輸入部2211、識別處理裝置400、以及活體信息輸入部230構(gòu)成，并且，上述識別處理裝置400，由人物檢測部2250、特征信息檢測部2512、學(xué)習(xí)分類部2513、數(shù)據(jù)庫2515、以及核對部2518構(gòu)成。
圖像輸入部2210、聲音輸入部2211分別與圖像傳感部1111、聲音傳感部1112相同，分別用于收集圖像信息、聲音信息?；铙w信息輸入部230，如圖4所示那樣，包括虹膜圖案輸入部2212、指紋圖案輸入部2213、靜脈圖案輸入部2214、體味輸入部2215、以及基因序列信息輸入部2216。另外，活體信息輸入部230不限于由所有這些構(gòu)成，既可以是僅使用某一個，也可以適當(dāng)組合多個而構(gòu)成。而且，還可以將對除此之外的活體信息進(jìn)行傳感的傳感器加到活體信息輸入部230。
識別處理裝置400的結(jié)構(gòu)變成從識別處理裝置1000的基本結(jié)構(gòu)省去了2次認(rèn)證部119的結(jié)構(gòu)，并且，構(gòu)成識別處理裝置400的各部，與構(gòu)成識別處理裝置1000的各部基本上進(jìn)行同樣的處理。由此，特征信息檢測部2512，與第1實(shí)施方式相同，具有圖3所示的結(jié)構(gòu)。而且，關(guān)于識別處理裝置400的基本結(jié)構(gòu)，與第1實(shí)施方式相同，具有圖6所示的結(jié)構(gòu)。
圖5是個人識別處理裝置400進(jìn)行的個人識別處理的流程圖。首先，進(jìn)行上述步驟S1、S2的處理，確定從圖像輸入部2210獲得的圖像中的人物區(qū)域(步驟S21)。此外，與第1實(shí)施方式同樣地，由聲音輸入部2211取得聲音信息。
接著，由活體信息輸入部230收集來自存在于空間中的人物的活體信息(步驟S22)。
然后，分別與上述步驟S3～步驟S6的處理同樣地進(jìn)行步驟S23～步驟S26的處理。另外，在步驟S23～步驟S26的處理中，除圖像信息、聲音信息之外還追加了活體信息，這一點(diǎn)與第1實(shí)施方式不同。因此，在步驟S23中，也可以如以下將要說明的那樣，進(jìn)行特定種類的圖案的檢測。
在本實(shí)施方式中，為了不使對象人物意識到正在被本系統(tǒng)識別，而不要求該人物作出特別的動作，而且預(yù)先對各種傳感器的動作狀態(tài)進(jìn)行設(shè)置，使其不被作為普通的被識別對象的人物感知。只使用能夠在人物所處的環(huán)境中取得的傳感數(shù)據(jù)進(jìn)行人物的識別。
為此，有效度評價部2121還具有監(jiān)視是否從來自各傳感器的傳感數(shù)據(jù)中取入了有用的信號的功能。例如，有效度評價部2121，包括判斷是否從虹膜圖案輸入部2212輸入了相當(dāng)于虹膜的圖案的虹膜判斷部，和對來自圖像輸入部2210的輸出進(jìn)行檢測的臉檢測部、背影檢測部、頭發(fā)檢測部、服裝檢測部等，只有當(dāng)各檢測級別大于等于閾值時，進(jìn)行用于個人識別的特征檢測級別的有效度評價。另外，各檢測部也可以被設(shè)定為內(nèi)置于對應(yīng)的傳感部中。
另外，拍攝圖像的傳感器、指紋傳感器、進(jìn)行虹膜圖像輸入的傳感器為小型傳感器，嵌入在墻面、家具、辦公用機(jī)器、桌子、鼠標(biāo)、鍵盤、遙控器等當(dāng)中。也可以將靜脈圖案、基因序列的傳感部等，與其功能對應(yīng)地設(shè)置成專用的傳感部。
例如，基因序列的傳感部，使用由自動地采集對象人物的體毛、指甲、體液等的裝置采集的標(biāo)本，進(jìn)行基因序列的解析。例如，采集該人物自動脫落的頭發(fā)進(jìn)行基因序列的解析。關(guān)于所采集的標(biāo)本屬于該人物一事的確認(rèn)，由內(nèi)置于特征檢測部2120的圖像識別部進(jìn)行，通過識別例如頭發(fā)從該人物脫落的瞬間來進(jìn)行。另外，也可以是基因序列信息的解析部位于遠(yuǎn)處，在該人物所處的環(huán)境中僅設(shè)置采集部。作為采集部的例子，有小型的清掃機(jī)器人、手眼協(xié)同動作機(jī)器人等方式。
作為靜脈圖案的傳感部的結(jié)構(gòu)(參照日本專利申請公開特開2001-184705號公報(bào)等)可以有這樣的結(jié)構(gòu)，例如在鼠標(biāo)的表面設(shè)置預(yù)定的受光部，接受從設(shè)定在預(yù)定位置的光源得到的與靜脈圖案對應(yīng)的透射光的分布。作為虹膜圖案的傳感部，使用自律移動機(jī)器人的眼睛以及其他圖像輸入部。
特征選擇部2122，根據(jù)有效度評價值與第1實(shí)施方式同樣地進(jìn)行用于個人識別的特征的選擇。
圖8是表示搭載圖1或圖5所示的系統(tǒng)的信號處理裝置(例如照相機(jī)、攝像機(jī)、掃描儀、復(fù)印機(jī)、打印機(jī)等)的基本結(jié)構(gòu)的圖。
在圖8中，9是裝置主體，包括包含攝影鏡頭和變焦攝影用驅(qū)動控制機(jī)構(gòu)的成像光學(xué)系統(tǒng)92；CCD或CMOS圖像傳感器93；拍攝參數(shù)的測量部94；視頻信號處理回路95；存儲部96；產(chǎn)生控制圖像輸入動作、控制圖像輸入條件等的控制用信號的控制信號發(fā)生部97；顯示器98；輸入傳感器信息、用戶的操作信息的輸入部99；記錄介質(zhì)910；以及圖2或者圖4所示的系統(tǒng)(人物識別裝置)91。
該信號處理裝置具有這樣的功能，即能夠根據(jù)來自輸入部99的傳感器信息，由人物識別裝置91識別特定的用戶，并限制僅允許該用戶使用的功能和每個用戶都可以使用的功能。在與預(yù)先登錄的人物進(jìn)行核對時所使用的技術(shù)有臉等頭部的識別、指紋認(rèn)證、虹膜認(rèn)證、聲紋認(rèn)證等?？刂菩盘柊l(fā)生部97，根據(jù)該人物的識別結(jié)果，產(chǎn)生對本裝置進(jìn)行訪問控制(每一用戶可處理的功能的限制等)的控制信號。另外，在將臉等作為識別對象時，也可以從成像光學(xué)系統(tǒng)92輸入識別對象的圖像。
而且，人物識別裝置91的動作可以是第1實(shí)施方式、第2實(shí)施方式中任一種動作。例如，也可以在圖1所示的處理流程中評價各種特征的有效度選擇以臉圖像為基礎(chǔ)的特征進(jìn)行了個人識別后在判斷為是非登錄人物時，作為2次認(rèn)證處理，控制信號發(fā)生部97對顯示器98產(chǎn)生顯示控制信號，該顯示控制信號指示利用輸入部99的數(shù)字鍵按鈕等輸入該人物的密碼或指示進(jìn)行指紋認(rèn)證。此時，進(jìn)行個人識別用的特征類型的追加學(xué)習(xí)。
而且，也可以在判斷為非登錄人物時，產(chǎn)生自動停止本裝置的功能的控制信號。
而且，本系統(tǒng)除了用于防止不正當(dāng)使用之外，還可以用于出/入室控制等各種各樣的用途。尤其是通過實(shí)施以上說明的控制，能夠可靠地識別作為用戶的人物，防止不正當(dāng)使用和偷盜。
〔其他實(shí)施方式〕另外，本發(fā)明的目的也可以通過將記錄有實(shí)現(xiàn)上述實(shí)施方式的功能的軟件的程序代碼的記錄介質(zhì)(或者存儲介質(zhì))提供給系統(tǒng)或者裝置，用該系統(tǒng)或者裝置的計(jì)算機(jī)(或CPU、MPU)讀出并執(zhí)行存儲在記錄介質(zhì)中的程序代碼來實(shí)現(xiàn)。在這種情況下，從記錄介質(zhì)讀出的程序代碼本身實(shí)現(xiàn)上述實(shí)施方式的功能，存儲有該程序代碼的記錄介質(zhì)構(gòu)成本發(fā)明。
另外，除了通過實(shí)施計(jì)算機(jī)讀出的程序代碼，實(shí)現(xiàn)上述實(shí)施方式的上述功能之外，顯然，本發(fā)明還包括在計(jì)算機(jī)上運(yùn)行著的操作系統(tǒng)(OS)等根據(jù)該程序代碼的指示，實(shí)施一部分或者全部實(shí)際的處理，通過該處理實(shí)現(xiàn)上述實(shí)施方式的功能的情況。
另外，本發(fā)明還包括在從記錄介質(zhì)讀出的程序代碼寫入到插入計(jì)算機(jī)的功能擴(kuò)展板、或者與計(jì)算機(jī)相連接的功能擴(kuò)展單元所具有的存儲器后，該功能擴(kuò)展板、功能擴(kuò)展單元所具有的CPU等，根據(jù)該程序代碼的指示，實(shí)施一部分或者全部的實(shí)際處理，通過該處理實(shí)現(xiàn)上述實(shí)施方式的功能的情況。
在將本發(fā)明應(yīng)用于上述記錄介質(zhì)時，該記錄介質(zhì)中將存儲與先前說明的流程圖對應(yīng)的程序代碼。
在不脫離本發(fā)明的精神和范圍的前提下，本發(fā)明可以有各種不同的實(shí)施方式，并且應(yīng)該理解為，本發(fā)明不受上述特定的實(shí)施方式的限定，其范圍由所附的權(quán)利要求限定。
權(quán)利要求
1.一種信息處理設(shè)備，其特征在于，包括取得裝置，取得人所處的空間的環(huán)境信息；收集裝置，從上述取得裝置取得的環(huán)境信息中收集多種特征量；計(jì)算裝置，求上述收集裝置所收集的各種特征量的有效值；確定裝置，根據(jù)上述計(jì)算裝置計(jì)算出的各有效值，從上述多種特征量中確定用于個人識別的特征量；以及識別裝置，使用上述確定裝置所確定的特征量進(jìn)行個人識別。
2.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其特征在于，上述取得裝置，取得上述空間的圖像信息、上述空間的聲音信息、存在于上述空間內(nèi)的人的活體信息中的至少一種。
3.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其特征在于，上述取得裝置取得上述空間的圖像信息，上述收集裝置收集關(guān)于人物的姿容或者動作的圖像特征量。
4.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其特征在于，上述取得裝置取得上述空間的聲音信息，上述收集裝置收集關(guān)于非語言的聲音特征量。
5.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其特征在于，上述取得裝置，作為存在于上述空間內(nèi)的人的活體信息，取得虹膜圖案、指紋圖案、靜脈圖案、基因序列信息、體味中的至少1種。
6.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其特征在于，上述計(jì)算裝置，包括在分層神經(jīng)網(wǎng)絡(luò)的最終層，對所有的類型i取得用于檢測各種特征量的模塊的標(biāo)準(zhǔn)化后的輸出級別Vi的裝置；求所有類型的輸出級別的總和S＝V1+V2+...+VN的裝置；以及將類型i的出現(xiàn)頻率設(shè)定為ki時，通過計(jì)算Yi＝ki×Vi/S來求對類型i的特征量的有效值Yi的裝置。
7.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其特征在于，上述確定裝置，將具有大于等于預(yù)定閾值的有效值的特征量，確定為用于個人識別的特征量。
8.根據(jù)權(quán)利要求7所述的信息處理設(shè)備，其特征在于，上述計(jì)算裝置，根據(jù)特征量的收集頻率或級別中的至少一種，計(jì)算上述有效值。
9.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其特征在于，上述確定裝置，用預(yù)定的概率權(quán)重，從由上述收集裝置所收集的多個特征量中確定預(yù)定數(shù)量的特征量。
10.根據(jù)權(quán)利要求9所述的信息處理設(shè)備，其特征在于，上述概率權(quán)重，根據(jù)由上述收集裝置所收集的特征量的分布來決定。
11.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其特征在于，還包括保存裝置，保存每個個人的特征量組，上述識別裝置包括核對裝置，該核對裝置將上述確定裝置所確定的特征量、與上述保存裝置保存的每個個人的特征量組進(jìn)行核對，并確定上述特性量是屬于誰的。
12.根據(jù)權(quán)利要求11所述的信息處理設(shè)備，其特征在于，還包括登錄裝置，該登錄裝置在上述確定裝置所確定的特征量、與上述保存裝置保存的每個個人的特征量組中的任何一個都不相符時，將上述確定裝置所確定的特征量登錄到上述保存裝置。
13.根據(jù)權(quán)利要求11所述的信息處理設(shè)備，其特征在于，在上述確定裝置所確定的特征量、與上述保存裝置保存的每個個人的特征量組的任何一個都不相符時，上述識別裝置基于與該確定的特征量不同的特征量進(jìn)行識別。
14.一種信息處理方法，其特征在于，包括取得步驟，取得人所處的空間的環(huán)境信息；收集步驟，從在上述取得步驟中取得的環(huán)境信息中收集多種特征量；計(jì)算步驟，求在上述收集步驟中所收集的各種特征量的有效值；確定步驟，根據(jù)在上述計(jì)算步驟中計(jì)算出的各有效值，從上述多種特征量中確定用于個人識別的特征量；以及識別步驟，使用在上述確定步驟中所確定的特征量進(jìn)行個人識別。
全文摘要
本發(fā)明提供一種信息處理設(shè)備、信息處理方法，從存在于空間中的人物的圖像信息、聲音信息中收集多種特征量，計(jì)算所收集的特征量的有效值，根據(jù)計(jì)算出的有效值，從所收集的各種特征量中確定用于個人識別處理的特征量，使用所確定的特征量進(jìn)行個人識別。
文檔編號G10L17/00GK1845126SQ20061007255
公開日2006年10月11日 申請日期2006年4月7日 優(yōu)先權(quán)日2005年4月8日
發(fā)明者真繼優(yōu)和, 森克彥, 加藤政美, 佐藤博, 金田雄司, 御手洗裕輔 申請人:佳能株式會社