專利名稱：：千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試系統(tǒng)與測試方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及計(jì)算機(jī)生物特征識(shí)別領(lǐng)域，尤其是涉及一種千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試系統(tǒng)與測試方法。
背景技術(shù)：
：隨著生物特征技術(shù)的發(fā)展，人臉識(shí)別技術(shù)已經(jīng)從原型系統(tǒng)逐漸走向了商用，國內(nèi)外都出現(xiàn)了專業(yè)的商業(yè)人臉識(shí)別系統(tǒng)與產(chǎn)品。人臉識(shí)別技術(shù)主要包括一對一驗(yàn)證和一對多識(shí)別，"對多人臉識(shí)別是一個(gè)人臉樣本與需查詢的多(或N)個(gè)人臉樣本進(jìn)行比對，根據(jù)用戶要求返回比對相似度由大到小排序靠前的一個(gè)或多個(gè)樣本。人臉識(shí)別技術(shù)應(yīng)用主要包括一對一驗(yàn)證應(yīng)用和一對多識(shí)別應(yīng)用。千萬級(jí)一對多人臉識(shí)別產(chǎn)品屬于一對多識(shí)別應(yīng)用的一種，其中千萬級(jí)是指査詢名單N為千萬的數(shù)量級(jí)，屬于超大數(shù)據(jù)量的人臉識(shí)別系統(tǒng)。為保證快速的識(shí)別效率，千萬級(jí)人臉識(shí)別產(chǎn)品在軟件硬件配置、樣本分布、網(wǎng)絡(luò)環(huán)境、比對技術(shù)等方面都有區(qū)別于一般一對多人臉識(shí)別的識(shí)別技術(shù)和數(shù)據(jù)管理，因此千萬級(jí)人臉識(shí)別產(chǎn)品是集人臉識(shí)別技術(shù)、數(shù)據(jù)庫管理、分布式運(yùn)算、計(jì)算機(jī)網(wǎng)絡(luò)等多方面的綜合產(chǎn)品。我國由于人口基數(shù)大，在公共安全行業(yè)需要千萬級(jí)一對多人臉識(shí)別產(chǎn)品。國內(nèi)一對多人臉識(shí)別產(chǎn)品的測試査詢樣本通常是十萬、百萬級(jí)，測試樣本基本上在單臺(tái)計(jì)算機(jī)或服務(wù)器上完成，而千萬級(jí)一對多人臉識(shí)別產(chǎn)品一方面由于其識(shí)別比對技術(shù)復(fù)雜，另一方面產(chǎn)品涉及網(wǎng)絡(luò)、數(shù)據(jù)庫、負(fù)載處理等多領(lǐng)域技術(shù)，因此在國內(nèi)外還沒有千萬級(jí)規(guī)模的人臉識(shí)別產(chǎn)品的測試。因此，千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試系統(tǒng)和測試方法對快速、準(zhǔn)確、全面地反映千萬級(jí)一對多人臉識(shí)別產(chǎn)品的各項(xiàng)性能具有重要意義。
發(fā)明內(nèi)容本發(fā)明的目的在于提供一種千萬級(jí)一對多人臉識(shí)別產(chǎn)品測試系統(tǒng)和測試方法，從性能優(yōu)劣、硬件資源消耗、負(fù)載壓力及系統(tǒng)應(yīng)用性對不同人臉識(shí)別產(chǎn)品進(jìn)行統(tǒng)一客觀的評測，該系統(tǒng)在快速完成千萬級(jí)人臉識(shí)別產(chǎn)品的各項(xiàng)測試內(nèi)容的同時(shí)，還可以獲得從一百萬到一千萬的各階段的各項(xiàng)測試指標(biāo)。該測試系統(tǒng)具有可擴(kuò)展性，測試樣本數(shù)可以從幾十萬、幾百萬到幾千萬。本發(fā)明提供的千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試系統(tǒng)，包括計(jì)算機(jī)結(jié)構(gòu)和數(shù)據(jù)庫結(jié)構(gòu)，所述計(jì)算機(jī)結(jié)構(gòu)和數(shù)據(jù)庫結(jié)構(gòu)設(shè)置一個(gè)圖像數(shù)據(jù)存儲(chǔ)單元及與其相連的圖像數(shù)據(jù)庫用于存儲(chǔ)測試人臉識(shí)別產(chǎn)品的所有圖像樣本；一個(gè)模板數(shù)據(jù)存儲(chǔ)單元及與其相連的模板數(shù)據(jù)庫用于存儲(chǔ)被測人臉識(shí)別產(chǎn)品生成的特征模板；一個(gè)結(jié)果數(shù)據(jù)存儲(chǔ)單元及與其相連的結(jié)果數(shù)據(jù)庫用于存儲(chǔ)被測人臉識(shí)別產(chǎn)品比對的結(jié)果數(shù)據(jù)；一個(gè)特征模板提取單元用于提取所述圖像數(shù)據(jù)庫中測試圖像樣本的特征模板，特征模板提取完成后，把特征模板通過所述模板數(shù)據(jù)存儲(chǔ)單元存儲(chǔ)到所述模板數(shù)據(jù)庫中；一個(gè)比對請求單元用于發(fā)送査詢指令；一個(gè)比對單元用于將所述模板數(shù)據(jù)庫中的特征模板數(shù)據(jù)加載到本地內(nèi)存中，同時(shí)接受所述比對請求單元發(fā)送的查詢指令，在本地進(jìn)行比對，在比對完成后把比對結(jié)果數(shù)據(jù)通過所述結(jié)果數(shù)據(jù)存儲(chǔ)單元存儲(chǔ)到所述結(jié)果數(shù)據(jù)庫中；所述特征模板提取單元與所述圖像數(shù)據(jù)存儲(chǔ)單元和模板數(shù)據(jù)存儲(chǔ)單元分別相互連接，所述比對請求單元與所述比對單元相連，所述比對單元與所述模板數(shù)據(jù)存儲(chǔ)單元和結(jié)果數(shù)據(jù)存儲(chǔ)單元分別相互連接；其中，所述比對單元設(shè)置一對多特征比對模板，所述一對多特征比對模板用于獲取至少包括查詢時(shí)間、內(nèi)存加載時(shí)間、正確報(bào)警率、查全率和漏報(bào)率的測試指標(biāo)。本發(fā)明千萬級(jí)一對多人臉識(shí)別測試系統(tǒng)，其中所述圖像數(shù)據(jù)存儲(chǔ)單元、模板數(shù)據(jù)存儲(chǔ)單元、結(jié)果數(shù)據(jù)存儲(chǔ)單元、特征模板提取單元、比對單元、比對請求單元分別為一臺(tái)計(jì)算機(jī)或由通過網(wǎng)絡(luò)連接的多個(gè)計(jì)算機(jī)組成。本發(fā)明千萬級(jí)一對多人臉識(shí)別測試系統(tǒng)，其中每個(gè)所述特征模板提取單元設(shè)置用于同時(shí)運(yùn)行多個(gè)建模進(jìn)程的若干個(gè)計(jì)算機(jī)，每個(gè)建模進(jìn)程分別提取所述圖像數(shù)據(jù)庫中被測圖像樣本的特征模板，并存儲(chǔ)到所述模板數(shù)據(jù)存儲(chǔ)單元。本發(fā)明千萬級(jí)一對多人臉識(shí)別測試系統(tǒng)，其中所述比對單元存儲(chǔ)到所述結(jié)果存儲(chǔ)單元中的比對結(jié)果數(shù)據(jù)采用統(tǒng)一的比對結(jié)果存儲(chǔ)協(xié)議，包括所有計(jì)算機(jī)的比對結(jié)果數(shù)據(jù)和匯總后的比對結(jié)果數(shù)據(jù)。本發(fā)明千萬級(jí)一對多人臉識(shí)別測試系統(tǒng)的優(yōu)點(diǎn)是由于特征模板提取單元和比對單元均由多個(gè)計(jì)算機(jī)組成，在測試過程進(jìn)行特征模板提取時(shí)，采取多機(jī)多進(jìn)程并行運(yùn)算的模式，而且每個(gè)計(jì)算機(jī)同時(shí)運(yùn)行多個(gè)建模進(jìn)程。在進(jìn)行特征比對時(shí)，采取多機(jī)并行比對的方式，比對單元中所有計(jì)算機(jī)同時(shí)進(jìn)行比對，這大大加快了比對速度。同時(shí)，本發(fā)明特征模板提取單元和比對單元均是模塊化的結(jié)構(gòu)，彼此相互獨(dú)立，二者可以分開獨(dú)立運(yùn)行。在對多個(gè)人臉識(shí)別產(chǎn)品進(jìn)行測試過程中，可以在一個(gè)被測人臉識(shí)別產(chǎn)品在進(jìn)行特征模板比對時(shí)，另外一個(gè)被測人臉識(shí)別產(chǎn)品進(jìn)行特征模板提取，又節(jié)省了測試時(shí)間。由于各個(gè)單元都采用獨(dú)立的模塊，因而系統(tǒng)靈活、可擴(kuò)展性強(qiáng)，通過適當(dāng)減少或增加各個(gè)單元計(jì)算機(jī)數(shù)量，可以完成十萬級(jí)、百萬級(jí)、千萬級(jí)的一對多人臉識(shí)別產(chǎn)品測試。由于在采用了相同的比對結(jié)果存儲(chǔ)協(xié)議，同時(shí)各個(gè)比對單元的比對都是獨(dú)立運(yùn)行的，因而通過一次測試既可以獲得各階段的測試結(jié)果，同時(shí)還可以獲取匯總的測試結(jié)果。下面結(jié)合附圖對本發(fā)明進(jìn)行進(jìn)一步的描述。圖1是本發(fā)明千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試系統(tǒng)的方框圖2是本發(fā)明千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試方法流程圖。具體實(shí)施例方式本發(fā)明中，人臉識(shí)別產(chǎn)品測試的基本術(shù)語如下-1)登錄特征模板提取單元對圖像樣本進(jìn)行特征提取的過程。2)拒登登錄過程中，特征模板提取單元不能芷常提取特征。3)拒登率拒登次數(shù)占登錄總數(shù)的比例，用百分比表示。4)登錄時(shí)間單次登錄所花費(fèi)的時(shí)間，用毫秒表示(ms)。5)比對兩個(gè)人臉特征進(jìn)行比較的過程。6)匹配相似度特征比對的輸出結(jié)果，代表參與比對的兩個(gè)特征文件的相似程度。其值用0.001.00的單精度浮點(diǎn)數(shù)表示，該數(shù)字愈大表示比對相似程度愈大，該數(shù)字愈小表示比對相似程度愈6小。7)比對時(shí)間單次比對所花費(fèi)的時(shí)間，用毫秒表示(ms)。8)特征模板大小單個(gè)人臉圖像特征模板所占用的存儲(chǔ)空間，用字節(jié)表示(Byte)。9)模板加載時(shí)間人臉識(shí)別產(chǎn)品從特征模板庫中把特征模板加載到本地比對單元計(jì)算機(jī)內(nèi)存所花費(fèi)的時(shí)間，用分鐘表示。10)査詢時(shí)間輸入一個(gè)查詢樣本，在目標(biāo)集中完成一次査詢，并輸出比對結(jié)果所花費(fèi)的時(shí)間，用毫秒表示(ms)。11)査中、査全對于任一個(gè)査詢樣本Pi,目標(biāo)庫中包含同一身份的mi幅照片，査詢后返回的前N個(gè)査詢結(jié)果(相似分最大的前N個(gè)樣本)中包含目標(biāo)庫中同一身份的ni(0《ni《mi)幅照片，如果rij》l則稱為查中，如果n^nii則稱為査全。參照圖l，本發(fā)明千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試系統(tǒng)中對測試圖像樣本、特征模板、比對結(jié)果數(shù)據(jù)都采用數(shù)據(jù)庫來存儲(chǔ)和管理。本發(fā)明千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試系統(tǒng)設(shè)置有.圖像數(shù)據(jù)存儲(chǔ)單元1及與其相連的圖像數(shù)據(jù)庫10:用于存儲(chǔ)測試人臉識(shí)別產(chǎn)品所有的圖像樣本；模板數(shù)據(jù)存儲(chǔ)單元2及與其相連的模&數(shù)據(jù)庫20:用于存儲(chǔ)被測人臉識(shí)別產(chǎn)品生成的特征模板；結(jié)果數(shù)據(jù)存儲(chǔ)單元3及與其相連的結(jié)果數(shù)據(jù)庫30:用于存儲(chǔ)被測人臉識(shí)別產(chǎn)品比對的結(jié)果數(shù)據(jù)；特征模板提取單元4:用于提取圖像數(shù)據(jù)庫10中被測圖像樣本的特征模板，特征模板提取完成后，把特征模板通過模板數(shù)據(jù)存儲(chǔ)單元2存儲(chǔ)到模板數(shù)據(jù)庫20中；比對請求單元6:用于發(fā)送比對指令，將比對任務(wù)發(fā)送到比對單元5;一個(gè)比對單元5:用于將模板數(shù)據(jù)庫20中的特征模板數(shù)據(jù)加載到本地內(nèi)存中，同時(shí)接受比對請求單元6發(fā)送的比對指令，在本地進(jìn)行比對，在比對完成后把比對結(jié)果數(shù)據(jù)通過結(jié)果數(shù)據(jù)存儲(chǔ)單元3存儲(chǔ)到結(jié)果數(shù)據(jù)庫30中；特征模板提取單元4與所述圖像數(shù)據(jù)存儲(chǔ)單元1和模板數(shù)據(jù)存儲(chǔ)單元2分別相互連接，比對請求單元6與比對單元5相連，比對單元5與模板數(shù)據(jù)存儲(chǔ)單元2和結(jié)果數(shù)據(jù)存儲(chǔ)單元3分別相互連接。其中每個(gè)特征模板提取單元4設(shè)置用于同時(shí)運(yùn)行多個(gè)建模進(jìn)程的若干個(gè)計(jì)算機(jī)，每個(gè)建模進(jìn)程分別提取圖像數(shù)據(jù)庫10中被測圖像樣本的特征模板，并存儲(chǔ)到模板數(shù)據(jù)存儲(chǔ)單元2中。比對單元5設(shè)置一對多特征比對模板，在一對多特征比對模板的比對過程中，通過記錄比對模板加載時(shí)間、査詢起始時(shí)間、查詢結(jié)束時(shí)間，獲取包括查詢速度、內(nèi)存加載時(shí)間等相關(guān)測試指標(biāo)。比對單元5存儲(chǔ)到所述結(jié)果存儲(chǔ)單元3中的比對結(jié)果數(shù)據(jù)采用統(tǒng)一的比對結(jié)果存儲(chǔ)協(xié)議，包括所有計(jì)算機(jī)的比對結(jié)果數(shù)據(jù)和匯總后的比對結(jié)果數(shù)據(jù)，在對比對結(jié)果進(jìn)行分析后，獲取正確報(bào)警率、査全率、漏報(bào)率等相關(guān)測試指標(biāo)。在本發(fā)明千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試系統(tǒng)中，圖像數(shù)據(jù)存儲(chǔ)單元l、模板數(shù)據(jù)存儲(chǔ)單元2、結(jié)果數(shù)據(jù)存儲(chǔ)單元3、特征模板提取單元4、比對單元5、比對請求單元6分別為一臺(tái)計(jì)算機(jī)或由通過網(wǎng)絡(luò)連接的多個(gè)計(jì)算機(jī)組成。參照圖2,本發(fā)明千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試方法包括以下步驟*建庫步驟40挑選測試樣本，組建測試樣本庫，并把測試樣本庫存放到圖像數(shù)據(jù)庫中。*被測產(chǎn)品提交步驟50;被測產(chǎn)品按照測試協(xié)議提交到測試系統(tǒng)，測試協(xié)議主要包括測試接口協(xié)議和比對結(jié)果存儲(chǔ)協(xié)議。*特征模板提取步驟60;被測產(chǎn)品對測試樣本庫中目標(biāo)庫圖像金行特征模板提取，并把特征模板存儲(chǔ)到模板數(shù)據(jù)庫中；*特征模板加載步驟70;被測產(chǎn)品從模板數(shù)據(jù)庫中把特征模板平均加載到比對單元計(jì)算機(jī)的本地內(nèi)存；*比對步驟80;用待測人臉識(shí)別產(chǎn)品對測試樣本庫進(jìn)行比對識(shí)別，得到比對結(jié)果，并把比對結(jié)果存儲(chǔ)到結(jié)果數(shù)據(jù)庫中。*結(jié)果統(tǒng)計(jì)步驟90;對比對步驟生成的比對結(jié)果進(jìn)行統(tǒng)計(jì)，計(jì)算測試指t示，繪制性能曲線。8本發(fā)明中特征模板提取單元4中所有計(jì)算機(jī)都通過FRCreateTe即late接口協(xié)議從圖像數(shù)據(jù)存儲(chǔ)單元1相連的圖像數(shù)據(jù)庫10中獲取被測圖像樣本，并生成特征模板，比對請求單元6通過FRGetCode接口協(xié)議獲取被測人臉識(shí)別算法或產(chǎn)品的代碼，通過FRLoadGallery接口協(xié)議驅(qū)動(dòng)比對單元5從模板數(shù)據(jù)單元2中加載特征模板數(shù)據(jù)，并通過FRlTo,atching接口協(xié)議發(fā)送比對請求，驅(qū)動(dòng)比對單元5進(jìn)行比對。如圖2所示結(jié)合圖1，下面以對兩個(gè)一對多人臉識(shí)別產(chǎn)品的測試實(shí)施例來說明本發(fā)明牛萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試過程。在步驟40中，首先建立測試樣本庫，并把測試樣本輸入到圖1中圖像數(shù)據(jù)存儲(chǔ)單元l相連的圖像數(shù)據(jù)庫10中。建立測試樣本庫，首先把測試樣本庫分為目標(biāo)庫、査詢庫A和査詢庫B三部分，然后把查詢庫A中被測人員的圖像在去相關(guān)性后均勻分布在目標(biāo)庫中。其中目標(biāo)庫是己知身份人員圖像庫。査詢庫A和査詢庫B是兩個(gè)不同的測試子集，它們提供給人臉識(shí)別產(chǎn)品進(jìn)行識(shí)別測試的圖像子庫。査詢庫A中被測人員必須在目標(biāo)庫中至少有一幅圖像，即查詢庫A人員是目標(biāo)庫中人員的一部分。査詢庫B中被測人員必須保證不在目標(biāo)庫內(nèi)，即査詢庫B人員和目標(biāo)庫中所有人員互不包含。在步驟50中，被測的人臉識(shí)別產(chǎn)品按照測試協(xié)議提交到測試系統(tǒng)，并在測試系統(tǒng)上進(jìn)行參數(shù)配置。測試協(xié)議主要包括測試接口協(xié)議和結(jié)果數(shù)據(jù)存儲(chǔ)協(xié)議。測試接口協(xié)議如下表所示<table>tableseeoriginaldocumentpage9</column></row><table>在步驟60中，被測人臉識(shí)別產(chǎn)品開始進(jìn)行特征模板jl取過程。針對千萬級(jí)這樣大規(guī)模的測試，系統(tǒng)采用多機(jī)多進(jìn)程并行的方式進(jìn)行特征模板提取以加快建模速度。如圖1所示，特征模板提取單元4的每個(gè)計(jì)算機(jī)同時(shí)運(yùn)行多個(gè)建模進(jìn)程，每個(gè)建模進(jìn)程從圖像數(shù)據(jù)存儲(chǔ)單元l相連的圖像數(shù)據(jù)庫10中獲取所有目標(biāo)庫圖像數(shù)據(jù)，并調(diào)用被測產(chǎn)品的模板特征提取接口(FRCreateTemplat)，把圖像數(shù)據(jù)傳遞給被測產(chǎn)品，被測產(chǎn)品在特征提取完成后，把特征模板數(shù)據(jù)文件存儲(chǔ)到模數(shù)據(jù)存儲(chǔ)單元3相連的模板數(shù)據(jù)庫30中。如果特征模板提取單元有M個(gè)計(jì)算機(jī)，每個(gè)計(jì)算機(jī)同時(shí)運(yùn)行N個(gè)建模進(jìn)程，每個(gè)建模進(jìn)程每秒平均進(jìn)行抽取特征模板數(shù)目為P個(gè)，那么整個(gè)建模服務(wù)器平均每秒建模數(shù)目為NXMXP個(gè)。在建模過程中，不同的人臉識(shí)別產(chǎn)品由于對系統(tǒng)硬件資源有不同的消耗，再加上數(shù)據(jù)庫流量、網(wǎng)絡(luò)速度的制約，不同的人臉識(shí)別產(chǎn)品每秒建?？倲?shù)目NXMXP會(huì)有一個(gè)峰值，該值越大，建模速度越快。在特征模板提取過程中，記錄登錄總時(shí)間、登錄的圖像總數(shù)、測試樣本庫的圖像總數(shù)目、總登錄次數(shù)、特征模板所占用的存儲(chǔ)空間，為計(jì)算據(jù)的入庫率、登錄時(shí)間、模板大小等指標(biāo)作準(zhǔn)備。在步驟70中，被測人臉識(shí)別產(chǎn)品進(jìn)行特征模板加載，加載過程如下在圖l中，比對請求單元6調(diào)用服務(wù)接口(FRLoadGalleiy)，使被測產(chǎn)品首先驅(qū)動(dòng)比對單元5，從模板數(shù)據(jù)庫20中把將要進(jìn)行一對多比對的目標(biāo)庫特征模板平均加載到比對單元5中每個(gè)比對計(jì)算機(jī)本地的內(nèi)存中。特征模板加載到比對單元計(jì)算機(jī)本地內(nèi)存的過程中，要求被測產(chǎn)品把特征模板均勻分配到各個(gè)比對計(jì)算機(jī)本地內(nèi)存中。加載完成后，被測人臉識(shí)別產(chǎn)品正式接受比對請求單元6提交的一對多請求。在特征模板加載過程中記錄特征模板加載時(shí)間來計(jì)算系統(tǒng)模板加載指標(biāo)。在步驟80中，被測人臉識(shí)別產(chǎn)品進(jìn)行比對查詢，比對過程如下-在圖1中，比對請求單元6首先從圖像數(shù)據(jù)庫10中把需要比對的査詢庫A和查詢庫B中的圖像數(shù)據(jù)下載下來，然后調(diào)用一對多比對接口(FRlTolMatching)，把該圖像數(shù)據(jù)傳遞給被測產(chǎn)品，被測產(chǎn)品在接收到圖像數(shù)據(jù)后，首先進(jìn)行特征提取，然后調(diào)用比對單元5把待比對的該圖像的特征模板和比對單元5中5各個(gè)比對計(jì)算機(jī)本地內(nèi)存中加載的特征模板進(jìn)行一對多比對，并在一對多比對結(jié)束后，把比對單元5中各個(gè)比對計(jì)算機(jī)中各自的比對結(jié)果和匯總后的比對結(jié)果寫入結(jié)果數(shù)據(jù)存儲(chǔ)單元3，并存儲(chǔ)到結(jié)果數(shù)據(jù)庫30中。假設(shè)特征模板數(shù)據(jù)有M個(gè)，比對單元有N個(gè)比對計(jì)算機(jī)，則每個(gè)比對計(jì)算機(jī)加載模板教目為M/N個(gè)，比對步驟完成后，生產(chǎn)的比對結(jié)果有N+1個(gè)，其中各個(gè)比對計(jì)算機(jī)獨(dú)立的比對結(jié)果有N個(gè)，最終的比對結(jié)果有一個(gè)。在進(jìn)行結(jié)果分析時(shí)，如果只統(tǒng)計(jì)各個(gè)獨(dú)立的比對結(jié)果，可以得到在M/N規(guī)模圖像數(shù)據(jù)的測試結(jié)果；如果統(tǒng)計(jì)任意兩個(gè)比對計(jì)算機(jī)的比對結(jié)果，可以得到2M/N規(guī)模圖像數(shù)據(jù)的測試結(jié)果；同樣如果統(tǒng)計(jì)任意P(P〈N)個(gè)比對計(jì)算機(jī)的比對結(jié)果，可以得到PM/N規(guī)模圖像數(shù)據(jù)的測試結(jié)果；如果統(tǒng)計(jì)所有N個(gè)比對計(jì)算機(jī)的比對結(jié)果，可以得到M規(guī)模圖像數(shù)據(jù)的測試結(jié)果。因而，通過這種階段性測試的方法，一次測試可以得到任意子規(guī)模圖像數(shù)據(jù)的測試結(jié)果。為了便于對比對結(jié)果數(shù)據(jù)進(jìn)行管理，要求所有被測人臉識(shí)別產(chǎn)品生成的比對結(jié)果按照比對結(jié)果存儲(chǔ)協(xié)議規(guī)定的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)，詳見下表所示<table>tableseeoriginaldocumentpage11</column></row><table>其中，相似度取值范圍為一個(gè)01.00的浮點(diǎn)數(shù)，輸出文件大小是24+M*(sizeof(float)+8)個(gè)字節(jié)。在一對多比對過程中記錄査詢總時(shí)間、査詢總次數(shù)為計(jì)算查詢速度、入庫率等指標(biāo)做準(zhǔn)備。在步驟90中，對在上述步驟60，70，80過程中記錄的相關(guān)數(shù)據(jù)和對比對后的比對結(jié)果進(jìn)行分析，統(tǒng)計(jì)比對單元中各個(gè)比對計(jì)算機(jī)的比對結(jié)果，并計(jì)算相應(yīng)的測試指標(biāo)、繪制相應(yīng)性能曲線；統(tǒng)計(jì)比對單元中任意兩個(gè)比對計(jì)算機(jī)的匯總結(jié)果，并計(jì)算相應(yīng)的測試指標(biāo)、繪制相應(yīng)性能曲線；依此類推，統(tǒng)計(jì)比對單元中任意三個(gè)、、和所有比對計(jì)算機(jī)的匯總結(jié)果，并計(jì)算相應(yīng)的測試指標(biāo)、繪制相應(yīng)性能曲線。相關(guān)測試指標(biāo)公式如下所示1)登錄時(shí)間=登錄總時(shí)間/總的登錄次數(shù)(登錄時(shí)間精確到0.1nis)2)查詢時(shí)間=査詢總時(shí)間/總的査詢次數(shù)3)入庫率=登錄成功的圖像總數(shù)目/總的圖像數(shù)目乂100%4)模板內(nèi)存大小單個(gè)特征模板占用的內(nèi)存數(shù)目，單位字節(jié)。5)首選識(shí)別率首選識(shí)別率=同一個(gè)人的兩幅不同圖像匹配相似度值排在第一位的次數(shù)/總的查詢次數(shù)X100%6)N選識(shí)別率N選識(shí)別率=同一個(gè)人的兩幅不同圖像匹配相似度值排在前N位的次數(shù)/總的査詢次數(shù)X100%.7)查全率查全率=査中次數(shù)/總的査詢次數(shù)X100X。8)正確報(bào)警率正確報(bào)警率=系統(tǒng)正確報(bào)警的次數(shù)/總報(bào)警次數(shù)X100%9)漏報(bào)率漏報(bào)率=査詢集A中沒有報(bào)警的人數(shù)/查詢集A中的人數(shù)X100%以下是本實(shí)施例對兩個(gè)一對多人臉識(shí)別產(chǎn)品的測試結(jié)果指標(biāo)產(chǎn)品l產(chǎn)品2入庫率98.97%99.99%建模時(shí)間0.45264秒/幅0.55584秒/幅模板大小5912字節(jié)5844字節(jié)模板加載時(shí)間2小時(shí)19分鐘1小時(shí)34分鐘査詢速度1585.7毫秒329.3秒識(shí)別率:項(xiàng)目首選識(shí)別率5選識(shí)別率10選識(shí)別率20選識(shí)別率50選識(shí)別率100選識(shí)別率產(chǎn)品l66,73%72.54%74.68%76.77%79.48%81.47%產(chǎn)品292.81%94.53%94.97%95.39%95.87%96.16%12査全率:<table>tableseeoriginaldocumentpage13</column></row><table>本發(fā)明中特征模板提取單元和比對單元均由多個(gè)計(jì)算機(jī)組成，測試過程中進(jìn)行特征模板提取時(shí)，采取多機(jī)多進(jìn)程并行運(yùn)算的模式，而且每個(gè)計(jì)算機(jī)同時(shí)運(yùn)行多個(gè)建模進(jìn)程在進(jìn)行特征比對時(shí)，采取多機(jī)并行比對的方式，比對單元中所有計(jì)算機(jī)同時(shí)進(jìn)行比對，這大大加快了比對速度。同時(shí)，本發(fā)明特征模板提取單元和比對單元均是模塊化的結(jié)構(gòu)，彼此相互獨(dú)立，二者可以分開獨(dú)立運(yùn)行。在對多個(gè)人臉識(shí)別產(chǎn)品進(jìn)行測試過程中，可以在一個(gè)被測人臉識(shí)別產(chǎn)品在進(jìn)行特征模板比對時(shí)，另外一個(gè)被測人臉識(shí)別產(chǎn)品進(jìn)行特征模板提取，又節(jié)省了測試時(shí)間。本發(fā)明中的測試方法中由于查詢庫A中對應(yīng)人員的圖像樣本均勻分布在目標(biāo)庫中，在.特征模板加載到本地內(nèi)存時(shí)，比對單元各個(gè)比對計(jì)算機(jī)平均加載目標(biāo)庫對應(yīng)的所有特征模板，比對單元各個(gè)計(jì)算機(jī)生成本地比對結(jié)果和匯總后的比對結(jié)果。在進(jìn)行比對結(jié)果統(tǒng)計(jì)時(shí)，可用統(tǒng)計(jì)比對單元中各個(gè)比對計(jì)算機(jī)的比對結(jié)果、統(tǒng)計(jì)任意兩個(gè)比對計(jì)算機(jī)的匯總結(jié)果、任意三個(gè)、、和所有比對計(jì)算機(jī)的匯總結(jié)果，并計(jì)算相應(yīng)的測試指標(biāo)、繪制相應(yīng)性能曲線。上面所述的實(shí)施例僅僅是對本發(fā)明的優(yōu)選實(shí)施方式進(jìn)^1描述，并非對本發(fā)明的構(gòu)思和范圍進(jìn)行限定，在不脫離本發(fā)明設(shè)計(jì)方案前提下，本領(lǐng)域中普通工程技術(shù)人員對本發(fā)明的技術(shù)方案做出的各種變型和改進(jìn)，均應(yīng)落入本發(fā)明的保護(hù)范圍，本發(fā)明請求保護(hù)的技術(shù)內(nèi)容，已經(jīng)全部記載在權(quán)利要求書中。權(quán)利要求1.一種千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試系統(tǒng)，包括計(jì)算機(jī)結(jié)構(gòu)和數(shù)據(jù)庫結(jié)構(gòu)，其特征在于，所述計(jì)算機(jī)結(jié)構(gòu)和數(shù)據(jù)庫結(jié)構(gòu)設(shè)置一個(gè)圖像數(shù)據(jù)存儲(chǔ)單元(1)及與其相連的圖像數(shù)據(jù)庫(10)用于存儲(chǔ)測試人臉識(shí)別產(chǎn)品的所有圖像樣本；一個(gè)模板數(shù)據(jù)存儲(chǔ)單元(2)及與其相連的模板數(shù)據(jù)庫(20)用于存儲(chǔ)被測人臉識(shí)別產(chǎn)品生成的特征模板；一個(gè)結(jié)果數(shù)據(jù)存儲(chǔ)單元(3)及與其相連的結(jié)果數(shù)據(jù)庫(30)用于存儲(chǔ)被測人臉識(shí)別產(chǎn)品比對的結(jié)果數(shù)據(jù)；一個(gè)特征模板提取單元(4)用于提取所述圖像數(shù)據(jù)庫(10)中被測圖像樣本的特征模板，特征模板提取完成后，把特征模板通過所述模板數(shù)據(jù)存儲(chǔ)單元(2)存儲(chǔ)到所述模板數(shù)據(jù)庫(20)中；一個(gè)比對請求單元(6)用于發(fā)送比對指令；一個(gè)比對單元(5)用于將所述模板數(shù)據(jù)庫(20)中的特征模板數(shù)據(jù)裝載到本地內(nèi)存中，同時(shí)接受所述比對請求單元(6)發(fā)送的比對指令，在本地進(jìn)行比對，在比對完成后把比對結(jié)果數(shù)據(jù)通過所述結(jié)果數(shù)據(jù)存儲(chǔ)單元(3)存儲(chǔ)到所述結(jié)果數(shù)據(jù)庫(30)中；所述特征模板提取單元(4)與所述圖像數(shù)據(jù)存儲(chǔ)單元(1)和模板數(shù)據(jù)存儲(chǔ)單元(2)分別相互連接，所述比對請求單元(6)與所述比對單元(5)相連，所述比對單元(5)與所述模板數(shù)據(jù)存儲(chǔ)單元(2)和結(jié)果數(shù)據(jù)存儲(chǔ)單元(3)分別相互連接；其中，所述比對單元(5)設(shè)置一對多特征比對模板，所述一對多特征比對模板用于獲取至少包括查詢速度、內(nèi)存加載時(shí)間、正確報(bào)警率、查全率和漏報(bào)率的測試指標(biāo)。2.根據(jù)權(quán)利要求l所述的千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試結(jié)構(gòu)，其特征在于，圖像數(shù)據(jù)存儲(chǔ)單元(1)、模板數(shù)據(jù)存儲(chǔ)單元(2)、結(jié)果數(shù)據(jù)存儲(chǔ)單元(3)、特征模板提取單元(4)、比對單元(5)、比對請求單元(6)分別為一臺(tái)計(jì)算機(jī)或由通過網(wǎng)絡(luò)連接的多個(gè)計(jì)算機(jī)組成。3.根據(jù)權(quán)利要求1或2所述的千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試系統(tǒng)，其特征在于，其中每個(gè)所述特征模板提取單元(4)設(shè)置用于同時(shí)運(yùn)行多個(gè)建模進(jìn)程的若干個(gè)計(jì)算機(jī)，每個(gè)建模進(jìn)程分別提取所述圖像數(shù)據(jù)庫(10)中被測圖像樣本的特征模板，并存儲(chǔ)到所述模板數(shù)據(jù)存儲(chǔ)單元(2)。4.根據(jù)權(quán)利要求3所述的千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試系統(tǒng)，其特征在于，其中所述比對單元(5)存儲(chǔ)到所述結(jié)果存儲(chǔ)單元(3)中的比對結(jié)果數(shù)據(jù)按照比對結(jié)果協(xié)議規(guī)定采用統(tǒng)一數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)包括所有計(jì)算機(jī)的比對結(jié)果數(shù)據(jù)和匯總后的比對結(jié)果數(shù)據(jù)。5.—種千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試方法，包括建庫步驟，挑選測試樣本，組件測試樣本庫，并把測試樣本庫存放到圖像數(shù)據(jù)庫中；被測產(chǎn)品提交步驟，被測產(chǎn)品按照測試協(xié)議提交到測試系統(tǒng)，測試協(xié)議主要包括測試接口協(xié)議和比對結(jié)果存儲(chǔ)協(xié)議；特征模板提取步驟，被測產(chǎn)品對測試樣本庫中目標(biāo)庫圖像進(jìn)行特征模板提取，并把特征模板存儲(chǔ)到模板數(shù)據(jù)庫中；特征模板加載步驟，被測產(chǎn)品從模板數(shù)據(jù)庫中把特征模板平均加載到比對單元計(jì)算機(jī)的本地內(nèi)存；比對步驟，用待測人臉識(shí)別產(chǎn)品對測試樣本庫進(jìn)行比對，得到比對結(jié)果，并把比對結(jié)果存儲(chǔ)到結(jié)果數(shù)據(jù)庫中；.結(jié)果統(tǒng)計(jì)步驟，對比對步驟生成的比對結(jié)果進(jìn)行統(tǒng)計(jì)，計(jì)算測試指標(biāo)，繪制性能曲線。6.根據(jù)權(quán)力要求5所述的千萬級(jí)一對多人臉識(shí)別產(chǎn)品測試方法，其特征在于在所述建庫步驟中，所述測試樣本庫設(shè)置目標(biāo)庫、査詢庫A和査詢庫B，查詢庫A中被測人員至少有一幅圖像在目標(biāo)庫中，查詢庫B中被測人員不在目標(biāo)庫內(nèi)，査詢庫A中被測人員的圖像在去相關(guān)性后均勻分布在目標(biāo)庫中。7.根據(jù)權(quán)力要求6所述的千萬級(jí)一對多人臉識(shí)別產(chǎn)品測試方法，其特征在于在所述特征模板加載步驟中，被測產(chǎn)品的特征模板均勻分配到各個(gè)比對計(jì)算機(jī)本地內(nèi)存中。8.根據(jù)權(quán)力要求7所述的千萬級(jí)一對多人臉識(shí)別產(chǎn)品測試方法，其特征在于在所述比對步驟中，比對單元中每個(gè)比對計(jì)算機(jī)把各自的比對結(jié)果和總匯后的比對結(jié)果按照測比對結(jié)果存儲(chǔ)協(xié)議規(guī)定的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)到結(jié)果數(shù)據(jù)存儲(chǔ)單元中的結(jié)果數(shù)據(jù)庫中。9.根據(jù)權(quán)力要求8所述的千萬級(jí)一對多人臉識(shí)別產(chǎn)品測試方法，其特征在于在所述結(jié)果統(tǒng)計(jì)步驟中統(tǒng)計(jì)比對單元中各個(gè)比對計(jì)算機(jī)的比對結(jié)果，并計(jì)算相應(yīng)的測試指標(biāo)、繪制相應(yīng)性能曲線；統(tǒng)計(jì)比對單元中任意兩個(gè)比對計(jì)算機(jī)的匯總結(jié)果，并計(jì)算相應(yīng)的測試指標(biāo)、繪制相應(yīng)性能曲線；依次類推，統(tǒng)計(jì)所有比對計(jì)算機(jī)的匯總結(jié)果，并計(jì)算相應(yīng)的測試指標(biāo)、繪制相應(yīng)性能曲線。全文摘要本發(fā)明千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試系統(tǒng)，其中特征模板提取單元、圖像數(shù)據(jù)存儲(chǔ)單元和模板數(shù)據(jù)存儲(chǔ)單元分別相互連接，比對請求單元與比對單元相連，比對單元與模板數(shù)據(jù)存儲(chǔ)單元和結(jié)果數(shù)據(jù)存儲(chǔ)單元分別相互連接。各單元分別為一臺(tái)計(jì)算機(jī)或由通過網(wǎng)絡(luò)連接的多個(gè)計(jì)算機(jī)組成。比對單元設(shè)置一對多特征比對模板。本發(fā)明還提供了千萬級(jí)一對多人臉識(shí)別產(chǎn)品的測試方法，其優(yōu)點(diǎn)是該測試系統(tǒng)各單元均是模塊化的結(jié)構(gòu)，既獨(dú)立又可以任意組合、多機(jī)多進(jìn)程并行測試，可擴(kuò)展性強(qiáng)。采用相同的測試接口協(xié)議和比對結(jié)果存儲(chǔ)協(xié)議，一次測試可以獲得各階段(各模塊)的測試結(jié)果，也可以獲取匯總的測試結(jié)果，測試千萬級(jí)一對多人臉識(shí)別產(chǎn)品的性能快速、準(zhǔn)確、全面。文檔編號(hào)G06F17/30GK101615196SQ20091008990公開日2009年12月30日申請日期2009年7月28日優(yōu)先權(quán)日2009年7月28日發(fā)明者宛根訓(xùn),李建勇,強(qiáng)田,青田申請人:公安部第一研究所;北京中盾安全技術(shù)開發(fā)公司