身份認(rèn)證方法及設(shè)備的制造方法
【專利摘要】本發(fā)明公開了一種身份認(rèn)證方法和設(shè)備,其中該方法包括:采集身份證件的圖像;響應(yīng)于檢測到所述身份證件,自動(dòng)采集持有身份證件的持證人的人臉圖像;從所采集的身份證件圖像獲得該身份證件中記載的信息;從所采集的人臉圖像獲得與持證人相關(guān)的持證人信息;以及將身份證件中記載的信息與持證人信息進(jìn)行比較,以對持證人進(jìn)行身份認(rèn)證。該方法解決了為用戶和用戶身份認(rèn)證需求方提供一種不需用戶親臨、方便、準(zhǔn)確的基于用戶信息及人臉比對的身份認(rèn)證方式。
【專利說明】
身份認(rèn)證方法及設(shè)備
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及模式識(shí)別的技術(shù)領(lǐng)域,具體涉及基于人臉的識(shí)別及比對的身份認(rèn)證方 法及設(shè)備。
【背景技術(shù)】
[0002] 互聯(lián)網(wǎng)的出現(xiàn)和發(fā)展極大地方便了人們的生活,許多傳統(tǒng)的線下業(yè)務(wù)已可在線進(jìn) 行,如交易支付、繳費(fèi)等。但另外有一些業(yè)務(wù)考慮到更大的安全性等問題,仍需用戶持證件 親自前往辦理,如銀行開戶、修改密碼等。限制這些業(yè)務(wù)辦理的并不是操作流程的問題,而 是因?yàn)榻鹑诮灰妆容^敏感,如果銀行無法驗(yàn)證用戶的真實(shí)身份,則無法進(jìn)行相應(yīng)的操作,以 避免一些不希望出現(xiàn)的意外發(fā)生。
[0003] 在這些需要驗(yàn)證用戶的真實(shí)身份信息的業(yè)務(wù)中,最常用的方法是現(xiàn)場驗(yàn)證辦理人 與他所持的身份證件上的人像信息是否一致,以及錄入并驗(yàn)證辦理人的身份證件上的個(gè)人 信息。
[0004] 然而,如果用戶能以自助方式自動(dòng)獲取并驗(yàn)證上述兩種信息,這樣既可以方便用 戶,節(jié)約了用戶的時(shí)間,又可以為服務(wù)方降低了業(yè)務(wù)處理成本,獲取可靠的規(guī)范的用戶資 料。
[0005] 對應(yīng)于在線申請銀行開戶場景,如果銀行可以收到在線的、可以確認(rèn)用戶身份的 信息,并且這些信息驗(yàn)證通過符合要求,那么就可以實(shí)現(xiàn)在線的開戶。
[0006] 人臉識(shí)別技術(shù)總體比較成熟,在安防領(lǐng)域應(yīng)用較多,其中最常用的方式是將采集 到的人臉圖像與數(shù)據(jù)庫中預(yù)存的圖像進(jìn)行比對,以驗(yàn)證該人的身份。但這種身份驗(yàn)證方式 存在缺陷,其中最常見的欺騙方式是照片欺騙。
[0007] 本發(fā)明的目的至少在于通過提供一種不需要用戶親臨、方便、準(zhǔn)確的身份認(rèn)證方 法及設(shè)備,從而至少在一定程度上解決現(xiàn)有技術(shù)的缺陷。
【發(fā)明內(nèi)容】
[0008] 根據(jù)本公開的一方面,提供了一種身份認(rèn)證方法,包括:采集身份證件的圖像;響 應(yīng)于檢測到所述身份證件,自動(dòng)采集持有所述身份證件的持證人的人臉圖像;從所采集的 身份證件圖像獲得所述身份證件中記載的信息;從所采集的所述人臉圖像獲得與所述持證 人相關(guān)的持證人信息;以及將所述身份證件中記載的信息與所述持證人信息進(jìn)行比較,以 對所述持證人進(jìn)行身份認(rèn)證。
[0009] 根據(jù)本公開的實(shí)施方式,所述身份證件中記載的信息包括所述身份證件上的人臉 關(guān)鍵點(diǎn)信息,以及獲得所述身份證件中記載的信息的步驟包括:在所采集的所述身份證件 圖像中檢測人臉區(qū)域;以及對所述身份證件圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí) 另IJ,以確定出所述身份證件的人臉區(qū)域的人臉關(guān)鍵點(diǎn)。
[0010] 根據(jù)本公開的實(shí)施方式,自動(dòng)采集持有所述身份證件的持證人的人臉圖像的步驟 包括:i)響應(yīng)于檢測到所述身份證件,自動(dòng)地連續(xù)采集所述持證人的多個(gè)人臉圖像;ii)檢 測所采集的每個(gè)人臉圖像中是否具有人臉區(qū)域,并舍棄確定為不具有人臉區(qū)域的人臉圖 像;iii)當(dāng)不具有人臉區(qū)域的所述人臉圖像的時(shí)間間隔大于設(shè)定閾值時(shí)舍棄所述多個(gè)人 臉圖像;以及iv)重復(fù)步驟i)至步驟iii),直到所得到的人臉圖像的數(shù)目達(dá)到所述預(yù)定數(shù) 目。
[0011] 根據(jù)本公開的另一實(shí)施方式,自動(dòng)采集持有所述身份證件的持證人的人臉圖像的 步驟包括:i)響應(yīng)于檢測到所述身份證件,自動(dòng)地采集所述持證人的人臉圖像;ii)檢測所 采集的所述人臉圖像中是否具有人臉區(qū)域,并當(dāng)所述人臉圖像被確定為不具有人臉區(qū)域的 人臉圖像時(shí),舍棄所述人臉圖像;以及iii)重復(fù)步驟i)至步驟ii),直到所得到的人臉圖 像的數(shù)目達(dá)到所述預(yù)定數(shù)目。
[0012] 根據(jù)本公開的實(shí)施方式,所述持證人信息包括所述持證人的人臉關(guān)鍵點(diǎn)信息,以 及獲得與所述持證人相關(guān)的持證人信息的步驟包括:對所述人臉圖像進(jìn)行人臉關(guān)鍵點(diǎn)識(shí) 另IJ,以確定出所述人臉圖像的人臉關(guān)鍵點(diǎn)。
[0013] 根據(jù)本公開的實(shí)施方式,所述持證人信息還包括所述持證人的人臉圖像的活體程 度信息,以及獲得與所述持證人相關(guān)的持證人信息的步驟還包括:基于確定出的所述人臉 圖像的人臉關(guān)鍵點(diǎn)計(jì)算所述人臉圖像的活體程度值,從而確定所述人臉圖像是否為活體圖 像。
[0014] 根據(jù)本公開的實(shí)施方式,所述身份證件中記載的信息還包括所述身份證件的字符 信息,以及獲得所述身份證件中記載的信息的步驟還包括:在所采集的所述身份證件圖像 中識(shí)別所述身份證件的字符信息;以及確定所述字符信息是否符合所述身份證件的字符信 息標(biāo)準(zhǔn)。
[0015] 根據(jù)本公開的實(shí)施方式,進(jìn)行身份認(rèn)證的步驟包括:基于所確定出的所述身份證 件的人臉區(qū)域的人臉關(guān)鍵點(diǎn)與所確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn),確定出人臉相似程 度。
[0016] 根據(jù)本公開的實(shí)施方式,根據(jù)基于SURF的級(jí)聯(lián)回歸方法檢測所述身份證件圖像 的人臉區(qū)域以及所述人臉圖像的人臉區(qū)域。
[0017] 根據(jù)本公開的實(shí)施方式,對所述身份證件圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵 點(diǎn)識(shí)別的步驟和對獲得的所述預(yù)定數(shù)目的人臉圖像進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別的步驟都包括:使 用三級(jí)級(jí)聯(lián)的深度卷積神經(jīng)網(wǎng)絡(luò)的第一級(jí)估計(jì)所述人臉關(guān)鍵點(diǎn)的初始位置;以及基于所估 計(jì)的所述人臉關(guān)鍵點(diǎn)的所述初始位置,使用監(jiān)督梯度下降方法計(jì)算所述人臉關(guān)鍵點(diǎn)的精確 位置。
[0018] 根據(jù)本公開的實(shí)施方式,基于確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn)計(jì)算所述人臉 圖像的活體程度值的步驟包括:
[0019] 根據(jù)確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn)的區(qū)域,提取每個(gè)所述人臉圖像的多個(gè) 非剛體特征區(qū)域,所述非剛體特征區(qū)域與所述人臉關(guān)鍵點(diǎn)的區(qū)域相對應(yīng);確定每個(gè)所述人 臉圖像在每個(gè)所述非剛體特征區(qū)域中的特征;以及根據(jù)所確定出的所述特征計(jì)算出每個(gè)所 述非剛體區(qū)域的非剛性程度作為所述人臉圖像的活體程度值。
[0020] 根據(jù)本公開的另一方面,提供了一種身份認(rèn)證設(shè)備,其包括第一采集裝置,配置為 采集身份證件的圖像;第二采集裝置,配置為響應(yīng)于由所述第一采集裝置檢測到所述身份 證件,自動(dòng)采集持有所述身份證件的持證人的人臉圖像;信息獲得裝置,配置為從所采集的 身份證件圖像獲得所述身份證件中記載的信息以及從為從所采集的所述人臉圖像獲得與 所述持證人相關(guān)的持證人信息;以及認(rèn)證裝置,配置為將所述身份證件中記載的信息與所 述持證人信息進(jìn)行比較,以對所述持證人進(jìn)行身份認(rèn)證。
[0021] 根據(jù)本公開的實(shí)施方式,所述信息獲得裝置包括:檢測裝置,配置為在由所述第一 采集裝置所采集的所述身份證件圖像中檢測人臉區(qū)域,以及在由所述第二采集裝置所采集 的所述人臉圖像中檢測人臉區(qū)域;以及識(shí)別裝置,配置為對由所述檢測裝置在所述身份證 件圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出所述身份證件的人臉區(qū)域的人 臉關(guān)鍵點(diǎn),以及對由所述確定裝置在所述人臉圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí) 另IJ,以確定出所述人臉圖像的人臉關(guān)鍵點(diǎn),以及所述身份證件中記載的信息包括由所述識(shí) 別裝置所確定出的所述身份證件的人臉區(qū)域的人臉關(guān)鍵點(diǎn),所述持證人信息包括由所述識(shí) 別裝置所確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn),以及所述認(rèn)證裝置配置為基于由所述識(shí)別 裝置所確定出的所述身份證件的人臉區(qū)域的人臉關(guān)鍵點(diǎn)與由所述識(shí)別裝置所確定出的所 述人臉圖像的人臉關(guān)鍵點(diǎn),確定出人臉相似程度。
[0022] 根據(jù)本公開的實(shí)施方式,所述持證人信息還包括所述持證人的人臉圖像的活體程 度信息,所述信息獲得裝置還包括活體程度值計(jì)算裝置,所述活體程度值計(jì)算裝置配置為 基于由所述識(shí)別裝置確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn)計(jì)算所述人臉圖像的活體程度 值,從而確定所述人臉圖像是否為活體圖像。
[0023] 根據(jù)本公開的實(shí)施方式,當(dāng)所述檢測裝置在所述人臉圖像中未檢測到人臉區(qū)域 時(shí),所述檢測裝置舍棄所述人臉圖像。
[0024] 根據(jù)本公開的實(shí)施方式,所述身份證件中記載的信息還包括所述身份證件的字符 信息,所述信息獲得裝置還包括字符信息裝置,所述字符信息裝置在由所述第一采集裝置 采集的所述身份證件圖像中識(shí)別所述身份證件的字符信息以及確定所述字符信息是否符 合所述身份證件的字符信息標(biāo)準(zhǔn)。
[0025] 根據(jù)本公開的實(shí)施方式,所述檢測裝置根據(jù)基于SURF的級(jí)聯(lián)回歸方法檢測所述 身份證件圖像的人臉區(qū)域和所述人臉圖像的人臉區(qū)域。
[0026] 根據(jù)本公開的實(shí)施方式,所述識(shí)別裝置包括:初始位置估計(jì)模塊,基于由所述檢測 裝置在所述人臉圖像中檢測到的人臉區(qū)域,使用三級(jí)級(jí)聯(lián)的深度卷積神經(jīng)網(wǎng)絡(luò)的第一級(jí)估 計(jì)所述人臉關(guān)鍵點(diǎn)的初始位置;以及精確位置計(jì)算模塊,基于由所述初始位置估計(jì)模塊所 估計(jì)的所述人臉關(guān)鍵點(diǎn)的所述初始位置,使用監(jiān)督梯度下降方法精確計(jì)算所述人臉關(guān)鍵點(diǎn) 的精確位置,以確定出所述人臉關(guān)鍵點(diǎn)。
[0027] 根據(jù)本公開的實(shí)施方式,所述活體程度值計(jì)算裝置包括:非剛體特征區(qū)域提取模 塊,基于由所述識(shí)別裝置確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn)提取每個(gè)所述人臉圖像的多 個(gè)非剛體特征區(qū)域,所述非剛體特征區(qū)域與所述人臉關(guān)鍵點(diǎn)的區(qū)域相對應(yīng);特征確定模塊, 確定每個(gè)所述人臉圖像在每個(gè)所述非剛體特征區(qū)域中的特征;以及活體程度值計(jì)算模塊, 根據(jù)由所述特征確定模塊所確定出的所述特征計(jì)算出每個(gè)所述非剛體區(qū)域的非剛性程度 作為所述人臉圖像的活體程度值。
[0028] 根據(jù)本公開的實(shí)施方式,所述檢測裝置包括:第一檢測單元,配置為在由所述第一 采集裝置所采集的所述身份證件圖像中檢測人臉區(qū)域;以及第二檢測單元,配置為在由所 述第二采集裝置所采集的所述人臉圖像中檢測人臉區(qū)域。
[0029] 根據(jù)本公開的實(shí)施方式,所述識(shí)別裝置包括:第一識(shí)別單元,配置為對由所述第一 檢測單元在所述身份證件圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出所述身 份證件的人臉區(qū)域的人臉關(guān)鍵點(diǎn);以及第二識(shí)別單元,配置為對由所述第二檢測單元在所 述人臉圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出所述人臉圖像的人臉關(guān)鍵 點(diǎn)。
[0030] 根據(jù)本公開的實(shí)施方式,所述身份認(rèn)證設(shè)備包括在能夠進(jìn)行通信的終端中。
【附圖說明】
[0031] 圖1示出了根據(jù)示例性實(shí)施方式的身份認(rèn)證設(shè)備的示意圖;
[0032] 圖2示出了根據(jù)示例性實(shí)施方式的信息獲得裝置的示意圖;
[0033] 圖3示出了根據(jù)示例性實(shí)施方式的身份認(rèn)證方法的流程圖;
[0034] 圖4示出了根據(jù)示例性實(shí)施方式的身份認(rèn)證方法的采集身份證件的圖像并從中 獲得記載在身份證件上的信息的步驟的流程圖;
[0035] 圖5示出了根據(jù)示例性實(shí)施方式的身份認(rèn)證方法的采集持證人的人臉圖像并從 中獲得與持證人相關(guān)的持證人信息的步驟的流程圖;
[0036] 圖6是本公開用于對人臉進(jìn)行關(guān)鍵點(diǎn)識(shí)別所使用的21個(gè)關(guān)鍵點(diǎn)的示例;以及
[0037] 圖7是根據(jù)本公開的身份認(rèn)證方法應(yīng)用至銀行開戶及交易場景的系統(tǒng)框圖。
【具體實(shí)施方式】
[0038] 參照附圖提供了以下描述以幫助全面地理解如權(quán)利要求書及其等同方案所限定 的本公開的各實(shí)施方式。以下描述包括各具體細(xì)節(jié)以幫助理解,但是這些具體細(xì)節(jié)應(yīng)認(rèn)為 僅是示例性的。因此,本領(lǐng)域普通技術(shù)人員應(yīng)該理解,在不背離本公開的精神和范圍的情況 下,可以對本文中描述的各實(shí)施方式做出各種改變和修改。另外,為了清楚和簡明起見,可 能省略了公知功能和結(jié)構(gòu)的描述。
[0039] 圖1示出了根據(jù)示例性實(shí)施方式的身份認(rèn)證設(shè)備100的示意圖。
[0040] 在圖1中,身份認(rèn)證設(shè)備100可包括:殼體110、第一采集裝置120、第二采集裝置 130、信息獲得裝置140以及認(rèn)證裝置150。
[0041] 第一采集裝置120和第二采集裝置130可設(shè)置在身份認(rèn)證設(shè)備100的殼體110中 并從殼體110上的開口露出以采集圖像。具體地,第一采集裝置120可設(shè)置在身份認(rèn)證設(shè) 備100的背面并從殼體110的背面上的開口露出以采集圖像,以及第二采集裝置130可設(shè) 置在身份認(rèn)證設(shè)備100的正面并從殼體110的正面上的開口露出以采集圖像。在本實(shí)施方 式中,第一采集裝置120可用于采集身份證件的圖像,以及第二采集裝置130可用于采集持 有該身份證件的持證人的圖像。然而,本領(lǐng)域技術(shù)人員應(yīng)理解,第一采集裝置120也可用于 采集持有身份證件的持證人的圖像,第二采集裝置130也可用于采集身份證件的圖像,本 公開在此方面沒有限制。
[0042] 另外,在本實(shí)施方式中,優(yōu)選地,響應(yīng)于由第一采集裝置120檢測到身份證件,第 二采集裝置130自動(dòng)地("靜默地")采集持有該身份證件的持證人的人臉圖像。具體地, 持有身份證件的持證人面向身份認(rèn)證設(shè)備100的正面,設(shè)置在身份認(rèn)證設(shè)備100正面的屏 幕(未示出)顯示第一采集裝置120的取景框。將第一采集裝置120對準(zhǔn)身份證件,以采 集身份證件的圖像,同時(shí)響應(yīng)于第一采集裝置120檢測到身份證件,第二采集裝置130在持 證人不知情的情況下自動(dòng)地采集持證人的人臉圖像。優(yōu)選地,第一采集裝置120和第二采 集裝置130對身份證件的圖像和持證人的人臉圖像的采集是實(shí)時(shí)、自動(dòng)、不間斷的采集,在 采集過程中不需要持證人對身份認(rèn)證設(shè)備100進(jìn)行任何操作。第一采集裝置120和第二采 集裝置130應(yīng)在一定時(shí)間內(nèi),例如數(shù)秒內(nèi),完成身份證件的圖像和持有該身份證件的持證 人的人臉圖像的采集,身份證件的圖像和人臉圖像的采集不應(yīng)有較大的時(shí)間間隔,以保證 采集到的圖像是同一現(xiàn)場的身份證件的圖像和持證人的圖像。
[0043] 信息獲得裝置140可設(shè)置在身份認(rèn)證設(shè)備100的殼體110中,并用于從由第一采 集裝置120采集的身份證件圖像獲得身份證件中記載的信息以及從由第二采集裝置130采 集的持有該身份證件的持證人的人臉圖像獲得與該持證人相關(guān)的持證人信息。在本實(shí)施方 式中,信息獲得裝置140從身份證件的圖像獲得身份證件中記載的信息例如可包括身份證 件上的字符信息以及身份證件上人臉區(qū)域的人臉關(guān)鍵點(diǎn)信息,以及信息獲得裝置140從持 證人的人臉圖像獲得的與該持證人相關(guān)的持證人信息例如可包括該持證人的人臉圖像的 人臉關(guān)鍵點(diǎn)信息以及持證人的人臉圖像的活體程度值,這將在下文中參照圖2進(jìn)行描述。
[0044] 認(rèn)證裝置150也可設(shè)置在身份認(rèn)證設(shè)備100的殼體110中。認(rèn)證裝置150可基于 由信息獲得裝置140所確定出的身份證件的人臉區(qū)域的人臉關(guān)鍵點(diǎn)與由信息獲得裝置140 所確定出的持證人的人臉圖像的人臉關(guān)鍵點(diǎn)確定人臉相似程度。
[0045] 圖2是根據(jù)示例性實(shí)施方式的信息獲得裝置140的示意圖。如圖2所示,信息獲 得裝置140可包括檢測裝置141、識(shí)別裝置142、字符信息裝置143以及活體程度值計(jì)算裝 置 144。
[0046] 檢測裝置141用于在由第一采集裝置120所采集的身份證件圖像中檢測人臉區(qū)域 以及在由第二采集裝置130所采集的持證人的人臉圖像中檢測人臉區(qū)域。檢測裝置141可 采用例如基于SURF (Speeded Up Robust Features)的級(jí)聯(lián)回歸方法進(jìn)行人臉區(qū)域的檢測, 該回歸基本符合Viola-Jone人臉檢測的算法框架。
[0047] 下面首先描述信息獲得裝置140從身份證件圖像獲得身份證件中記載的信息的 示例性操作。
[0048] 檢測裝置141可檢測出所采集的身份證件圖像上人臉的正方形框。當(dāng)身份證件上 有多個(gè)框時(shí),則優(yōu)先選取較大的人臉框,有更大的可能是持證人。識(shí)別裝置142可對檢測裝 置141在身份證圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別。在本實(shí)施方式中,識(shí)別裝 置142可對所檢測到的人臉區(qū)域中的21個(gè)用于人臉比對的人臉關(guān)鍵點(diǎn)進(jìn)行識(shí)別,其中21 個(gè)人臉關(guān)鍵點(diǎn)(人臉關(guān)鍵點(diǎn)1至人臉關(guān)鍵點(diǎn)21)的位置如圖6所示。
[0049] 下面將參照該示例詳細(xì)描述識(shí)別裝置142。如圖2所示,識(shí)別裝置142包括初始位 置估計(jì)模塊1421和精確位置計(jì)算模塊1422。初始位置估計(jì)模塊1421基于由檢測裝置141 在身份證件圖像中檢測到的人臉區(qū)域采用例如一種三級(jí)級(jí)聯(lián)的深度卷積神經(jīng)網(wǎng)絡(luò)(CNN) 中的第一級(jí)進(jìn)行21個(gè)人臉關(guān)鍵點(diǎn)的大概估計(jì),以確定人臉關(guān)鍵點(diǎn)的初始位置。精確位置計(jì) 算模塊1422基于由初始位置估計(jì)模塊1421所確定的人臉關(guān)鍵點(diǎn)的初始位置采用例如對梯 度進(jìn)行級(jí)聯(lián)回歸的監(jiān)督梯度下降方法(Supervised Descent Method(SDM))精確地定位人 臉關(guān)鍵點(diǎn)的精確位置,從而確定出人臉關(guān)鍵點(diǎn)。
[0050] 具體地,SDM的思路是,通過多次的迭代逐漸精確對人臉關(guān)鍵點(diǎn)的估計(jì)。在本公開 中,從LFPW(Labeled Face Parts in the Wild)數(shù)據(jù)集的35點(diǎn)關(guān)鍵點(diǎn)標(biāo)注中選取采樣得 到21個(gè)所需關(guān)鍵點(diǎn),并由此訓(xùn)練得到SDM中迭代所需參數(shù),其中SDM的初始關(guān)鍵點(diǎn)由CNN 中第一級(jí)處理得到。
[0051] 在CNN方法中,第一層中的網(wǎng)絡(luò)得到了一個(gè)對關(guān)鍵點(diǎn)位置的大概估計(jì),后兩層依 次使得這個(gè)估計(jì)逐漸精確。但是這種方法的缺點(diǎn)在于,計(jì)算量龐大,速度較慢,難以在移動(dòng) 端的計(jì)算能力下做到實(shí)時(shí)計(jì)算。
[0052] SDM方法的優(yōu)點(diǎn)是速度快,但是該方法依賴對初始關(guān)鍵點(diǎn)位置的選擇,不好的初始 位置可能的導(dǎo)致回歸到局部最優(yōu)解,從而使得對人臉關(guān)鍵點(diǎn)位置的估計(jì)存在偏差。
[0053] 在根據(jù)本公開的識(shí)別裝置142中綜合了上述兩種方法,初始位置估計(jì)模塊1421采 用CNN網(wǎng)絡(luò)的第一層得到相對精確的人臉關(guān)鍵點(diǎn)的初始位置,精確位置計(jì)算模塊1422利用 SDM方法逐漸地線性回歸出精確的人臉關(guān)鍵點(diǎn)位置。這樣就結(jié)合了兩種方法的優(yōu)點(diǎn),使得本 公開的識(shí)別人臉關(guān)鍵點(diǎn)的過程既有較好的魯棒性,又有較快的速度。
[0054] 如圖2所示,信息獲得裝置還包括字符信息裝置143,字符信息裝置143可用于確 定由第一采集裝置120所采集的身份證件上記載的字符信息。下面將以示例的方式結(jié)合中 華人民共和國第二代身份證對字符信息裝置143的示例性操作進(jìn)行詳細(xì)描述。但本領(lǐng)域技 術(shù)人員應(yīng)理解,身份證件還可包括任何類型的能夠證明身份的證件,如駕駛證、護(hù)照等,本 公開在此方面沒有限制。針對身份證作為身份證件,字符信息裝置143可采用例如張純等 人的"中文商務(wù)名片識(shí)別系統(tǒng)的實(shí)現(xiàn)"中的方法進(jìn)行字符識(shí)別,并進(jìn)行適當(dāng)修改以適應(yīng)身份 證上的字符排列特點(diǎn)。該識(shí)別操作包括圖像預(yù)處理、版面分析、字符識(shí)別、信息理解等子操 作,最后輸出為身份證每一字符信息項(xiàng)的內(nèi)容。
[0055] 在中華人民共和國第二代身份證印有持證人個(gè)人信息及人臉圖像的一面中,各字 符信息項(xiàng)和人臉區(qū)域的排列具有其特有的特點(diǎn),例如,在外觀上包含姓名、性別、民族、出生 日期、住址、公民身份號(hào)碼等字符信息,以及持證人的頭像。這些信息都固定在身份證上的 確定位置,且每種信息都有其確定的規(guī)則,比如民族只有56種可能,公民身份證號(hào)碼均有 18位等。
[0056] 字符信息裝置143可通過字符識(shí)別識(shí)別身份證上的字符信息,并且判斷這些字符 信息是否符合身份證字符信息的要求。如身份證為少數(shù)民族地區(qū)的證件,其中包含少數(shù)民 族文字,需根據(jù)少數(shù)民族文字的內(nèi)容及排版的不同專門進(jìn)行處理。
[0057] 下面將描述信息獲得裝置140從所采集的持證人的人臉圖像獲得與該持證人相 關(guān)的持證人信息的示例性操作。
[0058] 檢測裝置141還可用于檢測由第二采集裝置130所采集的每個(gè)人臉圖像中是否具 有人臉區(qū)域。在本公開的實(shí)施方式中,要對持證人的人臉圖像進(jìn)行活體檢測,因此可能需要 采集連續(xù)多幀的人臉圖像用于活體程度值計(jì)算裝置144,這將在下面進(jìn)行詳細(xì)描述。在第二 采集裝置130采集人臉圖像的過程中,可能由于持證人的劇烈抖動(dòng)而使得檢測裝置141在 所采集的人臉圖像中有一幀無法檢測到人臉區(qū)域,則舍棄該幀;如果在連續(xù)多幀中不能檢 測到人臉區(qū)域或未檢測到人臉區(qū)域的時(shí)間間隔大于某個(gè)設(shè)定的閾值,則舍棄之前采集到的 所有人臉圖像,重新由第二采集裝置130采集人臉圖像,直到采集了足夠的連續(xù)的包含人 臉區(qū)域的人臉圖像。
[0059] 此外,檢測裝置141基于與在身份證件圖像中確定人臉區(qū)域的過程相同的過程在 由第二采集裝置130所采集的人臉圖像中檢測人臉區(qū)域。對此,本文中將省略其重復(fù)的描 述。
[0060] 識(shí)別裝置142對由檢測裝置141所檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別。識(shí)別 裝置142基于與在身份證的人臉區(qū)域中識(shí)別人臉關(guān)鍵點(diǎn)的方法相同的方法來在持證人的 人臉圖像的人臉區(qū)域中進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別。相似地,初始位置估計(jì)模塊1421采用CNN網(wǎng) 絡(luò)的第一層得到持證人的人臉圖像的人臉區(qū)域中相對精確的人臉關(guān)鍵點(diǎn)的初始位置,精確 位置計(jì)算模塊1422利用SDM方法逐漸地線性回歸出持證人的人臉圖像的人臉區(qū)域中精確 的人臉關(guān)鍵點(diǎn)位置。對此,本文中將省略其重復(fù)的描述。
[0061] 如圖2所示,信息獲得裝置還包括活體程度值計(jì)算裝置144,活體程度值計(jì)算裝置 144基于由識(shí)別裝置142確定出的持證人的人臉圖像的人臉關(guān)鍵點(diǎn)來計(jì)算該人臉圖像的活 體程度值,從而確定該人臉圖像是否為活體圖像。具體地,活體程度值計(jì)算裝置144基于例 如非剛體分析(Non-rigid Motion Analysis)方法對人臉的活體程度進(jìn)行檢測,這將在下 文參照圖2進(jìn)行詳細(xì)描述。
[0062] 如圖2所示,活體程度值計(jì)算裝置144包括非剛體特征區(qū)域提取模塊1441、特征確 定模塊1442以及活體程度值計(jì)算模塊1443。
[0063] 在本實(shí)施方式中,非剛體特征區(qū)域提取模塊1441用于提取人臉區(qū)域的4個(gè)非剛體 特征區(qū)域Ω :左眼部區(qū)域Q1、右眼部區(qū)域Ω2、鼻子區(qū)域Ω3、嘴部區(qū)域Ω4,并分別檢測了這 四個(gè)區(qū)域的非剛性程度,即活體程度。這4個(gè)區(qū)域與由識(shí)別裝置142在持證人的人臉圖像的 人臉區(qū)域中所確定出的21個(gè)人臉關(guān)鍵點(diǎn)的區(qū)域大致對應(yīng),可根據(jù)識(shí)別裝置142的關(guān)鍵點(diǎn)識(shí) 別結(jié)果來確定4個(gè)非剛體特征區(qū)域。具體地,左眼部區(qū)域Ω i中包括人臉關(guān)鍵點(diǎn)1,2, 3, 7, 8 和17,右眼部區(qū)域Ω2中包括人臉關(guān)鍵點(diǎn)4, 5, 6, 9, 10和18,鼻子區(qū)域Ω 3中包括人臉關(guān)鍵 點(diǎn)11,12, 13和19,以及嘴部區(qū)域Ω4中包括人臉關(guān)鍵點(diǎn)14, 15, 16, 20和21。在本公開中, 用一個(gè)包含每一個(gè)特征區(qū)域?qū)?yīng)的關(guān)鍵點(diǎn)的矩形來表示每一個(gè)特征區(qū)域,該矩形的寬和高 需根據(jù)該特征區(qū)域的不同需單獨(dú)進(jìn)行設(shè)置。
[0064] 特征確定模塊1442用于根據(jù)公式(1)來計(jì)算每一幀人臉圖像j中的人臉區(qū)域 Face j中的每個(gè)非剛體特征區(qū)域Ω的特征Tlij, i = 1... 4,1 :左眼部區(qū)域,2 :右眼部區(qū)域, 3:鼻子區(qū)域,4:嘴部區(qū)域,
(1 )[0066] 其中(x,y)為圖像中一個(gè)像素點(diǎn)的坐標(biāo),E為原方法中的非剛體運(yùn)動(dòng)矩陣,
[0065]
;)表示區(qū)域(·)的面積。
[0067] 活體程度值計(jì)算模塊1443用于根據(jù)式(2)計(jì)算每個(gè)非剛體特征區(qū)域的特征1\的 方差作為每個(gè)非剛體特征區(qū)域的非剛性程度S 1(左眼部區(qū)域S1、右眼部區(qū)域S2、鼻子區(qū)域 S3、嘴部區(qū)域S 4),值越小,表征該人臉圖像不是來自活體的可能性越大:
[0068] ,、 (2)
[0069] 其中,η為用于活體檢測的圖像的總幀數(shù),芳為第i個(gè)特征的均值。
[0070] 活體程度值計(jì)算裝置144將每個(gè)非剛體特征區(qū)域的非剛性程度(S1, S2, S3, S4)作為 持證人的人臉圖像的總體活體程度。
[0071] 下面將詳細(xì)描述認(rèn)證裝置150基于由識(shí)別裝置142所確定出的身份證件的人臉區(qū) 域的人臉關(guān)鍵點(diǎn)與由識(shí)別裝置142所確定出的持證人的人臉圖像的人臉關(guān)鍵點(diǎn)確定人臉 相似程度。
[0072] 在本實(shí)施方式中,認(rèn)證裝置150分別在所確定出的身份證件的人臉區(qū)域的21個(gè)人 臉關(guān)鍵點(diǎn)和所確定出的持證人的人臉圖像的21個(gè)人臉關(guān)鍵點(diǎn)周圍鄰域的不同尺度上提取 LBP (Local Binary Patterns)特征。由于在不同的圖像尺度上提取到的LBP特征維數(shù)很 高,往往可以達(dá)到上萬維,不利于后續(xù)的處理,認(rèn)證裝置150根據(jù)例如PLDA(Probabilistic Linear DiscriminantAnalysis)方法將特征降維,將特征向量的維數(shù)降至數(shù)百量級(jí)。
[0073] 在提取到特征之后,認(rèn)證裝置150用例如Joint Bayesian模型作為人臉比對的 算法。作為貝葉斯估計(jì)算法中的一種,該算法通過對已有的數(shù)據(jù)進(jìn)行訓(xùn)練以建立兩個(gè)假設(shè) 下的高斯模型,分別是假設(shè)兩個(gè)人臉比對樣本來自同一人的模型以及來自不同人的模型。 之后對于兩個(gè)新的人臉比對樣本,即本公開中的身份證圖像的人臉關(guān)鍵點(diǎn)和人臉圖像的人 臉關(guān)鍵點(diǎn),通過比較它們在兩個(gè)假設(shè)下的后驗(yàn)概率來計(jì)算其是否屬于同一個(gè)人的可能性。 Joint Bayesian算法相對于傳統(tǒng)的貝葉斯方法做出了改進(jìn),它對兩個(gè)樣本特征向量的聯(lián)合 分布建模而非兩個(gè)樣本特征向量的差建模,這樣可以捕捉到人臉之間更豐富的區(qū)分信息, 提高了比對的準(zhǔn)確率。以上提到的訓(xùn)練樣本集均來自包括但不限于LFPW(Labeled Face Parts in the Wild)數(shù)據(jù)集的數(shù)據(jù)集。
[0074] 這樣,認(rèn)證裝置150得到身份證圖像中的人臉與持證人的人臉圖像中的人臉的相 似程度,這代表身份證中的人臉圖像和持證人人臉圖像是否是同一個(gè)人的一致性程度,其 值越大,可認(rèn)為兩圖像為同一人的可能性越大。
[0075] 分別由活體程度值計(jì)算裝置144和認(rèn)證裝置150輸出的人臉活體程度值和人臉相 似度作為根據(jù)本公開的身份認(rèn)證設(shè)備所采集的兩類圖像中的人臉相似度的參考,可根據(jù)身 份認(rèn)證應(yīng)用的具體需求不同,而采取不同的方式進(jìn)行整合和使用。
[0076] 可替代地,在另一實(shí)施方式中,檢測裝置141還包括可用于在由第一采集裝置120 所采集的所述身份證件圖像中檢測人臉區(qū)域的第一檢測單元和可用于在由所述第二采集 裝置130所采集的所述人臉圖像中檢測人臉區(qū)域的第二檢測單元。另外,識(shí)別裝置142可 包括第一識(shí)別單元和第二識(shí)別單元,其中第一識(shí)別單元可用于對由第一檢測單元在身份證 件圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出身份證件的人臉區(qū)域的人臉關(guān) 鍵點(diǎn),以及第二識(shí)別單元可用于對由第二檢測單元在持證人的人臉圖像中檢測到的人臉區(qū) 域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出人臉圖像的人臉關(guān)鍵點(diǎn)。
[0077] 可替代地,在另一實(shí)施方式中,可能的是身份認(rèn)證設(shè)備100中的檢測裝置141包括 可用于在由第一采集裝置120所采集的所述身份證件圖像中檢測人臉區(qū)域的第一檢測單 元和可用于在由所述第二采集裝置130所采集的所述人臉圖像中檢測人臉區(qū)域的第二檢 測單元,識(shí)別裝置142對由第一檢測單元在身份證件圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān) 鍵點(diǎn)識(shí)別,以確定出身份證件的人臉區(qū)域的人臉關(guān)鍵點(diǎn),以及對由第二檢測單元在持證人 的人臉圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出人臉圖像的人臉關(guān)鍵點(diǎn)。
[0078] 可替代地,在又一實(shí)施方式中,可能的是身份認(rèn)證設(shè)備100中的識(shí)別裝置142包 括第一識(shí)別單元和第二識(shí)別單元,其中第一識(shí)別單元可用于對由檢測裝置141在身份證件 圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出身份證件的人臉區(qū)域的人臉關(guān)鍵 點(diǎn),以及第二識(shí)別單元可用于對由檢測裝置141在持證人的人臉圖像中檢測到的人臉區(qū)域 進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出人臉圖像的人臉關(guān)鍵點(diǎn)。
[0079] 下面將參照圖3描述根據(jù)示例性實(shí)施方式的身份認(rèn)證方法。
[0080] 在示例性實(shí)施方式中,根據(jù)本公開的身份認(rèn)證方法將應(yīng)用于包含一前一后兩個(gè)攝 像頭的手機(jī)上,用于身份認(rèn)證的身份證件為中華人民共和國第二代身份證。但本領(lǐng)域技術(shù) 人員應(yīng)理解,在不背離本公開的范圍的情況下,根據(jù)本公開的身份認(rèn)證方法可應(yīng)用至各種 設(shè)備如手機(jī)、計(jì)算機(jī)等,用于身份認(rèn)證的身份證件包括但不限于身份證、駕駛證、護(hù)照等。
[0081] 在步驟1000中,先采集身份證個(gè)人信息面的圖像,再對其中的字符以及人臉區(qū) 域分別進(jìn)行提取,最后對人臉區(qū)域的人臉關(guān)鍵點(diǎn)進(jìn)行識(shí)別,所獲得的人臉關(guān)鍵點(diǎn)用于步驟 3000的人臉比對。
[0082] 在步驟2000中,先采集該身份證的持證人的人臉圖像,再對其中的人臉區(qū)域進(jìn)行 提取,最后對人臉區(qū)域中的持證人的人臉關(guān)鍵點(diǎn)進(jìn)行識(shí)別,所獲得的人臉關(guān)鍵點(diǎn)用于步驟 3000的人臉比對。該步驟中還計(jì)算了所采集的持證人的人臉圖像的活體程度值,以判定該 人臉圖像是活體圖像。
[0083] 在步驟3000中,根據(jù)在步驟1000識(shí)別出的身份證人臉區(qū)域的人臉關(guān)鍵點(diǎn)及在步 驟2000中識(shí)別出的持證人的人臉關(guān)鍵點(diǎn)對兩人臉進(jìn)行相似程度的比對,以確定人臉相似 程度。
[0084] 優(yōu)選地,在具體實(shí)施時(shí),步驟1000和步驟2000中的圖像采集由同一設(shè)備實(shí)施,如 當(dāng)根據(jù)本公開實(shí)施方式的身份認(rèn)證方法應(yīng)用至具有一前一后兩個(gè)攝像頭的手機(jī)和用于進(jìn) 行身份認(rèn)證的身份證件為中華人民共和國第二代身份證時(shí),可利用手機(jī)的一前一后兩個(gè)攝 像頭同時(shí)進(jìn)行。在優(yōu)選的圖像采集過程示例中,持證人應(yīng)面向手機(jī)屏幕,一手持手機(jī),一手 持身份證,由手機(jī)前攝像頭采集人臉圖像,后攝像頭采集身份證個(gè)人信息面圖像。"同時(shí)"是 指持證人需在同一時(shí)刻分別將人臉和身份證置于一前一后兩個(gè)攝像頭前,兩攝像頭應(yīng)在一 定時(shí)間內(nèi),例如數(shù)秒內(nèi),完成采集,兩圖像的采集不應(yīng)有較大的時(shí)間間隔,以保證采集到的 圖像都是同一現(xiàn)場的身份證圖像和持證人的人臉圖像。
[0085] 另外,本領(lǐng)域技術(shù)人員應(yīng)理解,根據(jù)所使用的身份證件不同,從該身份證件所獲得 的信息可能有所不同,本公開在此方面沒有限制。此外,從持證人的人臉圖像獲得的信息也 并不限于上述的人臉關(guān)鍵點(diǎn)和活體程度值,還可包括任何可用于進(jìn)行身份認(rèn)證的信息。
[0086] 下面將結(jié)合圖4和圖5對根據(jù)本公開的身份認(rèn)證方法的步驟1000和步驟2000進(jìn) 行詳細(xì)描述。
[0087] 如圖4所示,步驟1000包括采集身份證圖像的步驟1001、識(shí)別身份證圖像中字符 的字符識(shí)別步驟1002、檢測身份證圖像中的人臉區(qū)域的步驟1003以及在檢測到的人臉區(qū) 域中識(shí)別人臉關(guān)鍵點(diǎn)的步驟1004。
[0088] 在步驟1001中,采集身份證圖像。身份證持證人面向手機(jī)屏幕,手機(jī)屏幕顯示后 置攝像頭取景框,持證人將身份證置于后置攝像頭下,使用后置攝像頭采集持證人的身份 證個(gè)人信息面圖像。該采集過程優(yōu)選與將在下文描述的步驟2001中采集持證人人臉圖像 的過程同時(shí)進(jìn)行,以保證采集到的圖像是同一現(xiàn)場的證件照片和持證人照片。該采集為實(shí) 時(shí)、自動(dòng)、不間斷的采集,在采集過程中不需要持證人對手機(jī)進(jìn)行任何操作。
[0089] 在步驟1002中,對身份證圖像中的字符進(jìn)行識(shí)別。針對身份證作為身份證件,可 采用例如張純等人的"中文商務(wù)名片識(shí)別系統(tǒng)的實(shí)現(xiàn)"中的方法進(jìn)行字符識(shí)別,并進(jìn)行適當(dāng) 修改以適應(yīng)身份證上的字符排列特點(diǎn)。該識(shí)別流程包括圖像預(yù)處理、版面分析、字符識(shí)別、 信息理解等子流程,從而識(shí)別出身份證每一字符信息項(xiàng)的內(nèi)容。
[0090] 在中華人民共和國第二代身份證印有持證人個(gè)人信息及人臉圖像的一面中,各字 符信息項(xiàng)和人臉區(qū)域的排列具有其特有的特點(diǎn),例如,在外觀上包含姓名、性別、民族、出生 日期、住址、公民身份號(hào)碼等字符信息,以及持證人的頭像。這些信息都固定在身份證上的 確定位置,且每種信息都有其確定的規(guī)則,比如民族只有56種可能,公民身份證號(hào)碼均有 18位等。
[0091] 如果通過字符識(shí)別檢測到了身份證上的字符信息,且這些字符信息符合身份證字 符信息的要求,則輸出檢測到的字符信息,否則返回1001,對身份證的圖像重新進(jìn)行采集。 如身份證為少數(shù)民族地區(qū)的證件,其中包含少數(shù)民族文字,需根據(jù)少數(shù)民族文字的內(nèi)容及 排版的不同專門進(jìn)行處理。
[0092] 在步驟1003中,從在步驟1001中采集的身份證個(gè)人信息面圖像中檢測人臉區(qū)域。 本步驟采用了例如基于SURF (Speeded Up Robust Features)的級(jí)聯(lián)回歸方法進(jìn)行人臉區(qū) 域的檢測,該回歸基本符合Viola-Jone人臉檢測的算法框架。本步驟最終確定出圖像上人 臉的正方形框。當(dāng)圖像上有多個(gè)框時(shí),則優(yōu)先選取較大的人臉框,有更大的可能是持證人。
[0093] 如果檢測到人臉區(qū)域,則進(jìn)入步驟1004,對人臉區(qū)域進(jìn)行關(guān)鍵點(diǎn)識(shí)別,如果在圖像 中未檢測到人臉區(qū)域,否則返回步驟1001,對身份證的圖像重新進(jìn)行采集。
[0094] 在步驟1004中,執(zhí)行人臉關(guān)鍵點(diǎn)識(shí)另Ij。在步驟1003中檢測到包含人臉區(qū)域的正方 形框之后,在該步驟1004中對此框中的21個(gè)用于人臉比對的人臉關(guān)鍵點(diǎn)進(jìn)行識(shí)別,其中21 個(gè)人臉關(guān)鍵點(diǎn)(人臉關(guān)鍵點(diǎn)1至人臉關(guān)鍵點(diǎn)21)的位置如圖6所示。本公開的該步驟先采 用例如三級(jí)級(jí)聯(lián)的深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)中的第一級(jí)進(jìn)行21個(gè)關(guān)鍵點(diǎn)的大概估計(jì),之后 采用例如對梯度進(jìn)行級(jí)聯(lián)回歸的監(jiān)督梯度下降方法(Supervised Descent Method(SDM)) 進(jìn)行后續(xù)的關(guān)鍵點(diǎn)精確定位。
[0095] 具體地,SDM的思路是,通過多次的迭代逐漸精確對人臉關(guān)鍵點(diǎn)的估計(jì)。在本公開 中,從LFPW(Labeled Face Parts in the Wild)數(shù)據(jù)集的35點(diǎn)關(guān)鍵點(diǎn)標(biāo)注中選取采樣得 到21個(gè)所需關(guān)鍵點(diǎn),并由此訓(xùn)練得到SDM中迭代所需參數(shù),其中SDM的初始關(guān)鍵點(diǎn)由CNN 中第一級(jí)處理得到。
[0096] 在CNN方法中,第一層中的網(wǎng)絡(luò)得到了一個(gè)對關(guān)鍵點(diǎn)位置的大概估計(jì),后兩層依 次使得這個(gè)估計(jì)逐漸精確。但是這種方法的缺點(diǎn)在于,計(jì)算量龐大,速度較慢,難以在移動(dòng) 端的計(jì)算能力下做到實(shí)時(shí)計(jì)算。
[0097] SDM方法的優(yōu)點(diǎn)是速度快,但是該方法依賴對初始關(guān)鍵點(diǎn)位置的選擇,不好的初始 位置可能的導(dǎo)致回歸到局部最優(yōu)解,從而使得對人臉關(guān)鍵點(diǎn)位置的估計(jì)存在偏差。
[0098] 本公開綜合了上述兩種方法,先用CNN網(wǎng)絡(luò)的第一層得到一個(gè)相對精確的人臉關(guān) 鍵點(diǎn)的初始位置,然后再利用SDM方法,逐漸的線性回歸出精確的人臉關(guān)鍵點(diǎn)位置。這樣就 結(jié)合了兩種方法的優(yōu)點(diǎn),使得本公開的過程既有較好的魯棒性,又有較快的速度。
[0099] 本領(lǐng)域技術(shù)人員應(yīng)理解,步驟1002和步驟1003-1004可并行、同時(shí)或順序地執(zhí)行, 本公開在此方面沒有限制。
[0100] 如圖5所示,步驟2000包括:采集持證人的人臉圖像的步驟2001、檢測所采集的 持證人的人臉圖像中的人臉區(qū)域的步驟2002、在檢測到的人臉區(qū)域中識(shí)別人臉關(guān)鍵點(diǎn)的步 驟2003以及計(jì)算持證人的人臉圖像的活體程度值的步驟2004。
[0101] 在步驟2001中,采集持證人的人臉圖像。持證人面向手機(jī)屏幕,用手機(jī)前置攝像 頭"靜默"采集持證人本人的人臉圖像,即不在屏幕上顯示前置攝像頭的取景框,在用戶無 感知的情況下,采集到更真實(shí)自然的人臉圖像。該采集過程與上文所述的步驟1001中的身 份證的圖像采集在預(yù)定時(shí)間間隔內(nèi)進(jìn)行,優(yōu)選同時(shí)進(jìn)行,以保證采集到的圖像是同一現(xiàn)場 的證件照片和持證人照片。該采集為實(shí)時(shí)、自動(dòng)、不間斷的采集,在采集過程中不需要持證 人對手機(jī)進(jìn)行任何操作。
[0102] 另外,本公開要對持證人的人臉圖像進(jìn)行活體檢測,因此在步驟2001中可能需要 采集連續(xù)多幀的人臉圖像用于后續(xù)的計(jì)算活體程度值的步驟2004。
[0103] 在步驟2002中,從在步驟2001中采集的人臉圖像中定位的人臉區(qū)域。該步驟的 具體實(shí)施與步驟1003基本相同。如果采集了足夠的連續(xù)的包含人臉區(qū)域的持證人人臉圖 像,則進(jìn)行步驟2004的人臉關(guān)鍵點(diǎn)識(shí)別。
[0104] 步驟2001和步驟2002中的"連續(xù)"圖像并不代表嚴(yán)格的時(shí)序連續(xù)圖像,可能由于 持證人人臉的劇烈抖動(dòng)導(dǎo)致在步驟2001中所采集的時(shí)序相連的若干幀圖像中有一幀無法 檢測到人臉區(qū)域,那么在步驟2002中就跳過這一幀,再在之后的幀中檢測人臉區(qū)域,重復(fù) 步驟2001和步驟2002直到采集了足夠的連續(xù)的包含人臉區(qū)域的人臉圖像。另外,如果連 續(xù)多幀不包含人臉或不包含人臉區(qū)域的時(shí)間間隔大于某個(gè)設(shè)定閾值,則應(yīng)舍棄之前采集到 的所有圖像,重新由步驟2001進(jìn)行的采集,直至采集的圖像符合了要求。
[0105] 可替代地,根據(jù)需要及各種條件限制(如硬件條件等),還可在步驟2001中僅采集 一幀持證人的人臉圖像,然后在步驟2002中檢測該幀人臉圖像的人臉區(qū)域,并且如果在該 幀人臉圖像中未檢測到人臉區(qū)域,則舍棄該幀。重復(fù)步驟2001和步驟2002,直到采集了足 夠的連續(xù)的包含人臉區(qū)域的人臉圖像。另外,如果連續(xù)多幀不包含人臉或不包含人臉區(qū)域 的時(shí)間間隔大于某個(gè)設(shè)定閾值,則應(yīng)舍棄之前采集到的所有圖像,重新由步驟2001進(jìn)行的 采集,直至采集的圖像符合了要求。
[0106] 在步驟2004中,在檢測到的人臉區(qū)域中識(shí)別人臉關(guān)鍵點(diǎn)。該步驟的具體實(shí)施方法 與步驟1004基本相同,因此,本文中將省略其詳細(xì)描述。
[0107] 在步驟2005中,檢測持證人的人臉圖像的人臉活體程度。本公開基于例如非剛體 分析(Non-rigid Motion Analysis)方法對人臉的活體程度進(jìn)行檢測。
[0108] 本步驟中在進(jìn)行活體檢測時(shí)需要的人臉區(qū)域由步驟2002得到。
[0109] 作為示例,本步驟提取了人臉區(qū)域的4個(gè)非剛體特征區(qū)域Ω :左眼部區(qū)域Q1、右 眼部區(qū)域Ω2、鼻子區(qū)域ω3、嘴部區(qū)域ω 4,并分別檢測了這四個(gè)區(qū)域的非剛性程度,即活體 程度。這4個(gè)區(qū)域與人臉關(guān)鍵點(diǎn)識(shí)別步驟2003中得到的21個(gè)人臉關(guān)鍵點(diǎn)的區(qū)域大致對 應(yīng),可根據(jù)步驟2003的關(guān)鍵點(diǎn)識(shí)別結(jié)果來確定4個(gè)非剛體特征區(qū)域。具體地,左眼部區(qū)域 Ω i中包括人臉關(guān)鍵點(diǎn)1,2, 3, 7, 8和17,右眼部區(qū)域Ω 2中包括人臉關(guān)鍵點(diǎn)4, 5, 6, 9, 10和 18,鼻子區(qū)域Ω3中包括人臉關(guān)鍵點(diǎn)11,12, 13和19,以及嘴部區(qū)域Ω 4中包括人臉關(guān)鍵點(diǎn) 14, 15, 16, 20和21。在本公開中,用一個(gè)包含每一個(gè)特征區(qū)域?qū)?yīng)的關(guān)鍵點(diǎn)的矩形來表示 每一個(gè)特征區(qū)域,該矩形的寬和高需根據(jù)該特征區(qū)域的不同需單獨(dú)進(jìn)行設(shè)置。
[0110] 基于上文中的公式(1)計(jì)算每一幀圖像j中的人臉區(qū)域Facej中的每個(gè)非剛體特 征區(qū)域Ω的特征T li j, i = 1. .. 4,1 :左眼部區(qū)域,2 :右眼部區(qū)域,3 :鼻子區(qū)域,4 :嘴部區(qū)域。
[0111] 基于上文中的公式(2)計(jì)算每個(gè)非剛體特征區(qū)域的非剛性程度S1 (左眼部區(qū)域 右眼部區(qū)域S2、鼻子區(qū)域S3、嘴部區(qū)域S4),每個(gè)非剛體特征區(qū)域的非剛性程度S 1S該區(qū)域 的特征!\的方差,S 值越小,表征該人臉圖像不是來自活體的可能性越大。
[0112] 最后將每個(gè)非剛體特征區(qū)域的非剛性程度(S1, S2, S3, S4)作為持證人的人臉圖像 的總體活體程度作為輸出。
[0113] 下面將詳細(xì)描述步驟3000。
[0114] 在步驟3000中,根據(jù)在步驟1004和步驟2003識(shí)別到的身份證圖像的人臉關(guān)鍵 點(diǎn)和人臉圖像的人臉關(guān)鍵點(diǎn),對兩人臉進(jìn)行比對。在得到21個(gè)人臉關(guān)鍵點(diǎn)的位置后,在這 21個(gè)關(guān)鍵點(diǎn)周圍鄰域的不同尺度上提取LBP(Local Binary Patterns)特征。在不同的 圖像尺度上提取到的LBP特征維數(shù)很高,往往可以達(dá)到上萬維,不利于后續(xù)的處理。采用 PLDA(Probabilistic Linear Discriminant Analysis)方法對特征降維,將特征向量的維 數(shù)降至數(shù)百量級(jí)。
[0115] 在提取到特征之后,本公開例如可用Joint Bayesian模型作為人臉比對的算法。 作為貝葉斯估計(jì)算法中的一種,該算法通過對已有的數(shù)據(jù)進(jìn)行訓(xùn)練以建立兩個(gè)假設(shè)下的高 斯模型,分別是假設(shè)兩個(gè)人臉比對樣本來自同一人的模型以及來自不同人的模型。之后對 于兩個(gè)新的人臉比對樣本,即根據(jù)本公開中的身份證圖像的人臉關(guān)鍵點(diǎn)和人臉圖像的人 臉關(guān)鍵點(diǎn)得到的人臉特征,通過比較它們在兩個(gè)假設(shè)下的后驗(yàn)概率來計(jì)算其是否屬于同一 個(gè)人的可能性。Joint Bayesian算法相對于傳統(tǒng)的貝葉斯方法做出了改進(jìn),它對兩個(gè)樣 本特征向量的聯(lián)合分布建模而非兩個(gè)樣本特征向量的差建模,這樣可以捕捉到人臉之間 更豐富的區(qū)分信息,提高了比對的準(zhǔn)確率。以上提到的訓(xùn)練樣本集均來自包括但不限于 LFPW(Labeled Face Parts in the Wild)數(shù)據(jù)集的數(shù)據(jù)集。
[0116] 在步驟3000中,得到身份證圖像中的人臉與持證人的人臉圖像中的人臉的相似 程度,這代表身份證中的人臉圖像和持證人人臉圖像是否是同一個(gè)人的一致性程度,其值 越大,可認(rèn)為兩圖像為同一人的可能性越大。
[0117] 在步驟2003和步驟3000中輸出的人臉活體程度和人臉相似度作為本公開采集的 兩類圖像中的人臉相似度的參考,可根據(jù)身份認(rèn)證應(yīng)用的具體需求不同,而采取不同的方 式進(jìn)行整合和使用。
[0118] 圖7示出了本公開的身份認(rèn)證方法應(yīng)用至銀行在線開戶及交易場景的示意圖。
[0119] 下面將結(jié)合將根據(jù)本公開的身份認(rèn)證方法將應(yīng)用于包含一前一后兩個(gè)攝像頭的 手機(jī)上以及用于身份認(rèn)證的身份證件為中華人民共和國第二代身份證的示例來描述本公 開的身份認(rèn)證方法應(yīng)用至銀行在線開戶及交易場景的過程。
[0120] 在開戶時(shí),由手機(jī)的兩個(gè)攝像頭分別在預(yù)定時(shí)間間隔內(nèi),優(yōu)選同時(shí),采集身份證及 持證人的人臉圖像,在本地實(shí)現(xiàn)身份證的文字內(nèi)容的識(shí)別、身份證圖像中人臉區(qū)域的檢測、 持證人的人臉圖像中人臉區(qū)域的檢測,并完成身份證中人臉與人臉圖像中人臉的比對,計(jì) 算得到兩人臉的相似程度和持證人人臉圖像的活體程度值,最后通過網(wǎng)絡(luò)(例如,無線網(wǎng) 絡(luò)、GPRS、WIFI等)即時(shí)將以上采集的身份證圖像和持證人的人臉圖像、身份證上的字符信 息、兩人臉的相似程度和持證人的人臉圖像的活體程度值上傳至銀行服務(wù)器,由服務(wù)器端 根據(jù)公安部身份信息數(shù)據(jù)庫判定以上信息的可信度并留存。
[0121] 在進(jìn)行銀行在線交易時(shí),可將人臉比對加入到身份認(rèn)證的過程中,綜合文字密碼、 手勢密碼、動(dòng)態(tài)口令等方式進(jìn)行安全認(rèn)證,亦可獨(dú)立進(jìn)行認(rèn)證。此時(shí)仍使用本地設(shè)備完成 身份證的字符信息的識(shí)別、身份證圖像中人臉區(qū)域的檢測、持證人的人臉圖像中人臉區(qū)域 的檢測,并完成身份證圖像中人臉與持證人的人臉圖像中人臉的比對,計(jì)算得到兩人臉的 相似程度和持證人的人臉圖像的活體程度值,但最后只需通過網(wǎng)絡(luò)(如,無線網(wǎng)絡(luò)、GPRS、 WIFI等)即時(shí)將身份證上的文字信息、兩人臉的相似度和人臉圖像的活體程度上傳至銀行 服務(wù)器,由服務(wù)器端根據(jù)銀行的用戶信息數(shù)據(jù)庫判定以上信息的可信度及是否可以進(jìn)行后 續(xù)操作。如上所述的在本地進(jìn)行圖像的處理,且并不上傳圖像信息至服務(wù)器端,可有效減少 無線傳輸開銷,及服務(wù)器端的運(yùn)算和存儲(chǔ)開銷。
[0122] 本公開利用無線智能通信終端,同時(shí)、自動(dòng)采集用戶真人活體人臉照片及其身份 證照片,在本地進(jìn)行活體人臉和身份證中人像的比對,得到兩人臉的相似度,該相似度結(jié)果 可以作為后續(xù)用戶真實(shí)身份認(rèn)證的一個(gè)參考指標(biāo)。為消費(fèi)者、商家提供便捷、快速、安全的 身份證件信息錄入及真實(shí)性驗(yàn)證技術(shù)。
[0123] 本領(lǐng)域普通技術(shù)人員可以理解在上述實(shí)施方式中描述的全部或部分步驟或單元 可以軟件形式和/或硬件形式來實(shí)現(xiàn),本公開不限制于任何特定形式的硬件和軟件的結(jié) 合。
【主權(quán)項(xiàng)】
1. 一種身份認(rèn)證方法,包括: 采集身份證件的圖像; 響應(yīng)于檢測到所述身份證件,自動(dòng)采集持有所述身份證件的持證人的人臉圖像; 從所采集的身份證件圖像獲得所述身份證件中記載的信息; 從所采集的所述人臉圖像獲得與所述持證人相關(guān)的持證人信息;以及 將所述身份證件中記載的信息與所述持證人信息進(jìn)行比較,以對所述持證人進(jìn)行身份 認(rèn)證。2. 根據(jù)權(quán)利要求1所述的方法,其中,所述身份證件中記載的信息包括所述身份證件 上的人臉關(guān)鍵點(diǎn)信息,以及獲得所述身份證件中記載的信息的步驟包括: 在所采集的所述身份證件圖像中檢測人臉區(qū)域;以及 對所述身份證件圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出所述身份證 件的人臉區(qū)域的人臉關(guān)鍵點(diǎn)。3. 根據(jù)權(quán)利要求2所述的方法,其中,自動(dòng)采集持有所述身份證件的持證人的人臉圖 像的步驟包括: i) 響應(yīng)于檢測到所述身份證件,自動(dòng)地連續(xù)采集所述持證人的多個(gè)人臉圖像; ii) 檢測所采集的每個(gè)人臉圖像中是否具有人臉區(qū)域,并舍棄確定為不具有人臉區(qū)域 的人臉圖像; iii) 當(dāng)不具有人臉區(qū)域的所述人臉圖像的時(shí)間間隔大于設(shè)定閾值時(shí)舍棄所述多個(gè)人 臉圖像;以及 iv) 重復(fù)步驟i)至步驟iii),直到所得到的人臉圖像的數(shù)目達(dá)到所述預(yù)定數(shù)目。4. 根據(jù)權(quán)利要求2所述的方法,其中,自動(dòng)采集持有所述身份證件的持證人的人臉圖 像的步驟包括: i) 響應(yīng)于檢測到所述身份證件,自動(dòng)地采集所述持證人的人臉圖像; ii) 檢測所采集的所述人臉圖像中是否具有人臉區(qū)域,并當(dāng)所述人臉圖像被確定為不 具有人臉區(qū)域的人臉圖像時(shí),舍棄所述人臉圖像;以及 iii) 重復(fù)步驟i)至步驟ii),直到所得到的人臉圖像的數(shù)目達(dá)到所述預(yù)定數(shù)目。5. 根據(jù)權(quán)利要求3或4所述的方法,其中所述持證人信息包括所述持證人的人臉關(guān)鍵 點(diǎn)信息,獲得與所述持證人相關(guān)的持證人信息的步驟包括: 對所述人臉圖像進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出所述人臉圖像的人臉關(guān)鍵點(diǎn)。6. 根據(jù)權(quán)利要求5所述的方法,其中,所述持證人信息還包括所述持證人的人臉圖像 的活體程度信息,以及獲得與所述持證人相關(guān)的持證人信息的步驟還包括: 基于確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn)計(jì)算所述人臉圖像的活體程度值,從而確定 所述人臉圖像是否為活體圖像。7. 根據(jù)權(quán)利要求2所述的方法,其中,所述身份證件中記載的信息還包括所述身份證 件的字符信息,以及獲得所述身份證件中記載的信息的步驟還包括: 在所采集的所述身份證件圖像中識(shí)別所述身份證件的字符信息;以及 確定所述字符信息是否符合所述身份證件的字符信息標(biāo)準(zhǔn)。8. 根據(jù)權(quán)利要求5所述的方法,其中, 進(jìn)行身份認(rèn)證的步驟包括:基于所確定出的所述身份證件的人臉區(qū)域的人臉關(guān)鍵點(diǎn)與 所確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn),確定出人臉相似程度。9. 根據(jù)權(quán)利要求3或4所述的方法,其中,根據(jù)基于SURF的級(jí)聯(lián)回歸方法檢測所述身 份證件圖像的人臉區(qū)域以及所述人臉圖像的人臉區(qū)域。10. 根據(jù)權(quán)利要求5所述的方法,其中,對所述身份證件圖像中檢測到的人臉區(qū)域進(jìn)行 人臉關(guān)鍵點(diǎn)識(shí)別的步驟和對獲得的所述預(yù)定數(shù)目的人臉圖像進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別的步驟 都包括: 使用三級(jí)級(jí)聯(lián)的深度卷積神經(jīng)網(wǎng)絡(luò)的第一級(jí)估計(jì)所述人臉關(guān)鍵點(diǎn)的初始位置;以及 基于所估計(jì)的所述人臉關(guān)鍵點(diǎn)的所述初始位置,使用監(jiān)督梯度下降方法計(jì)算所述人臉 關(guān)鍵點(diǎn)的精確位置。11. 根據(jù)權(quán)利要求6所述的方法,其中,基于確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn)計(jì)算 所述人臉圖像的活體程度值的步驟包括: 根據(jù)確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn)的區(qū)域,提取每個(gè)所述人臉圖像的多個(gè)非剛 體特征區(qū)域,所述非剛體特征區(qū)域與所述人臉關(guān)鍵點(diǎn)的區(qū)域相對應(yīng); 確定每個(gè)所述人臉圖像在每個(gè)所述非剛體特征區(qū)域中的特征;以及 根據(jù)所確定出的所述特征計(jì)算出每個(gè)所述非剛體區(qū)域的非剛性程度作為所述人臉圖 像的活體程度值。12. -種身份認(rèn)證設(shè)備,包括: 第一采集裝置,配置為采集身份證件的圖像; 第二采集裝置,配置為響應(yīng)于由所述第一采集裝置檢測到所述身份證件,自動(dòng)采集持 有所述身份證件的持證人的人臉圖像; 信息獲得裝置,配置為從所采集的身份證件圖像獲得所述身份證件中記載的信息以及 從為從所采集的所述人臉圖像獲得與所述持證人相關(guān)的持證人信息;以及 認(rèn)證裝置,配置為將所述身份證件中記載的信息與所述持證人信息進(jìn)行比較,以對所 述持證人進(jìn)行身份認(rèn)證。13. 根據(jù)權(quán)利要求12所述的身份認(rèn)證設(shè)備,其中, 所述信息獲得裝置包括: 檢測裝置,配置為在由所述第一采集裝置所采集的所述身份證件圖像中檢測人臉區(qū) 域,以及在由所述第二采集裝置所采集的所述人臉圖像中檢測人臉區(qū)域;以及 識(shí)別裝置,配置為對由所述檢測裝置在所述身份證件圖像中檢測到的人臉區(qū)域進(jìn)行人 臉關(guān)鍵點(diǎn)識(shí)別,以確定出所述身份證件的人臉區(qū)域的人臉關(guān)鍵點(diǎn),以及對由所述確定裝置 在所述人臉圖像中檢測到的人臉區(qū)域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出所述人臉圖像的人臉 關(guān)鍵點(diǎn),以及 所述身份證件中記載的信息包括由所述識(shí)別裝置所確定出的所述身份證件的人臉區(qū) 域的人臉關(guān)鍵點(diǎn), 所述持證人信息包括由所述識(shí)別裝置所確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn),以及 所述認(rèn)證裝置配置為基于由所述識(shí)別裝置所確定出的所述身份證件的人臉區(qū)域的人 臉關(guān)鍵點(diǎn)與由所述識(shí)別裝置所確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn),確定出人臉相似程 度。14. 根據(jù)權(quán)利要求13所述的身份認(rèn)證設(shè)備,其中,所述持證人信息還包括所述持證人 的人臉圖像的活體程度信息,所述信息獲得裝置還包括活體程度值計(jì)算裝置,所述活體程 度值計(jì)算裝置配置為基于由所述識(shí)別裝置確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn)計(jì)算所述 人臉圖像的活體程度值,從而確定所述人臉圖像是否為活體圖像。15. 根據(jù)權(quán)利要求13所述的身份認(rèn)證設(shè)備,其中,所述身份證件中記載的信息還包括 所述身份證件的字符信息,所述信息獲得裝置還包括字符信息裝置,所述字符信息裝置在 由所述第一采集裝置采集的所述身份證件圖像中識(shí)別所述身份證件的字符信息以及確定 所述字符信息是否符合所述身份證件的字符信息標(biāo)準(zhǔn)。16. 根據(jù)權(quán)利要求13所述的身份認(rèn)證設(shè)備,其中,所述檢測裝置根據(jù)基于SURF的級(jí)聯(lián) 回歸方法檢測所述身份證件圖像的人臉區(qū)域和所述人臉圖像的人臉區(qū)域。17. 根據(jù)權(quán)利要求13所述的身份認(rèn)證設(shè)備,其中,所述識(shí)別裝置包括: 初始位置估計(jì)模塊,基于由所述檢測裝置在所述人臉圖像中檢測到的人臉區(qū)域,使用 三級(jí)級(jí)聯(lián)的深度卷積神經(jīng)網(wǎng)絡(luò)的第一級(jí)估計(jì)所述人臉關(guān)鍵點(diǎn)的初始位置;以及 精確位置計(jì)算模塊,基于由所述初始位置估計(jì)模塊所估計(jì)的所述人臉關(guān)鍵點(diǎn)的所述初 始位置,使用監(jiān)督梯度下降方法精確計(jì)算所述人臉關(guān)鍵點(diǎn)的精確位置,以確定出所述人臉 關(guān)鍵點(diǎn)。18. 根據(jù)權(quán)利要求14所述的身份認(rèn)證設(shè)備,其中,所述活體程度值計(jì)算裝置包括: 非剛體特征區(qū)域提取模塊,基于由所述識(shí)別裝置確定出的所述人臉圖像的人臉關(guān)鍵點(diǎn) 提取每個(gè)所述人臉圖像的多個(gè)非剛體特征區(qū)域,所述非剛體特征區(qū)域與所述人臉關(guān)鍵點(diǎn)的 區(qū)域相對應(yīng); 特征確定模塊,確定每個(gè)所述人臉圖像在每個(gè)所述非剛體特征區(qū)域中的特征;以及 活體程度值計(jì)算模塊,根據(jù)由所述特征確定模塊所確定出的所述特征計(jì)算出每個(gè)所述 非剛體區(qū)域的非剛性程度作為所述人臉圖像的活體程度值。19. 根據(jù)權(quán)利要求13所述的身份認(rèn)證設(shè)備,其中,所述檢測裝置包括: 第一檢測單元,配置為在由所述第一采集裝置所采集的所述身份證件圖像中檢測人臉 區(qū)域;以及 第二檢測單元,配置為在由所述第二采集裝置所采集的所述人臉圖像中檢測人臉區(qū) 域。20. 根據(jù)權(quán)利要求19所述的身份認(rèn)證設(shè)備,其中,所述識(shí)別裝置包括: 第一識(shí)別單元,配置為對由所述第一檢測單元在所述身份證件圖像中檢測到的人臉區(qū) 域進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出所述身份證件的人臉區(qū)域的人臉關(guān)鍵點(diǎn);以及 第二識(shí)別單元,配置為對由所述第二檢測單元在所述人臉圖像中檢測到的人臉區(qū)域進(jìn) 行人臉關(guān)鍵點(diǎn)識(shí)別,以確定出所述人臉圖像的人臉關(guān)鍵點(diǎn)。21. 根據(jù)權(quán)利要求14-20中任一項(xiàng)所述的身份認(rèn)證設(shè)備,其中,所述身份認(rèn)證設(shè)備包括 在能夠進(jìn)行通信的終端中。
【文檔編號(hào)】G06K9/46GK105844206SQ201510020554
【公開日】2016年8月10日
【申請日】2015年1月15日
【發(fā)明人】馬堃, 李 誠, 郝景山, 湯曉鷗
【申請人】北京市商湯科技開發(fā)有限公司