本發(fā)明涉及一種數(shù)據(jù)處理方法和處理裝置，特別是涉及一種顯示數(shù)據(jù)的處理方法和處理裝置。

背景技術(shù)：

視頻傳輸需要消耗大量帶寬，在視頻監(jiān)控領(lǐng)域，實(shí)時(shí)的高清碼流消耗帶寬和系統(tǒng)處理資源最大。因此在現(xiàn)有技術(shù)中，通常采用對(duì)源視頻編碼壓縮處理分別形成適合實(shí)時(shí)傳輸?shù)牡退俾蚀a流和適合延時(shí)傳輸?shù)母咚俾蚀a流來(lái)解決帶寬問(wèn)題。但是僅利用碼流速率適配帶寬并不能保證視頻中信息的實(shí)時(shí)可靠傳輸。當(dāng)碼流降低時(shí)視頻中攜帶的信息質(zhì)量也相應(yīng)降低甚至無(wú)法使用。采用不同的編碼方式將視頻中的信息與相應(yīng)的視頻進(jìn)行分別編碼，并形成源視頻的分級(jí)碼流是可行的。但在編碼過(guò)程中需要解決視頻信息與相應(yīng)視頻的匹配，匹配過(guò)程的系統(tǒng)資源的調(diào)度平衡等技術(shù)問(wèn)題。

卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在語(yǔ)音識(shí)別和圖像處理方面有著獨(dú)特的優(yōu)越性，其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類過(guò)程中數(shù)據(jù)重建的復(fù)雜度。

使計(jì)算機(jī)的能耗比至少提高了兩三個(gè)數(shù)量級(jí)，特別擅長(zhǎng)處理視頻、圖像類的海量多媒體數(shù)據(jù)，使得人工智能在嵌入式機(jī)器視覺(jué)應(yīng)用中可以大顯身手，有效識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明實(shí)施例提供了一種時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法，解決了現(xiàn)有視頻編碼技術(shù)中無(wú)法克服編碼速率導(dǎo)致視頻信息質(zhì)量降低的技術(shù)問(wèn)題。

本發(fā)明實(shí)施例還提供了一種時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼結(jié)構(gòu)，解決了現(xiàn)有視頻編碼架構(gòu)不合理，造成對(duì)視頻中攜帶的信息處理無(wú)法進(jìn)行有效負(fù)荷均衡的技術(shù)問(wèn)題。

本發(fā)明的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法，包括：

步驟10，獲取同步視頻，根據(jù)預(yù)置分析模型，形成同步視頻中的視頻對(duì)象；

步驟20，獲取同步視頻，根據(jù)預(yù)置優(yōu)化模型，對(duì)同步視頻中的圖像進(jìn)行優(yōu)化，形成優(yōu)化視頻；

步驟30，獲取視頻對(duì)象，任務(wù)處理模型以及同步視頻，將處理資源時(shí)分復(fù)用分配至相應(yīng)任務(wù)處理模型的任務(wù)處理過(guò)程，對(duì)視頻對(duì)象進(jìn)行相應(yīng)任務(wù)處理，形成相應(yīng)的對(duì)象描述信息；

步驟40，對(duì)優(yōu)化視頻進(jìn)行視頻編碼，將相應(yīng)的對(duì)象描述信息編碼并嵌入視頻碼流，形成源視頻的分級(jí)碼流。

還包括：

步驟32，根據(jù)視頻對(duì)象的類型，調(diào)整相應(yīng)任務(wù)處理模型。

還包括：

步驟12，將視頻對(duì)象在同步視頻中的范圍形成對(duì)象坐標(biāo)信息；

步驟22，根據(jù)對(duì)象坐標(biāo)信息，對(duì)同步視頻中的圖像范圍進(jìn)行重點(diǎn)優(yōu)化。

還包括：

步驟42，根據(jù)對(duì)象坐標(biāo)信息，對(duì)優(yōu)化視頻相應(yīng)范圍進(jìn)行視頻優(yōu)化編碼。

所述優(yōu)化與重點(diǎn)優(yōu)化采用并行進(jìn)行和/或串行進(jìn)行，所述視頻優(yōu)化編碼與視頻編碼采用并行進(jìn)行和/或串行進(jìn)行。

所述調(diào)整相應(yīng)任務(wù)處理模型，至少包括任務(wù)處理模型的參數(shù)、權(quán)重表、加載順序、加載時(shí)長(zhǎng)和加載優(yōu)先級(jí)中的一種或幾種。

本發(fā)明的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼架構(gòu)，包括神經(jīng)網(wǎng)絡(luò)處理器、智能分析處理器、圖像信號(hào)處理器和視頻分級(jí)碼流編碼器，其中：

神經(jīng)網(wǎng)絡(luò)處理器，獲取視頻對(duì)象，任務(wù)處理模型以及同步視頻，將處理資源時(shí)分復(fù)用分配至相應(yīng)任務(wù)處理模型的任務(wù)處理過(guò)程，對(duì)視頻對(duì)象進(jìn)行相應(yīng)任務(wù)處理，形成相應(yīng)的對(duì)象描述信息；

智能分析處理器，用于獲取同步視頻，根據(jù)預(yù)置分析模型，形成同步視頻中的視頻對(duì)象；

圖像信號(hào)處理器，用于獲取同步視頻，根據(jù)預(yù)置優(yōu)化模型，對(duì)同步視頻中的圖像進(jìn)行優(yōu)化，形成優(yōu)化視頻；

視頻分級(jí)碼流編碼器，用于對(duì)優(yōu)化視頻進(jìn)行視頻編碼，將相應(yīng)的對(duì)象描述信息編碼并嵌入視頻碼流，形成源視頻的分級(jí)碼流。

神經(jīng)網(wǎng)絡(luò)處理器還包括模型參數(shù)調(diào)整裝置，用于根據(jù)視頻對(duì)象的類型，調(diào)整相應(yīng)任務(wù)處理模型。

所述智能分析處理器還包括視頻對(duì)象捕捉裝置，用于將視頻對(duì)象在同步視頻中的范圍形成對(duì)象坐標(biāo)信息；

所述圖像信號(hào)處理器還包括圖像重點(diǎn)優(yōu)化裝置，用于根據(jù)對(duì)象坐標(biāo)信息，對(duì)同步視頻中的圖像范圍進(jìn)行重點(diǎn)優(yōu)化。

所述視頻分級(jí)碼流編碼器還包括視頻優(yōu)化編碼裝置，用于根據(jù)對(duì)象坐標(biāo)信息，對(duì)優(yōu)化視頻相應(yīng)范圍進(jìn)行視頻優(yōu)化編碼。

本發(fā)明實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法，將優(yōu)化的視頻與各視頻對(duì)象的分析和處理結(jié)果信息通過(guò)編碼形式同步結(jié)合，使源視頻形成包含視頻內(nèi)容和各視頻對(duì)象相關(guān)信息的分級(jí)碼流。使得可以按需分發(fā)分級(jí)碼流的部分或全部，在傳輸帶寬和視頻信息量上取得均衡。將視頻優(yōu)化過(guò)程和視頻分析過(guò)程有機(jī)結(jié)合，實(shí)現(xiàn)任務(wù)處理模型的時(shí)分復(fù)用，在視頻分析過(guò)程中將視頻對(duì)象分析過(guò)程和視頻對(duì)象處理過(guò)程分布處理，充分兼顧了分析、處理負(fù)荷的均衡。

本發(fā)明實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼架構(gòu)，形成了合理的編碼分布式架構(gòu)，將對(duì)象智能分析，對(duì)象處理和編碼功能分布設(shè)置，避免了任務(wù)突發(fā)或數(shù)據(jù)處理負(fù)荷無(wú)法分擔(dān)，無(wú)法形成可控的時(shí)分復(fù)用任務(wù)處理序列的高速編碼缺陷。

附圖說(shuō)明

圖1為本發(fā)明時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法實(shí)施例的流程圖；

圖2位本發(fā)明時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼架構(gòu)實(shí)施例的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。圖紙中的步驟編號(hào)僅用于作為該步驟的附圖標(biāo)記，不表示執(zhí)行順序。

如圖1所示，本發(fā)明實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法，包括：

步驟05，將源視頻形成多路同步視頻；

步驟10，獲取同步視頻，根據(jù)預(yù)置分析模型，形成同步視頻中的視頻對(duì)象；

步驟20，獲取同步視頻，根據(jù)預(yù)置優(yōu)化模型，對(duì)同步視頻中的圖像進(jìn)行優(yōu)化，形成優(yōu)化視頻；

步驟30，獲取視頻對(duì)象，任務(wù)處理模型以及同步視頻，將處理資源時(shí)分復(fù)用分配至相應(yīng)任務(wù)處理模型的任務(wù)處理過(guò)程，對(duì)視頻對(duì)象進(jìn)行相應(yīng)任務(wù)處理，形成相應(yīng)的對(duì)象描述信息；

步驟40，對(duì)優(yōu)化視頻進(jìn)行視頻編碼，將相應(yīng)的對(duì)象描述信息編碼并嵌入視頻碼流，形成源視頻的分級(jí)碼流；

步驟45，分級(jí)碼流按需輸出。

本實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法，將視頻優(yōu)化過(guò)程和視頻分析過(guò)程有機(jī)結(jié)合，在視頻分析過(guò)程中將視頻對(duì)象分析過(guò)程和視頻對(duì)象處理過(guò)程分布處理，充分兼顧了分析、處理負(fù)荷的平衡。并將優(yōu)化的視頻與各視頻對(duì)象的分析和處理結(jié)果信息通過(guò)編碼形式同步結(jié)合，使源視頻形成包含視頻內(nèi)容和各視頻對(duì)象相關(guān)信息的分級(jí)碼流。使得可以按需分發(fā)分級(jí)碼流的部分或全部，在傳輸帶寬和視頻信息量上取得均衡。

采用本方式可以避免相應(yīng)執(zhí)行硬件在大量視頻對(duì)象的差異化的任務(wù)處理過(guò)程中出現(xiàn)視頻對(duì)象間的，或任務(wù)處理過(guò)程間的資源競(jìng)爭(zhēng)或沖突，避免引入競(jìng)爭(zhēng)機(jī)制導(dǎo)致的效率成本。

本實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法，還包括：

步驟12，將視頻對(duì)象在同步視頻中的范圍形成對(duì)象坐標(biāo)信息；

步驟22，根據(jù)對(duì)象坐標(biāo)信息，對(duì)同步視頻中的圖像范圍進(jìn)行重點(diǎn)優(yōu)化；

步驟42，根據(jù)對(duì)象坐標(biāo)信息，對(duì)優(yōu)化視頻相應(yīng)范圍進(jìn)行視頻優(yōu)化編碼。

本實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法，根據(jù)預(yù)置分析模型形成的視頻對(duì)象對(duì)同步視頻中的圖像的相應(yīng)范圍進(jìn)行重點(diǎn)優(yōu)化，使其可視效果發(fā)生顯著變化，以適應(yīng)后續(xù)的觀察和分析，對(duì)優(yōu)化視頻中的相應(yīng)范圍視頻進(jìn)行優(yōu)化編碼，使得編碼質(zhì)量或編碼速率發(fā)生顯著變化，以適應(yīng)后續(xù)的碼流分發(fā)。

本實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法，還包括：

步驟32，根據(jù)視頻對(duì)象的類型，調(diào)整相應(yīng)任務(wù)處理模型。

本實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法，根據(jù)視頻對(duì)象的類型形成任務(wù)處理模型在任務(wù)類型、配置參數(shù)、處理順序和處理時(shí)長(zhǎng)等方面的調(diào)整，針對(duì)眾多視頻對(duì)象的一系列任務(wù)處理的并行突發(fā)的處理負(fù)荷進(jìn)行改善。

上述實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法中，將源視頻形成多路同步視頻，可以采用視頻同步分配的方式，也可以采用視頻緩存后，按需獲取的方式。

上述實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法中，同步視頻中的圖像可以是視頻中的(圖像)幀，或形成幀的(部分圖像)場(chǎng)。

上述實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法中，優(yōu)化與重點(diǎn)優(yōu)化采用并行進(jìn)行和/或串行進(jìn)行。可以加快優(yōu)化速度，提高優(yōu)化質(zhì)量，兩者結(jié)合可以平衡優(yōu)化效果與運(yùn)算負(fù)荷。

優(yōu)化包括將完整的幀或場(chǎng)的圖像特征進(jìn)行包括但不限于AEC(自動(dòng)曝光控制)、AGC(自動(dòng)增益控制)、AWB(自動(dòng)白平衡)、色彩校正、Lens Shading、Gamma校正、祛除壞點(diǎn)、影像壞點(diǎn)修補(bǔ)、白平衡、銳利度調(diào)整、顏色插值、Auto Black Level、Auto White Level等優(yōu)化處理，以及優(yōu)化處理的組合。

重點(diǎn)優(yōu)化包括將該(指定)范圍內(nèi)的圖像特征突出或弱化的優(yōu)化處理(例如包括優(yōu)化的處理)。使得既可以通過(guò)突出視頻對(duì)象的方式進(jìn)行優(yōu)化，也可以通過(guò)弱化背景對(duì)象的方式進(jìn)行優(yōu)化。

上述實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼方法中，視頻優(yōu)化編碼與視頻編碼采用并行進(jìn)行和/或串行進(jìn)行?？梢约涌靸?yōu)化速度，提高優(yōu)化質(zhì)量，兩者結(jié)合可以平衡優(yōu)化效果與運(yùn)算負(fù)荷。

視頻編碼包括根據(jù)預(yù)置的編碼策略對(duì)完整視頻進(jìn)行編碼壓縮、編碼優(yōu)化、碼流分級(jí)等過(guò)程，必然也包括編碼壓縮中的宏塊在幀間的矢量運(yùn)動(dòng)計(jì)算等常規(guī)的計(jì)算過(guò)程。

視頻優(yōu)化編碼包括將該(指定)范圍內(nèi)的視頻壓縮變?nèi)趸蜃儚?qiáng)的編碼策略。使得既可以通過(guò)提高視頻對(duì)象質(zhì)量的方式進(jìn)行優(yōu)化，也可以通過(guò)弱化背景對(duì)象質(zhì)量的方式進(jìn)行優(yōu)化。

上述的形成的視頻對(duì)象，為預(yù)置分析模型中可以識(shí)別的視頻場(chǎng)景中的界限、符號(hào)、范圍、物體等，進(jìn)一步包括但不限于車輛區(qū)域、車牌區(qū)域、人臉區(qū)域等，進(jìn)一步包括但不限于具有移動(dòng)、運(yùn)動(dòng)狀態(tài)的上述對(duì)象。

上述的處理資源包括但不限于計(jì)算資源、存儲(chǔ)資源、緩存資源、接口資源等軟硬件資源。

上述的任務(wù)處理模型，包括但不限于面部識(shí)別任務(wù)處理、車輛識(shí)別任務(wù)處理、行為識(shí)別任務(wù)處理、符號(hào)識(shí)別任務(wù)處理等。任務(wù)處理模型包括任務(wù)處理過(guò)程(例如算法)和過(guò)程控制參數(shù)。

任務(wù)處理過(guò)程和過(guò)程控制參數(shù)與具體的視頻對(duì)象配合，可以是一個(gè)視頻對(duì)象經(jīng)過(guò)多個(gè)任務(wù)處理過(guò)程處理，是多個(gè)視頻對(duì)象經(jīng)過(guò)一個(gè)任務(wù)處理過(guò)程處理。

形成的對(duì)象描述信息包括但不限于如車型、車牌、名字、尺寸、體積等信息。

上述對(duì)象坐標(biāo)信息，包括至少一個(gè)視頻對(duì)象的對(duì)象坐標(biāo)信息。

上述調(diào)整相應(yīng)任務(wù)處理，包括但不限于調(diào)整相應(yīng)任務(wù)處理模型參數(shù)和權(quán)重表等，任務(wù)處理模型的加載順序、加載時(shí)長(zhǎng)和加載優(yōu)先級(jí)等。將處理過(guò)程的序列化針對(duì)視頻對(duì)象和任務(wù)處理過(guò)程的并發(fā)合理優(yōu)化，充分利用運(yùn)算設(shè)備的處理資源，平緩?fù)话l(fā)處理負(fù)荷。

如圖2所示，本發(fā)明實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼架構(gòu)，包括神經(jīng)網(wǎng)絡(luò)處理器60、智能分析處理器70、圖像信號(hào)處理器80和視頻分級(jí)碼流編碼器90，其中：

神經(jīng)網(wǎng)絡(luò)處理器60，用于獲取視頻對(duì)象，任務(wù)處理模型以及同步視頻，將處理資源時(shí)分復(fù)用分配至相應(yīng)任務(wù)處理模型的任務(wù)處理過(guò)程，對(duì)視頻對(duì)象進(jìn)行相應(yīng)任務(wù)處理，形成相應(yīng)的對(duì)象描述信息；

智能分析處理器70，用于獲取同步視頻，根據(jù)預(yù)置分析模型，形成同步視頻中的視頻對(duì)象；

圖像信號(hào)處理器80，用于獲取同步視頻，根據(jù)預(yù)置優(yōu)化模型，對(duì)同步視頻中的圖像進(jìn)行優(yōu)化，形成優(yōu)化視頻；

視頻分級(jí)碼流編碼器90，用于對(duì)優(yōu)化視頻進(jìn)行視頻編碼，將相應(yīng)的對(duì)象描述信息編碼并嵌入視頻碼流，形成源視頻的分級(jí)碼流。

將對(duì)象的智能分析、任務(wù)處理和圖像優(yōu)化與編碼過(guò)程分離設(shè)置，可以利用NPU(神經(jīng)網(wǎng)絡(luò)處理器)的硬件特性分布配置功能模塊，使得硬件配置通用姓高，功能配置伸縮性強(qiáng)。

本發(fā)明實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼架構(gòu)，還包括視頻分配器50，將源視頻形成多路同步視頻。

本發(fā)明實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼架構(gòu)中，神經(jīng)網(wǎng)絡(luò)處理器60還包括模型參數(shù)調(diào)整裝置62，用于根據(jù)視頻對(duì)象的類型，調(diào)整相應(yīng)任務(wù)處理模型。

本發(fā)明實(shí)施例的時(shí)分復(fù)用神經(jīng)網(wǎng)絡(luò)處理器的視頻分級(jí)碼流編碼架構(gòu)中，智能分析處理器70還包括視頻對(duì)象捕捉裝置72，用于將視頻對(duì)象在同步視頻中的范圍形成對(duì)象坐標(biāo)信息；

圖像信號(hào)處理器80還包括圖像重點(diǎn)優(yōu)化裝置82，用于根據(jù)對(duì)象坐標(biāo)信息，對(duì)同步視頻中的圖像范圍進(jìn)行重點(diǎn)優(yōu)化；

視頻分級(jí)碼流編碼器90還包括視頻優(yōu)化編碼裝置92，用于根據(jù)對(duì)象坐標(biāo)信息，對(duì)優(yōu)化視頻相應(yīng)范圍進(jìn)行視頻優(yōu)化編碼。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。