本發(fā)明涉及數(shù)據(jù)處理方法和處理裝置,具體涉及一種顯示數(shù)據(jù)的處理方法及處理裝置。
背景技術(shù):
視頻傳輸需要消耗大量帶寬,在視頻監(jiān)控領(lǐng)域,實(shí)時(shí)的高清碼流消耗帶寬和系統(tǒng)處理資源最大。因此在現(xiàn)有技術(shù)中,通常采用對(duì)源視頻編碼壓縮處理分別形成適合實(shí)時(shí)傳輸?shù)牡退俾蚀a流和適合延時(shí)傳輸?shù)母咚俾蚀a流來解決帶寬問題。但是僅利用碼流速率適配帶寬并不能保證視頻中信息的實(shí)時(shí)可靠傳輸。當(dāng)碼流降低時(shí)視頻中攜帶的信息質(zhì)量也相應(yīng)降低甚至無法使用。采用不同的編碼方式將視頻中的信息與相應(yīng)的視頻進(jìn)行分別編碼,并形成源視頻的分級(jí)碼流是可行的。現(xiàn)有技術(shù)中,視頻編碼器,沒有抽象層子碼流,不能接收外部傳感器的多源信息,即無法根據(jù)外部傳感器的信息對(duì)視頻進(jìn)行相應(yīng)的編碼處理。
外部傳感器提供的多源信息能夠使視頻對(duì)象的描述更加準(zhǔn)確,但在現(xiàn)有技術(shù)中,多源數(shù)據(jù)無法應(yīng)用到視頻對(duì)象的描述中,從而導(dǎo)致視頻對(duì)象的描述不夠準(zhǔn)確、全面。
傳統(tǒng)的視頻編碼器與運(yùn)動(dòng)分析模塊相互獨(dú)立,編碼器計(jì)算出的運(yùn)動(dòng)向量僅供編碼器內(nèi)部使用,運(yùn)動(dòng)分析模塊如需運(yùn)動(dòng)向量數(shù)據(jù)只能在其模塊內(nèi)部重新計(jì)算,通過運(yùn)動(dòng)搜索獲得運(yùn)動(dòng)向量需耗費(fèi)大量資源。傳統(tǒng)的運(yùn)動(dòng)分析模塊即為本發(fā)明實(shí)施例中的智能分析模塊。
視頻分級(jí)碼流的處理方法有利于降低網(wǎng)絡(luò)延時(shí)、帶寬變化以及信道丟包對(duì)視頻傳輸?shù)挠绊?,提高視頻的重建質(zhì)量。
技術(shù)實(shí)現(xiàn)要素:
有鑒于此,本發(fā)明實(shí)施例提供了一種支持多源數(shù)據(jù)融合的視頻分級(jí)編碼方法,解決了現(xiàn)有視頻編碼器不具備接收外部多源傳感器信息功能的問題,同時(shí)解決了現(xiàn)有視頻編碼器和運(yùn)動(dòng)分析模塊相互獨(dú)立導(dǎo)致運(yùn)動(dòng)向量不能共用的問題。
本發(fā)明實(shí)施例提供了一種支持多源數(shù)據(jù)融合的視頻分級(jí)編碼架構(gòu),適用于視頻處理系統(tǒng),解決了現(xiàn)有視頻編碼器裝置不能接收外部傳感器信息且工作效率低下、不能有效突出重點(diǎn)信息等問題。
本發(fā)明的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼方法,適用于視頻處理系統(tǒng),所述方法包括:
步驟10,獲取外部傳感器多源信息和同步視頻,根據(jù)預(yù)置分析模型,形成同步視頻中的視頻對(duì)象,將多源信息與相應(yīng)的視頻對(duì)象相結(jié)合,形成對(duì)象描述信息;
步驟20,獲取分配的同步視頻,根據(jù)預(yù)置優(yōu)化模型,對(duì)同步視頻中的圖像進(jìn)行優(yōu)化,形成優(yōu)化視頻;
步驟40,對(duì)優(yōu)化視頻進(jìn)行視頻編碼,將相應(yīng)的對(duì)象描述信息編碼并嵌入視頻碼流,形成源視頻的分級(jí)碼流。
還包括:
步驟12,將視頻對(duì)象在同步視頻中的范圍形成對(duì)象坐標(biāo)信息;
步驟22,根據(jù)對(duì)象坐標(biāo)信息,對(duì)同步視頻中的圖像范圍進(jìn)行重點(diǎn)優(yōu)化。
還包括:
步驟12,將視頻對(duì)象在同步視頻中的范圍形成對(duì)象坐標(biāo)信息;
步驟42,根據(jù)對(duì)象坐標(biāo)信息,對(duì)優(yōu)化視頻相應(yīng)范圍進(jìn)行視頻優(yōu)化編碼。
所述優(yōu)化與重點(diǎn)優(yōu)化采用并行進(jìn)行和/或串行進(jìn)行,所述視頻優(yōu)化編碼與視頻編碼采用并行進(jìn)行和/或串行進(jìn)行。
本發(fā)明的支持多源數(shù)據(jù)融合的視頻分級(jí)碼流編碼架構(gòu),包括智能分析處理器、圖像信號(hào)處理器和視頻分級(jí)碼流編碼器,其中:
智能分析處理器,用于獲取外部傳感器多源信息和同步視頻,根據(jù)預(yù)置分析模型,形成同步視頻中的視頻對(duì)象,將多源信息與相應(yīng)的視頻對(duì)象相結(jié)合,形成對(duì)象描述信息;
圖像信號(hào)處理器,用于獲取分配的同步視頻,根據(jù)預(yù)置優(yōu)化模型,對(duì)同步視頻中的圖像進(jìn)行優(yōu)化,形成優(yōu)化視頻;
視頻分級(jí)碼流編碼器,用于對(duì)優(yōu)化視頻進(jìn)行視頻編碼,將相應(yīng)的對(duì)象描述信息編碼并嵌入視頻碼流,形成源視頻的分級(jí)碼流。
所述智能分析處理器還包括:
獲取多源信息裝置,用于獲取外部傳感器多源信息;
形成視頻對(duì)象裝置,用于根據(jù)預(yù)置分析模型,形成同步視頻中的視頻對(duì)象,并將視頻對(duì)象在同步視頻中的范圍形成對(duì)象坐標(biāo)信息;
對(duì)象描述信息裝置,用于將多源信息與相應(yīng)的視頻對(duì)象相結(jié)合,形成對(duì)象描述信息。
所述圖像信號(hào)處理器還包括圖像重點(diǎn)優(yōu)化裝置,用于根據(jù)對(duì)象坐標(biāo)信息,對(duì)同步視頻中的圖像范圍進(jìn)行重點(diǎn)優(yōu)化。
所述視頻分級(jí)碼流編碼器還包括視頻優(yōu)化編碼裝置,用于根據(jù)對(duì)象坐標(biāo)信息,對(duì)優(yōu)化視頻相應(yīng)范圍進(jìn)行視頻優(yōu)化編碼。
本發(fā)明實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼方法,將外部傳感器接收的多源數(shù)據(jù)信息與優(yōu)化的視頻通過編碼進(jìn)行同步結(jié)合,使源視頻形成包含視頻內(nèi)容和多源數(shù)據(jù)信息相關(guān)信息的分級(jí)碼流。使得可以按需分發(fā)分級(jí)碼流的部分或全部,在傳輸帶寬和視頻信息量上取得均衡。將視頻優(yōu)化過程和視頻分析過程有機(jī)結(jié)合,在視頻分析過程中將視頻對(duì)象分析過程和視頻對(duì)象處理過程分布處理,充分兼顧了分析、處理負(fù)荷的均衡。
本發(fā)明實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼架構(gòu),形成了合理的編碼分布式架構(gòu),將對(duì)象智能分析,對(duì)象處理和編碼功能分布設(shè)置,避免了數(shù)據(jù)處理負(fù)荷無法分擔(dān)的缺陷。
附圖說明
圖1為本發(fā)明支持多源數(shù)據(jù)融合的視頻分級(jí)編碼方法實(shí)施例的流程圖;
圖2位本發(fā)明支持多源數(shù)據(jù)融合的視頻分級(jí)編碼架構(gòu)實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。圖紙中的步驟編號(hào)僅用于作為該步驟的附圖標(biāo)記,不表示執(zhí)行順序。
如圖1所示,本發(fā)明實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼方法,包括:
步驟05,將源視頻形成多路同步視頻;
步驟10,獲取外部傳感器多源信息和同步視頻,根據(jù)預(yù)置分析模型,形成同步視頻中的視頻對(duì)象,將多源信息與相應(yīng)的視頻對(duì)象相結(jié)合,形成對(duì)象描述信息;
步驟20,獲取分配的同步視頻,根據(jù)預(yù)置優(yōu)化模型,對(duì)同步視頻中的圖像進(jìn)行優(yōu)化,形成優(yōu)化視頻;
步驟40,對(duì)優(yōu)化視頻進(jìn)行視頻編碼,將相應(yīng)的對(duì)象描述信息編碼并嵌入視頻碼流,形成源視頻的分級(jí)碼流;
步驟45,分級(jí)碼流按需輸出。
本實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼方法,還包括:
步驟12,將視頻對(duì)象在同步視頻中的范圍形成對(duì)象坐標(biāo)信息;
步驟22,根據(jù)對(duì)象坐標(biāo)信息,對(duì)同步視頻中的圖像范圍進(jìn)行重點(diǎn)優(yōu)化;
步驟42,根據(jù)對(duì)象坐標(biāo)信息,對(duì)優(yōu)化視頻相應(yīng)范圍進(jìn)行視頻優(yōu)化編碼。
獲取外部傳感器的多源信息,多源信息包含外部傳感器給出的光線信息、報(bào)警信息、文字信息、特殊圖像信息等,具體包括ETC卡口信息、電子車牌卡口信息、公交/地鐵刷卡信息、紅外/激光探測儀信息等信息。
獲取外部傳感器的多源信息,當(dāng)多源信息經(jīng)過智能分析后發(fā)現(xiàn)信息中包含報(bào)警信息時(shí),視頻編碼裝置既可以將報(bào)警信息按照普通信息方式處理,也可對(duì)報(bào)警信息采用特殊編碼方式,形成分級(jí)碼流輸出。
獲取視頻數(shù)據(jù)信息,同時(shí)對(duì)外部傳感器的多源信息進(jìn)行智能分析,并形成抽象描述的過程中,智能分析過程根據(jù)外部傳感器給出的多源信息,對(duì)視頻數(shù)據(jù)采取重點(diǎn)突出處理,如車輛區(qū)域、車牌區(qū)域、人臉區(qū)域等,進(jìn)一步包括但不限于具有移動(dòng)、運(yùn)動(dòng)狀態(tài)的上述對(duì)象。
經(jīng)過智能分析模塊重點(diǎn)突出的視頻區(qū)域,采用圖像信息處理裝置對(duì)重點(diǎn)視頻區(qū)域進(jìn)行圖像增強(qiáng)、去噪、壞點(diǎn)修補(bǔ)等優(yōu)化手段,使得重點(diǎn)區(qū)域優(yōu)化后的視頻圖像更加有利于智能分析過程中對(duì)視頻圖像的處理。
對(duì)視頻進(jìn)行優(yōu)化處理包括但不限于進(jìn)行影像壞點(diǎn)修補(bǔ)、白平衡、gamma校正、銳利度、顏色插值等,提高視頻質(zhì)量。
本實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼方法,將視頻優(yōu)化過程和視頻分析過程有機(jī)結(jié)合,在視頻分析過程中將視頻對(duì)象分析過程和多源信息獲取過程分布處理,充分兼顧了分析、處理負(fù)荷的平衡。并將優(yōu)化的視頻與外部傳感器獲取的多源信息通過編碼形式同步結(jié)合,使源視頻形成包含視頻內(nèi)容和外部傳感器獲取的多源信息有關(guān)的分級(jí)碼流。使得可以按需分發(fā)分級(jí)碼流的部分或全部,在傳輸帶寬和視頻信息量上取得均衡。
上述實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼方法中,將源視頻形成多路同步視頻,可以采用視頻同步分配的方式,也可以采用視頻緩存后,按需獲取的方式。
上述實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼方法中,同步視頻中的圖像可以是視頻中的(圖像)幀,或形成幀的(部分圖像)場。
上述實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼方法中,優(yōu)化與重點(diǎn)優(yōu)化采用并行進(jìn)行和/或串行進(jìn)行。同步可以加快優(yōu)化速度,異步可以提高優(yōu)化質(zhì)量,兩者結(jié)合可以平衡優(yōu)化效果與運(yùn)算負(fù)荷。
優(yōu)化包括將完整的幀或場的圖像特征進(jìn)行包括但不限于AEC(自動(dòng)曝光控制)、AGC(自動(dòng)增益控制)、AWB(自動(dòng)白平衡)、色彩校正、Lens Shading、Gamma校正、祛除壞點(diǎn)、影像壞點(diǎn)修補(bǔ)、白平衡、銳利度調(diào)整、顏色插值、Auto Black Level、Auto White Level等優(yōu)化處理,以及優(yōu)化處理的組合。
重點(diǎn)優(yōu)化包括將該(指定)范圍內(nèi)的圖像特征突出或弱化的處理(例如包括優(yōu)化的處理)。使得既可以通過突出視頻對(duì)象的方式進(jìn)行優(yōu)化,也可以通過弱化背景對(duì)象的方式進(jìn)行優(yōu)化。
上述實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼方法中,視頻優(yōu)化編碼與視頻編碼采用并行進(jìn)行和/或串行進(jìn)行。同步可以加快優(yōu)化速度,異步可以提高優(yōu)化質(zhì)量,兩者結(jié)合可以平衡優(yōu)化效果與運(yùn)算負(fù)荷。
視頻編碼包括根據(jù)預(yù)置的編碼策略對(duì)完整視頻進(jìn)行編碼壓縮、編碼優(yōu)化、碼流分級(jí)等過程,必然也包括編碼壓縮中的塊在幀間的矢量運(yùn)動(dòng)計(jì)算等計(jì)算過程。
視頻優(yōu)化編碼包括將該(指定)范圍內(nèi)的視頻壓縮變?nèi)趸蜃儚?qiáng)的編碼策略。使得既可以通過提高視頻對(duì)象質(zhì)量的方式進(jìn)行優(yōu)化,也可以通過弱化背景對(duì)象質(zhì)量的方式進(jìn)行優(yōu)化。
上述的形成的視頻對(duì)象,為預(yù)置分析模型中可以識(shí)別的視頻場景中的界限、符號(hào)、范圍、物體等,進(jìn)一步包括但不限于車輛區(qū)域、車牌區(qū)域、人臉區(qū)域等,進(jìn)一步包括但不限于具有移動(dòng)、運(yùn)動(dòng)狀態(tài)的上述對(duì)象。
形成的對(duì)象描述信息包括但不限于如車型、車牌、名字、尺寸、體積、報(bào)警等信息。
上述對(duì)象坐標(biāo)信息,包括至少一個(gè)視頻對(duì)象的對(duì)象坐標(biāo)信息。
如圖2所示,本發(fā)明實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼架構(gòu),包括智能分析處理器70、圖像信號(hào)處理器80和視頻分級(jí)碼流編碼器90,其中:
智能分析處理器70,用于獲取外部傳感器多源信息和同步視頻,根據(jù)預(yù)置分析模型,形成同步視頻中的視頻對(duì)象,將多源信息與相應(yīng)的視頻對(duì)象相結(jié)合,形成對(duì)象描述信息;
圖像信號(hào)處理器80,用于獲取分配的同步視頻,根據(jù)預(yù)置優(yōu)化模型,對(duì)同步視頻中的圖像進(jìn)行優(yōu)化,形成優(yōu)化視頻;
視頻分級(jí)碼流編碼器90,用于對(duì)優(yōu)化視頻進(jìn)行視頻編碼,將相應(yīng)的對(duì)象描述信息編碼并嵌入視頻碼流,形成源視頻的分級(jí)碼流。
本發(fā)明實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼架構(gòu),還包括視頻分配器50,將源視頻形成多路同步視頻。
本發(fā)明實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼架構(gòu)中,智能分析處理器70還包括:
獲取多源信息裝置(71),用于獲取外部傳感器多源信息;
形成視頻對(duì)象裝置(72),用于根據(jù)預(yù)置分析模型,形成同步視頻中的視頻對(duì)象,并將視頻對(duì)象在同步視頻中的范圍形成對(duì)象坐標(biāo)信息;
對(duì)象描述信息裝置(73),用于將多源信息與相應(yīng)的視頻對(duì)象相結(jié)合,形成對(duì)象描述信息。
圖像信號(hào)處理器80還包括圖像重點(diǎn)優(yōu)化裝置82,用于根據(jù)對(duì)象坐標(biāo)信息,對(duì)同步視頻中的圖像范圍進(jìn)行重點(diǎn)優(yōu)化;
視頻分級(jí)碼流編碼器90還包括視頻優(yōu)化編碼裝置92,用于根據(jù)對(duì)象坐標(biāo)信息,對(duì)優(yōu)化視頻相應(yīng)范圍進(jìn)行視頻優(yōu)化編碼。
本實(shí)施例的支持多源數(shù)據(jù)融合的視頻分級(jí)編碼方法和裝置,將視頻優(yōu)化過程和視頻分析過程有機(jī)結(jié)合,充分兼顧了分析、處理負(fù)荷的平衡。并將優(yōu)化的視頻與外部傳感器接收的多源信息通過編碼形式同步結(jié)合,使源視頻形成包含視頻內(nèi)容和各視頻對(duì)象相關(guān)信息的分級(jí)碼流。并且可以按需分發(fā)分級(jí)碼流的部分或全部,在傳輸帶寬和視頻信息量上取得均衡。
以上所述僅為本發(fā)明的較佳實(shí)施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。