背景技術:
隨著直播行業(yè)的快速發(fā)展,越來越多的人開始作為主播進入直播行業(yè),在不斷豐富觀眾多樣化觀看需求的同時,也造成直播行業(yè)內主播生產的直播內容良莠不齊,例如,某些主播為了提高人氣,鋌而走險,在直播平臺上傳播淫穢色情內容,不但違反法律,而且在社會上造成極為惡劣的影響,因此,直播平臺都會引入大量的審核人員,對直播平臺上的直播內容進行監(jiān)控。但是,人工審核效率低,成本高,審核人員的工作負荷大,有時難以及時發(fā)現(xiàn)色情內容,隨著直播內容的快速增長,直播平臺在直播內容審核方面面臨巨大的壓力。
技術實現(xiàn)要素:
針對現(xiàn)有技術中存在的缺陷,本發(fā)明的主要目的在于提供一種基于延時傳送的直播色情內容審核系統(tǒng),本發(fā)明的另一目的在于提供一種基于延時傳送的直播色情內容審核方法,能夠減少直播平臺在直播視頻的審核環(huán)節(jié)的人員投入,降低人工成本,在確保較高的審核準確率的同時,提高審核效率。
本發(fā)明提供一種基于延時傳送的直播色情內容審核系統(tǒng),通過客戶端與直播網站的直播內容服務器進行視頻傳輸,所述系統(tǒng)包括采集模塊、抽樣模塊、分析模塊和內容審核系統(tǒng)服務器;
采集模塊,其包括緩存隊列,采集模塊用于采集直播視頻,將采集到的直播視頻存入緩存隊列,并將緩存隊列中預設時長的直播視頻發(fā)送到直播內容服務器;
抽樣模塊,用于從緩存隊列中按照直播視頻的采集時間順序依次提取視頻幀作為關鍵幀,相鄰關鍵幀的時間間隔為預設的抽樣間隔;
分析模塊,用于持續(xù)地從抽樣模塊獲取關鍵幀,對關鍵幀進行圖像分析,將包括敏感特征的關鍵幀發(fā)送到內容審核系統(tǒng)服務器;
內容審核系統(tǒng)服務器,其包括控制模塊和數(shù)據庫,控制模塊用于將接收的關鍵幀存入數(shù)據庫,將審核人員判定為非色情內容的關鍵幀刪除,將判定為色情內容的關鍵幀所對應的直播視頻的停止播出信息發(fā)送到直播內容服務器。
在上述技術方案的基礎上,所述緩存模塊、抽樣模塊和分析模塊均設于客戶端中。
在上述技術方案的基礎上,敏感特征從預先收集的人體裸露敏感部位樣本中訓練得到;
所述分析模塊包括膚色檢測單元和特征檢測單元;
膚色檢測單元用于對所述關鍵幀平滑去噪,通過皮膚檢測模型篩選出包括人體皮膚的關鍵幀;
特征檢測單元用于將膚色檢測單元篩選出的關鍵幀與敏感特征進行比較,將包括敏感特征的關鍵幀發(fā)送到內容審核系統(tǒng)服務器。
在上述技術方案的基礎上,所述分析模塊還包括人頭檢測單元,所述人頭檢測單元用于對膚色檢測單元篩選出的關鍵幀與人眼特征進行比較,人眼特征從預先收集的人頭樣本中訓練得到,對包括人眼特征的關鍵幀進行標記;
特征檢測單元還用于篩選出包括可疑的敏感特征的關鍵幀,判定未標記的所述關鍵幀包括敏感特征;判斷標記的所述關鍵幀中人眼特征和敏感特征所在的區(qū)域是否相同,若是,判定該關鍵幀不包括敏感特征;若否,判定該關鍵幀包括敏感特征。
在上述技術方案的基礎上,皮膚檢測模型包括人體膚色檢測算法、形態(tài)學分析和連通域分析。
本發(fā)明還提供一種基于延時傳送的直播色情內容審核方法,其特征在于,包括步驟:
S1.采集模塊采集直播視頻,將采集到的直播視頻存入緩存隊列;
S2a.采集模塊將緩存隊列中預設時長的直播視頻發(fā)送到直播內容服務器;
S2b.抽樣模塊從緩存隊列中按照直播視頻的采集時間順序依次提取視頻幀作為關鍵幀,相鄰關鍵幀的時間間隔為預設的抽樣間隔,進入S3;
S3.分析模塊持續(xù)地從抽樣模塊獲取關鍵幀,對關鍵幀進行圖像分析,將包括敏感特征的關鍵幀發(fā)送到內容審核系統(tǒng)服務器;
S4.控制模塊將接收的關鍵幀存入數(shù)據庫,將審核人員判定為非色情內容的關鍵幀刪除,將判定為色情內容的關鍵幀所對應的直播視頻的停止播出信息發(fā)送到直播內容服務器。
在上述技術方案的基礎上,步驟S2b具體包括:
S2b.1抽樣模塊從緩存隊列里的直播視頻中分別獲取起始視頻幀和當前視頻幀的采集時間,將起始視頻幀作為上次抽樣視頻幀;
S2b.2計算直播視頻的時長,所述時長的計算依據公式:時長=當前視頻幀的采集時間-上次抽樣視頻幀的采集時間;
S2b.3判斷所述時長是否達到或者超過預設的抽樣間隔,若是,進入S2b.4;若否,進入S2b.5;
S2b.4從直播視頻中提取一視頻幀作為關鍵幀,該關鍵幀的采集時間與上次抽樣視頻幀的采集時間的時間間隔為預設的抽樣間隔;
S2b.5從緩存隊列里的直播視頻中獲取當前視頻幀的采集時間;
S2b.6判斷當前視頻幀的采集時間與上次抽樣視頻幀的采集時間是否相同,若是,結束;若否,進入S2b.2。
在上述技術方案的基礎上,所述分析模塊包括膚色檢測單元、特征檢測單元和人頭檢測單元;膚色檢測單元包括皮膚檢測模型;人頭檢測單元包括人眼特征,人眼特征從預先收集的人頭樣本中訓練得到;
步驟S3包括:
S3.1從抽樣模塊獲取一關鍵幀作為當前關鍵幀;
S3.2膚色檢測單元對當前關鍵幀平滑去噪,通過皮膚檢測模型判斷當前關鍵幀是否包括人體皮膚,若是,進入S3.3;若否,進入S3.6;
S3.3特征檢測單元將當前關鍵幀與敏感特征進行比較,篩選出包括可疑的敏感特征的關鍵幀;人頭檢測單元將當前關鍵幀與人眼特征進行比較,對包括人眼特征的關鍵幀進行標記,特征檢測單元判定未標記的所述關鍵幀包括敏感特征;
S3.4特征檢測單元判斷標記的所述關鍵幀中人眼特征和敏感特征所在的區(qū)域是否相同,若是,進入S3.8;若否,進入S3.5;
S3.5特征檢測單元將當前關鍵幀發(fā)送到內容審核系統(tǒng)服務器;
S3.6判斷抽樣模塊中是否有當前關鍵幀的下一個關鍵幀,若是,進入S3.7;若否,結束;
S3.7將下一個關鍵幀作為更新后的關鍵幀,進入S3.2;
S3.8判定該關鍵幀不包括敏感特征。
在上述技術方案的基礎上,步驟S4包括:
控制模塊將接收的關鍵幀存入數(shù)據庫,統(tǒng)計存儲的所述關鍵幀的總數(shù);
判斷所述關鍵幀的總數(shù)是否達到預設的審核閾值,若是,將所有關鍵幀發(fā)送給審核人員;若否,忽略該總數(shù);
將審核人員判定為非色情內容的關鍵幀刪除,將判定為色情內容的關鍵幀所對應的直播視頻的停止播出信息發(fā)送到直播內容服務器。
與現(xiàn)有技術相比,本發(fā)明的優(yōu)點如下:
(1)本發(fā)明采用自動檢測結合人工復檢的方式,能夠減少直播平臺在直播視頻的審核環(huán)節(jié)的人員投入,降低人工成本,減輕審核人員的工作負荷,而且誤檢率極低,在確保較高的審核準確率的同時,提高審核效率。
(2)本發(fā)明將直播視頻存入緩存隊列,從緩存隊列里的直播視頻中篩選出包括敏感特征的關鍵幀,同時,直播視頻被發(fā)送到直播內容服務器,直播內容服務器根據接收到的停止播出信息,不播出判定為色情內容的關鍵幀所對應的直播視頻,由于緩存隊列的延時作用,能夠及時阻斷色情內容的傳播。
(3)本發(fā)明將直播視頻存入緩存隊列,由于對關鍵幀的提取和分析都在客戶端進行,只將包括敏感特征的關鍵幀發(fā)送到內容審核系統(tǒng)服務器,然后進行人工審核,因此,極大地降低了客戶端和內容審核系統(tǒng)服務器之間的視頻傳輸量和傳輸時間,而且減輕了內容審核系統(tǒng)服務器的負荷,進一步提高了審核效率,降低直播平臺的成本。
附圖說明
圖1是本發(fā)明實施例基于延時傳送的直播色情內容審核系統(tǒng)示意圖;
圖2是本發(fā)明實施例基于延時傳送的直播色情內容審核方法流程圖;
圖3是步驟S2b的具體流程圖;
圖4是步驟S3的具體流程圖。
附圖標記:
采集模塊1,抽樣模塊2,分析模塊3,內容審核系統(tǒng)服務器4,控制模塊41,數(shù)據庫42。
具體實施方式
術語說明:
延時傳送:將視頻幀緩存在服務器中,達到一定的緩存時間再傳送給用戶。
圖像處理:通過獲取圖像,對圖像進行特征提取、特征變換、圖像識別等操作,從圖像中抽取某些有用的度量、數(shù)據或信息。
直播色情內容:在直播平臺上進行直播的主播,以人體裸露為主要訴求的訊息,其目的在于挑逗引發(fā)直播觀眾性欲的,都屬于直播色情內容。
下面結合附圖及具體實施例對本發(fā)明作進一步的詳細描述。
參見圖1所示,本發(fā)明實施例提供一種基于延時傳送的直播色情內容審核系統(tǒng),通過客戶端與直播網站的直播內容服務器進行視頻傳輸,本系統(tǒng)包括采集模塊1、抽樣模塊2、分析模塊3和內容審核系統(tǒng)服務器4。
采集模塊1,其包括緩存隊列,采集模塊1用于采集直播視頻,將采集到的直播視頻存入緩存隊列,并將緩存隊列中預設時長的直播視頻發(fā)送到直播內容服務器。
抽樣模塊2,用于從緩存隊列中按照直播視頻的采集時間順序依次提取視頻幀作為關鍵幀,相鄰關鍵幀的時間間隔為預設的抽樣間隔。
分析模塊3,用于持續(xù)地從抽樣模塊2獲取關鍵幀,對關鍵幀進行圖像分析,將包括敏感特征的關鍵幀發(fā)送到內容審核系統(tǒng)服務器4。
分析模塊3包括膚色檢測單元和特征檢測單元。
膚色檢測單元用于對關鍵幀平滑去噪,通過皮膚檢測模型篩選出包括人體皮膚的關鍵幀。
皮膚檢測模型包括人體膚色檢測算法、形態(tài)學分析和連通域分析。
人體膚色檢測算法主要是根據人體皮膚在YCrCb顏色空間中呈近似橢圓的模型分布,通過對大量膚色樣本的統(tǒng)計,擬合出滿足膚色橢圓模型的參數(shù),后續(xù)判斷時,只需判斷該位置的顏色信息是否在此橢圓模型中。
初步檢測出的膚色區(qū)域可能出現(xiàn)空洞和不連續(xù)的情況,膚色區(qū)域也不是特別完整,通過形態(tài)學分析,可以對這些空洞和不連續(xù)進行填充,最終得到具有連通團塊的掩膜圖像,形態(tài)學分析包括腐蝕和膨脹操作。
連通域分析用于檢測掩膜圖像中的連通團塊的面積,刪掉面積小的連通團塊,面積小的連通團塊可能是光照變化帶來的誤檢,刪除后對后續(xù)分析影響不大。
特征檢測單元用于將膚色檢測單元篩選出的關鍵幀與敏感特征進行比較,將包括敏感特征的關鍵幀發(fā)送到內容審核系統(tǒng)服務器4。
由于一般的直播色情內容包括人體裸露敏感部位,本發(fā)明使用人體皮膚掩膜可以排除大部分的非色情直播內容,顯著提高分析模塊3的篩選效率。
敏感特征從預先收集的人體裸露敏感部位樣本中訓練得到。
敏感特征可以采用Adaboost迭代算法訓練得到人體裸露敏感部位的模型作為敏感特征,結合人體皮膚掩膜,將訓練得到的敏感特征在關鍵幀中進行滑動對比,得到人體皮膚掩膜中是否包括敏感特征。
由于人體乳房部位與人體眼睛區(qū)域比較容易產生誤檢,為了提高分析模塊3的準確率,可以增加一個人頭檢測單元,通過對頭部的檢測,可以排除由于雙眼導致的誤檢。
具體的,分析模塊3還包括人頭檢測單元,人頭檢測單元用于對膚色檢測單元篩選出的關鍵幀與人眼特征進行比較,人眼特征從預先收集的人頭樣本中訓練得到,人頭檢測單元對包括人眼特征的關鍵幀進行標記。
對大量直播場景中的人頭樣本采用Adaboost迭代算法進行訓練,得到一個人頭的模型作為人眼特征,將人眼特征在關鍵幀中進行滑動對比,檢測關鍵幀中是否有人頭及人眼。
特征檢測單元還用于篩選出包括可疑的敏感特征的關鍵幀,判定未標記的關鍵幀包括敏感特征;判斷標記的關鍵幀中人眼特征和敏感特征所在的區(qū)域是否相同,若是,判定該關鍵幀不包括敏感特征;若否,判定該關鍵幀包括敏感特征。
本發(fā)明可以通過膚色檢測單元篩選出包括人體皮膚的關鍵幀,然后通過特征檢測單元將該關鍵幀與敏感特征進行比較,將包括敏感特征的關鍵幀發(fā)送到內容審核系統(tǒng)服務器4,或者,通過膚色檢測單元篩選出包括人體皮膚的關鍵幀,分別通過人頭檢測單元和特征檢測單元對包括人體皮膚的關鍵幀進行進一步篩選,對于僅包括敏感特征的關鍵幀,判定該關鍵幀包括敏感特征;對于同時包括人眼特征和敏感特征的關鍵幀,比較人眼特征和敏感特征所在的區(qū)域是否相同,若是,判定該關鍵幀不包括敏感特征;若否,判定該關鍵幀包括敏感特征。
緩存模塊、抽樣模塊2和分析模塊3均設于客戶端中。
本發(fā)明將直播視頻存入緩存隊列,從緩存隊列里的直播視頻中篩選出包括敏感特征的關鍵幀,同時,直播視頻被發(fā)送到直播內容服務器,直播內容服務器根據接收到的停止播出信息,不播出判定為色情內容的關鍵幀所對應的直播視頻,由于緩存隊列的延時作用,能夠及時阻斷色情內容的傳播。
內容審核系統(tǒng)服務器4,其包括控制模塊41和數(shù)據庫42,控制模塊41用于將接收的關鍵幀存入數(shù)據庫42,將審核人員判定為非色情內容的關鍵幀刪除,將判定為色情內容的關鍵幀所對應的直播視頻的停止播出信息發(fā)送到直播內容服務器。
本發(fā)明將直播視頻存入緩存隊列,由于對關鍵幀的提取和分析都在客戶端進行,只將包括敏感特征的關鍵幀發(fā)送到內容審核系統(tǒng)服務器4,然后進行人工審核,因此,極大地降低了客戶端和內容審核系統(tǒng)服務器4之間的視頻傳輸量和傳輸時間,而且減輕了內容審核系統(tǒng)服務器4的負荷,進一步提高了審核效率,降低直播平臺的成本。
參見圖2所示,本發(fā)明實施例提供一種基于延時傳送的直播色情內容審核方法,包括步驟:
S1.采集模塊1采集直播視頻,將采集到的直播視頻存入緩存隊列。
S2a.采集模塊1將緩存隊列中預設時長的直播視頻發(fā)送到直播內容服務器。
S2b.抽樣模塊2從緩存隊列中按照直播視頻的采集時間順序依次提取視頻幀作為關鍵幀,相鄰關鍵幀的時間間隔為預設的抽樣間隔,進入S3,且步驟S2a和S2b同時進行。
參見圖3所示,步驟S2b具體包括:
S2b.1抽樣模塊2從緩存隊列里的直播視頻中分別獲取起始視頻幀和當前視頻幀的采集時間,將起始視頻幀作為上次抽樣視頻幀。
S2b.2計算直播視頻的時長,時長的計算依據公式:時長=當前視頻幀的采集時間-上次抽樣視頻幀的采集時間。
S2b.3判斷時長是否達到或者超過預設的抽樣間隔,若是,進入S2b.4;若否,進入S2b.5。
S2b.4從直播視頻中提取一視頻幀作為關鍵幀,該關鍵幀的采集時間與上次抽樣視頻幀的采集時間的時間間隔為預設的抽樣間隔。
S2b.5從緩存隊列里的直播視頻中獲取當前視頻幀的采集時間。
S2b.6判斷當前視頻幀的采集時間與上次抽樣視頻幀的采集時間是否相同,若是,結束;若否,進入S2b.2。
S3.分析模塊3持續(xù)地從抽樣模塊2獲取關鍵幀,對關鍵幀進行圖像分析,將包括敏感特征的關鍵幀發(fā)送到內容審核系統(tǒng)服務器4。
分析模塊3包括膚色檢測單元、特征檢測單元和人頭檢測單元;膚色檢測單元包括皮膚檢測模型;人頭檢測單元包括人眼特征,人眼特征從預先收集的人頭樣本中訓練得到。
皮膚檢測模型包括人體膚色檢測算法、形態(tài)學分析和連通域分析。
人體膚色檢測算法主要是根據人體皮膚在YCrCb顏色空間中呈近似橢圓的模型分布,通過對大量膚色樣本的統(tǒng)計,擬合出滿足膚色橢圓模型的參數(shù),后續(xù)判斷時,只需判斷該位置的顏色信息是否在此橢圓模型中。
初步檢測出的膚色區(qū)域可能出現(xiàn)空洞和不連續(xù)的情況,膚色區(qū)域也不是特別完整,通過形態(tài)學分析,可以對這些空洞和不連續(xù)進行填充,最終得到具有連通團塊的掩膜圖像,形態(tài)學分析包括腐蝕和膨脹操作。
連通域分析用于檢測掩膜圖像中的連通團塊的面積,刪掉面積小的連通團塊,面積小的連通團塊可能是光照變化帶來的誤檢,刪除后對后續(xù)分析影響不大。
參見圖4所示,步驟S3包括:
S3.1從抽樣模塊2獲取一關鍵幀作為當前關鍵幀。
S3.2膚色檢測單元對當前關鍵幀平滑去噪,通過皮膚檢測模型判斷當前關鍵幀是否包括人體皮膚,若是,進入S3.3;若否,進入S3.6。
S3.3特征檢測單元將當前關鍵幀與敏感特征進行比較,篩選出包括可疑的敏感特征的關鍵幀;人頭檢測單元將當前關鍵幀與人眼特征進行比較,對包括人眼特征的關鍵幀進行標記,特征檢測單元判定未標記的關鍵幀包括敏感特征。
S3.4特征檢測單元判斷標記的關鍵幀中人眼特征和敏感特征所在的區(qū)域是否相同,若是,進入S3.8;若否,進入S3.5。
S3.5特征檢測單元將當前關鍵幀發(fā)送到內容審核系統(tǒng)服務器4。
S3.6判斷抽樣模塊2中是否有當前關鍵幀的下一個關鍵幀,若是,進入S3.7;若否,結束。
S3.7將下一個關鍵幀作為更新后的關鍵幀,進入S3.2;
S3.8判定該關鍵幀不包括敏感特征。
S4.控制模塊41將接收的關鍵幀存入數(shù)據庫42,將審核人員判定為非色情內容的關鍵幀刪除,將判定為色情內容的關鍵幀所對應的直播視頻的停止播出信息發(fā)送到直播內容服務器。
步驟S4包括:
控制模塊41將接收的關鍵幀存入數(shù)據庫42,統(tǒng)計存儲的關鍵幀的總數(shù)。
判斷關鍵幀的總數(shù)是否達到預設的審核閾值,若是,將所有關鍵幀發(fā)送給審核人員;若否,忽略該總數(shù)。
將審核人員判定為非色情內容的關鍵幀刪除,將判定為色情內容的關鍵幀所對應的直播視頻的停止播出信息發(fā)送到直播內容服務器。
審核人員根據情況對主播進行處罰,輕則警告,重則直接封禁直播間,徹底阻斷色情內容的傳播。
本發(fā)明采用自動檢測結合人工復檢的方式,能夠減少直播平臺在直播視頻的審核環(huán)節(jié)的人員投入,降低人工成本,減輕審核人員的工作負荷,而且誤檢率極低,在確保較高的審核準確率的同時,提高審核效率,凈化直播網絡,為觀眾提供更好、更優(yōu)質的內容。
本發(fā)明不局限于上述實施方式,對于本技術領域的普通技術人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也視為本發(fā)明的保護范圍之內。本說明書中未作詳細描述的內容屬于本領域專業(yè)技術人員公知的現(xiàn)有技術。