本發(fā)明屬于數(shù)字圖像處理技術(shù)領(lǐng)域，涉及計(jì)算機(jī)圖形學(xué)和數(shù)字圖像處理的文字與圖像的混合排版技術(shù)，具體涉及一種圖像排版配色方法。

背景技術(shù)：

隨著用戶對(duì)圖像傳播的個(gè)性化要求不斷提升，圖像與文本融合成為了目前傳播的新形式。為用戶照片自動(dòng)地添加具有美觀的水印文字成為圖像處理的一個(gè)新方向——視覺(jué)媒體的自動(dòng)設(shè)計(jì)。

文字與圖像的混合排版是自動(dòng)排版技術(shù)亟待解決的問(wèn)題之一。以前的工作主要側(cè)重于在純色背景下對(duì)文字塊和圖像的自動(dòng)排版問(wèn)題。這類排版問(wèn)題基于設(shè)計(jì)中網(wǎng)格(grid)概念。以前部分工作解決在圖像的單一背景區(qū)域添加其他元素的排版問(wèn)題。然而這些工作是通過(guò)建立計(jì)算模型處理單個(gè)文本覆蓋于單一背景的圖片上的美學(xué)排版問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中的上述問(wèn)題，本發(fā)明提出了一種圖像排版配色方法，以實(shí)現(xiàn)便捷地輸出滿意的圖片同時(shí)提升圖片的美學(xué)質(zhì)量。

該方法包括如下步驟：

步驟01，在原始圖像中為文字圖像選取最優(yōu)文字位置區(qū)域，所述最優(yōu)文字位置區(qū)域?yàn)橐曈X(jué)顯著度較低的位置區(qū)域；

步驟02，為所述文字圖像中的文字配色；

步驟03，輸出包含有配色后的文字圖像的原始圖像。

優(yōu)選地，在選取最優(yōu)文字位置區(qū)域時(shí)，視覺(jué)顯著度的計(jì)算公式為：

hofsal(p)＝max(1,hsal(p)+obj(p)+face(p))

其中，hofsal(p)為視覺(jué)顯著度，p為任意原始圖像中的一個(gè)像素點(diǎn)，hsal(p)為每個(gè)像素的分層顯著圖，obj(p)為每個(gè)像素的物體區(qū)域標(biāo)示圖，face(p)為每個(gè)像素的面部區(qū)域表示圖，hsal(p)、obj(p)和face(p)的取值范圍均為0～1之間。

優(yōu)選地，在為文字圖像選取所述最優(yōu)文字位置區(qū)域時(shí)，計(jì)算文字位置的公式為：

其中，r^*為最優(yōu)文字位置區(qū)域，(x，y)為矩形區(qū)域左上角定點(diǎn)坐標(biāo)，w為矩形框?qū)挾?，h為矩形框高度，tsp(i,j)為在(i,j)處像素點(diǎn)的空間重要性。

優(yōu)選地，所述視覺(jué)顯著度的色相直方圖計(jì)算公式為：

其中，m^*為色相直方圖，所述色相直方圖m^*為原始圖像在色度空間內(nèi)所有像素點(diǎn)p的飽和度和視覺(jué)顯著度的值的顯著性加權(quán)分布，h表示色彩分量，。表示兩個(gè)矩陣對(duì)應(yīng)位置元素的乘積。

優(yōu)選地，歸一化處理后，所述色相直方圖的公式為：

其中，m為歸一化處理后的色相直方圖。

優(yōu)選地，所述步驟02具體為：

選出與原始圖像色彩分步最接近的模板，根據(jù)所述模板對(duì)所述原始圖像進(jìn)行和諧化處理，并據(jù)此為所述文字配色。

優(yōu)選地，在選模板時(shí)，計(jì)算所述原始圖像在各模板下的和諧損失，公式為：

其中，f表示和諧損失，i表示原始圖像，t表示模板，h表示色彩分量，//·//表示某一色調(diào)到給定模板區(qū)間的最小色輪距；tsp(p)表示像素點(diǎn)p的空間重要性。

優(yōu)選地，在選模板時(shí)，計(jì)算所述原始圖像在各模板下的和諧損失，公式為：

其中，f表示和諧損失，i表示原始圖像，tm表示模板，m∈{x,y,v,t}，α表示模板的任意旋轉(zhuǎn)角度。

優(yōu)選地，所述模板的選擇策略為：

b(i)＝(m,α)

優(yōu)選地，所述模板的選擇策略包括聚合和分裂，具體為：

分裂：t模板分裂為x模板，v模板分裂為y模板，x、y模板不進(jìn)行分裂；

聚合：t模板聚合為v模板，x模板聚合為y模板，v、y模板不進(jìn)行聚合。

與現(xiàn)有技術(shù)相比，本發(fā)明至少具有以下優(yōu)點(diǎn)：

通過(guò)本發(fā)明中圖像排版配色方法，實(shí)現(xiàn)了便捷地輸出滿意的圖片同時(shí)提升圖片的美學(xué)質(zhì)量。

附圖說(shuō)明

圖1為本發(fā)明所提供的圖像排版配色方法的流程示意圖。

具體實(shí)施方式

下面參照附圖來(lái)描述本發(fā)明的優(yōu)選實(shí)施方式。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，這些實(shí)施方式僅僅用于解釋本發(fā)明的技術(shù)原理，并非旨在限制本發(fā)明的保護(hù)范圍。

本發(fā)明的方法主要分為兩部分：文字區(qū)域選取策略和文字顏色選取策略。采用基于視覺(jué)顯著理論與美學(xué)構(gòu)圖的確定文字位置時(shí)，需綜合考慮圖像內(nèi)容(避免被文字遮擋)與排版構(gòu)圖技巧。即給定一幅圖像，最適合放置指定大小文字的區(qū)域被定義為最優(yōu)文字位置區(qū)域。該區(qū)域應(yīng)盡可能少地干擾原圖內(nèi)容的表達(dá)，盡可能多地符合設(shè)計(jì)構(gòu)圖原則。基于視覺(jué)反差和色彩和諧化原理確定文字顏色時(shí)，需保證原圖顏色盡可能的和諧，文字用色與原圖產(chǎn)生盡可能大的反差。

針對(duì)每個(gè)步驟的具體算法以下將詳細(xì)說(shuō)明。

本發(fā)明公開(kāi)了一種圖像排版配色方法，如圖1所示，包括如下步驟：

步驟01，在原始圖像中為文字圖像選取最優(yōu)文字位置區(qū)域。

所述最優(yōu)文字位置區(qū)域?yàn)橐曈X(jué)顯著度較低的位置區(qū)域。為了保證文字盡可能少的干擾原圖內(nèi)容的表達(dá)，文字區(qū)域不應(yīng)該放置于原圖觀察者可能感興趣的區(qū)域，以免造成視覺(jué)混淆，若這種混淆不可避免，應(yīng)盡量減少，即應(yīng)放置于視覺(jué)顯著性較低的區(qū)域。常規(guī)的視覺(jué)顯著性多考量像素點(diǎn)在顏色、亮度、方向方面與周邊背景的對(duì)比。除此之外，圖像中如“人臉”、“人體”或其他常見(jiàn)物體也應(yīng)被特殊關(guān)注，因?yàn)閷⑽淖址胖糜谶@些區(qū)域時(shí)可能會(huì)造成“視覺(jué)噪聲”進(jìn)而影響信息的有效傳遞。

在選取最優(yōu)文字位置區(qū)域時(shí)，視覺(jué)顯著度的計(jì)算公式為：

hofsal(p)＝max(1，hsal(p)+obj(p)+face(p))

其中，hofsal(p)為視覺(jué)顯著度，p為任意原始圖像中的一個(gè)像素點(diǎn)，hsal(p)為每個(gè)像素的分層顯著圖，obj(p)為每個(gè)像素的物體區(qū)域標(biāo)示圖，face(p)為每個(gè)像素的面部區(qū)域表示圖，hsal(p)、obj(p)和face(p)的取值范圍均為0～1之間。當(dāng)圖像中不存在常規(guī)物體或者人臉區(qū)域時(shí)，obj(p)和face(p)為0；當(dāng)三者累加超過(guò)1時(shí)，認(rèn)為已經(jīng)具有較強(qiáng)的顯著性，按1處理，故而hofsal(p)的取值范圍也為0～1，各個(gè)顯著圖具體含義及計(jì)算方法如下：

1)分層顯著圖：本發(fā)明采用多層次分析方法減少小尺度和高對(duì)比度區(qū)域?qū)︼@著性檢測(cè)造成的影響。該方法將圖像分為3層，將每層圖像處理成不同大小的超分割圖像塊，形成樹形結(jié)構(gòu)，再通過(guò)層次推斷的方法得出顯著性圖。分層顯著圖中每個(gè)元素取值范圍0～1，值越大表示該區(qū)域顯著性越高。

2)物體區(qū)域標(biāo)識(shí)圖：用來(lái)指示圖中存在的常規(guī)物體，采用fasterrcnn來(lái)提取常見(jiàn)物體區(qū)域信息，而后結(jié)合grabcut得到物體區(qū)域標(biāo)識(shí)圖。處理流程為輸入一幅圖，采用fasterrcnn獲得物體區(qū)域外包圍框，框內(nèi)部的區(qū)域表示可能為前景或背景，框外部的均為非前景，以此框作為grabcut輸入可得到物體區(qū)域標(biāo)識(shí)圖。物體區(qū)域標(biāo)識(shí)圖中每個(gè)元素取值范圍0～1，值越大表示該區(qū)域存在物體的可能性越高。

3)面部區(qū)域標(biāo)識(shí)圖：進(jìn)行人臉檢測(cè)，若檢測(cè)到人臉區(qū)域，則利用grabcut根據(jù)人臉區(qū)域構(gòu)造facemap，流程與上述物體區(qū)域標(biāo)識(shí)圖類似。面部區(qū)域標(biāo)識(shí)圖中每個(gè)元素取值范圍0～1，值越大表示該區(qū)域存在人臉的可能性越高。

在自動(dòng)計(jì)算疊加文字最佳的位置，不僅要考慮應(yīng)盡可能少地干擾原圖內(nèi)容的表達(dá)，也要盡可能多地符合設(shè)計(jì)構(gòu)圖原則。本發(fā)明使用khan提出的空間位置度量模板。該模板基于三分構(gòu)圖法，認(rèn)為橫縱三分線上的點(diǎn)比較重要，除此之外，特殊考慮了圖像重心及上下三分位點(diǎn)。模板中越亮的區(qū)域標(biāo)識(shí)相關(guān)位置越顯著，越暗的地方表示越不重要。計(jì)算時(shí)，將該模板縮放至與原圖大小相同，并將每個(gè)元素縮放到0～1，使用tsp(i,j)表示在(i,j)處點(diǎn)的空間重要性。

綜合上述，對(duì)于任意原始圖像i^m*n，若最優(yōu)文字位置區(qū)域記為r^*，(x，y)為矩形區(qū)域左上角定點(diǎn)坐標(biāo)，w為矩形框?qū)挾?，h為矩形框高度。

上述問(wèn)題可簡(jiǎn)化為尋找非負(fù)2維矩陣最大子矩陣問(wèn)題，用動(dòng)態(tài)規(guī)劃算法可快速求解。

針對(duì)文本顏色選取策略，本發(fā)明首先基于上述顯著度計(jì)算圖像的hsv色相直方圖，具體步驟如下：

色相直方圖m*表示原始圖像i^m*n在色度空間內(nèi)所有像素點(diǎn)p的飽和度和視覺(jué)顯著度的值的顯著性加權(quán)分布，定義為：

上述公式中，h表示色彩分量，表示兩個(gè)矩陣對(duì)應(yīng)位置元素的乘積。

歸一化處理后，所述色相直方圖的公式為：

m為歸一化處理后的色相直方圖。

步驟02，為文字圖像中的文字配色。

具體的，選出與原始圖像色彩分步最接近的模板，根據(jù)所述模板對(duì)所述原始圖像進(jìn)行和諧化處理，并據(jù)此為所述文字配色。

其次，本發(fā)明還要選出與原圖色彩分布最接近的模板，而后利用所匹配出的模板完成原圖的和諧化，并在此基礎(chǔ)上為文字配色，步驟如下：

根據(jù)對(duì)圖像和諧度的定義，結(jié)合上文提出的顯著度，將一幅原始圖像i^m*n在模板t下的和諧損失定義為：

其中，f表示和諧損失，i表示原始圖像，t表示模板，h表示色彩分量，|/·|/表示某一色調(diào)到給定模板區(qū)間的最小色輪距；tsp(p)表示像素點(diǎn)p的空間重要性。

在選模板時(shí)，計(jì)算所述原始圖像在各模板下的和諧損失，公式為：

其中，f表示和諧損失，i表示原始圖像，tm表示模板，m∈{x,y,v,t}，α表示模板的任意旋轉(zhuǎn)角度。

給出圖像i在各個(gè)模板下的和諧度，一種顯然的模板選取策略是：

b(i)＝(m,α)

即分別計(jì)算該圖像在各個(gè)模板下的和諧損失，選取最小和諧度對(duì)應(yīng)的模板。

本發(fā)明提出了一種基于聚合、分裂的自適應(yīng)模板匹配策略。其中，

分裂規(guī)則為：t模板分裂為x模板，v模板分裂為y模板，x，y模板不進(jìn)行分裂；

聚合規(guī)則為：t模板聚合為v模板，x模板聚合為y模板，v，y模板不進(jìn)行聚合。

該自適應(yīng)模板匹配算法流程如下：

初始化待匹配模板為t模板；

while待匹配模板發(fā)生變化，

將原始圖像i與待匹配模板進(jìn)行匹配，

統(tǒng)計(jì)模板區(qū)域內(nèi)mi的均值ave及方差varp，

根據(jù)ave+3*varpave+3*varp計(jì)算濃度極大值點(diǎn)；

if極大值點(diǎn)個(gè)數(shù)大于2，

then

根據(jù)分裂規(guī)則分類模板，更新待匹配模板；

else

if不存在濃度極大值點(diǎn)并且模板區(qū)域內(nèi)小于均值的點(diǎn)超過(guò)70，

then

根據(jù)聚合規(guī)則聚合模板，更新待匹配模板。

else匹配結(jié)束。

最后，本文配色策略在色彩的美觀性的基礎(chǔ)上考慮文本的可閱讀性。文本顏色與圖像背景顏色太相似，會(huì)影響到文本閱讀?；谝曈X(jué)反差原理，在和諧化基礎(chǔ)上，采用對(duì)比色策略為文本配色。

對(duì)于基于互補(bǔ)色相原理的模板(模板x和y)，首先確定文本區(qū)域所在模板區(qū)域的扇區(qū)，其次計(jì)算對(duì)應(yīng)扇區(qū)的角平分線，取角平分線的對(duì)比色所對(duì)應(yīng)顏色為文本顏色。

對(duì)于基于相近色相原理的模板(模板v和t)，直接計(jì)算模板扇形區(qū)域的角平分線，其角平分線的對(duì)比色所對(duì)應(yīng)的顏色為文本顏色。

步驟03，輸出包含有配色后的文字圖像的原始圖像。

本發(fā)明的方法的特色和創(chuàng)新在于，提出了一種全自動(dòng)的照片水印自動(dòng)排版與配色方法，在為用戶提供針對(duì)文字位置、配色的設(shè)計(jì)推薦時(shí)，結(jié)合設(shè)計(jì)原理指導(dǎo)用戶完成圖文搭配設(shè)計(jì)。基于圖像的視覺(jué)顯著區(qū)域和設(shè)計(jì)學(xué)相關(guān)原理，對(duì)文字塊優(yōu)化布局。以此為基礎(chǔ)，利用色彩和諧化原理，提升圖片美學(xué)質(zhì)量并利用視覺(jué)反差原理為文字配色。

至此，已經(jīng)結(jié)合附圖所示的優(yōu)選實(shí)施方式描述了本發(fā)明的技術(shù)方案，但是，本領(lǐng)域技術(shù)人員容易理解的是，本發(fā)明的保護(hù)范圍顯然不局限于這些具體實(shí)施方式。在不偏離本發(fā)明的原理的前提下，本領(lǐng)域技術(shù)人員可以對(duì)相關(guān)技術(shù)特征做出等同的更改或替換，這些更改或替換之后的技術(shù)方案都將落入本發(fā)明的保護(hù)范圍之內(nèi)。