利用參考圖像的圖像處理的制作方法
【技術領域】
[0001]實施例涉及圖像處理。具體而言，實施例涉及利用參考圖像的圖像處理。
【背景技術】
[0002]當處理對特定環(huán)境或結(jié)合另一個物品的特定物品的選擇時(例如對大型設計中的元素的選擇或消費者為了匹配另一個物品而購買的特定產(chǎn)品的選擇)，做決定的人例如在實現(xiàn)設計或提交購買之前通常并不具有最終結(jié)果的真實圖像。特別是，在不同環(huán)境下的顏色匹配是非常困難的，這是因為在每種環(huán)境下的照明可能極大地修改物品的感知的顏色。
[0003]幫助形成潛在最終結(jié)果的圖像的常規(guī)工具受限于性能，并且成本很高。例如，對于對象的顏色評估，做決定的人(包括室內(nèi)設計師)可以獲得包括Pantone?工具的顏色評估工具以幫助校準照明和提供顏色評估。然而，包括照明指示標簽(lighting indicatorsticker)的這些設備通常很昂貴。
[0004]進一步地，設計師可以攜帶顏色樣本(諸如顏色色板)以在環(huán)境照明下與未知顏色的對象進行比較以獲得匹配顏色的估計。然而，該處理需要攜帶提供所需顏色的專業(yè)產(chǎn)品，并且需要由設計師進行的特殊技能的特殊應用以提供滿意的結(jié)果。
[0005]出于這些原因，做決定的人一般使用關于物品的混合的最終結(jié)果的個人想象，從而通常導致所選物品的較差的顏色匹配?？商鎿Q地，做決定的人可以暫緩購買以檢查顏色色板(增加接下來不購買的幾率)或者購買了物品之后又退貨，這浪費了做決定的人的時間，并且可能使得賣家失去生意和花費處理退貨的成本。
【附圖說明】
[0006]在附圖的圖中以示例而非限制的方式示出實施例，其中相似的參考標記表示類似的元素。
[0007]圖1是根據(jù)實施例的帶有移動設備的參考圖像識別的說明；
[0008]圖2是根據(jù)實施例的圖像組合的說明；
[0009]圖3是根據(jù)實施例的圖像校準的說明；
[0010]圖4是根據(jù)實施例的圖像修改的說明；
[0011]圖5是根據(jù)實施例的移動設備和外部設備的說明；
[0012]圖6是示出根據(jù)實施例的用于參考圖像識別的處理的流程圖；
[0013]圖7是示出根據(jù)實施例的用于圖像組合的處理的流程圖；
[0014]圖8是示出根據(jù)實施例的用于圖像校準的處理的流程圖；
[0015]圖9是示出根據(jù)實施例的用于圖像修改的處理的流程圖；
[0016]圖10是裝置或系統(tǒng)的實施例的方框圖；和
[0017]圖11示出了根據(jù)實施例的用于圖像校正的示例參考場景和示例圖像。
【具體實施方式】
[0018]實施例一般涉及利用參考圖像的圖像處理。
[0019]在以下描述中，將闡述多種具體細節(jié)。然而，不使用這些具體細節(jié)也可以實施這些實施例。在其他方面，并未詳細示出公知的電路、結(jié)構和技術，目的是不混淆對本描述的理解。
[0020]如本文中所使用的:
[0021]“移動設備”表示智能電話、智能手表、平板計算機、手持計算機、移動互聯(lián)網(wǎng)設備、可穿戴技術、或其它包括處理能力和通信能力的移動裝置。
[0022]“圖像捕獲機構”表示捕獲場景的數(shù)字圖像的機構。該術語包括靜態(tài)照相機、視頻照相機、以及其他類似的設備。該術語包括多用途設備的一部分，包括移動設備。
[0023]“圖像特征”表示特定圖像的特征，特征包括用于該圖像的一個或多個照明因子、一個或多個顏色因子、或這兩者。圖像特征不限于圖像的特征的單個集合，還可能包括例如用于該圖像的第一部分的特定特征和用于該圖像第二部分的特定不同特征，其中圖像的第一部分和圖像的第二部分具有不同的照明。
[0024]移動設備中改進的照相機可以使得照片被利用于多種目的，其中這些目的可以是傳統(tǒng)的(例如捕獲圖像以記憶人或場景)和新的(例如讀取條形碼或識別使用服務的對象，接下來尋找競爭性定價、評論等)。特別地，移動設備的照相機可被用來選擇特定物品，其中在捕獲的基礎圖像中的物品的表現(xiàn)可被用來確定物品的適用性，例如幫助評估該物品與另一件物品(或多個物品)或者特定環(huán)境在顏色上協(xié)調(diào)的怎么樣。
[0025]特定移動設備包括作為閃光燈的燈，其可被用來改善在低照明條件下捕獲的圖像。然而，這樣的移動設備可能無法憑自己來校正與照明條件有關的其他問題，例如由于環(huán)境照明條件引發(fā)的偏黃或偏藍色調(diào)以及其他照明問題。進一步地，如果移動設備照相機的用戶發(fā)現(xiàn)閃光可能使得圖像太亮，用戶要解決該照片的偏綠/偏藍自然照明條件，這可能導致作為結(jié)果的照片中的偏綠色或偏藍色。因此，照明問題可能嚴重影響正被檢查的物品的顏色。
[0026]進一步地，用于顏色識別的特定現(xiàn)有智能電話應用可以利用智能電話的照相機來識別顏色，使得具有顏色視覺局限的人更好的解釋顏色。進一步地，智能電話應用可以意在讓用戶允許顏色差之間的更細粒度差異，例如為智能電話提供顏色匹配應用的特定繪畫制造商。然而，這些應用的結(jié)果是不可信的，因為顏色的匹配或協(xié)調(diào)依賴于正在被校正的照片的照明條件以判斷物品的顏色，而照明條件通常是遠不理想的。
[0027]在一個示例中，如果人在零售商店中檢查物品(例如地毯)，該人可能使用移動設備在店里的照明條件下拍攝照片以記錄物品的圖像。如本說明書中使用的，該物品可以被稱為目標對象。該人隨后將目標對象的顏色與特定位置的顏色(例如特定位置內(nèi)的墻或其他物品的顏色)相比。然而，因為還在商店里面，該人只能想象在房間的典型照明條件下顏色看起來怎么樣。
[0028]在一些實施例中，裝置、方法、或系統(tǒng)提供利用參考的圖像處理。在一些實施例中，圖像處理包括參考圖像識別功能，其中在圖像中搜索對象，將識別的對象與參考圖像比較以匹配包括識別的對象的一個或多個參考圖像。
[0029]例如，商店、制造商、或其他各方可以通過在受控的照明條件下捕獲特定參考對象的圖像而生成參考圖像，作為結(jié)果的參考圖像和關于照明條件的數(shù)據(jù)被存儲在資源庫中。在一些實施例中，資源庫的至少一部分存儲在移動設備上。在一些實施例中，資源庫的至少一部分存儲在外置于移動設備的位置中，例如存儲在云存儲中的資源庫。
[0030]在一個示例中，用戶可能正在購物，看到了考慮購買的物品。在該示例中，用戶可以對物品拍照。在一些實施例中，物品被辨識并且與正出售的物品的參考圖像作比較。在一個示例中，商店可維持有包括該物品的參考圖像以易于辨識?？商鎿Q地，可以通過條形碼或其他這樣的識別符來查找參考圖像。
[0031]在一些實施例中，圖像處理包括圖像組合功能，其中識別包括基礎圖像的目標對象的參考圖像，獲得參考圖像和基礎圖像的圖像特征，比較參考圖像和基礎圖像的圖像特征，基于該比較生成一個或多個校正因子，將校正因子應用到參考圖像，將帶有校正的目標對象增加到基礎圖像以生成組合的圖像。
[0032]例如，為了匹配商店中第一衣服物品和在家中的已經(jīng)購買的第二物品的顏色，并且因此查看顏色是否可能相容，購物者可以利用圖像組合功能，在組合的圖像中，使照明條件和這兩件物品正?；Ｍㄟ^這種方式，雖然還在商店中，使用組合圖像中的校正的顏色，該功能幫助購物者做出知情的購買決定。
[0033]在一些實施例中，圖像處理包括圖像校準功能，其中捕獲或取回用于校準的基礎圖像，識別包括基礎圖像的一個對象的參考圖像，獲得參考圖像的圖像特征，比較在基礎圖像和參考圖像中的目標對象，校準基礎圖像的圖像特征，并且存儲用于基礎圖像的校準的圖像特征。
[0034]在一個示例中，為了圖像校準，參考對象可以是人常拿在手上的常見對象，對其可以保存一個或多個圖像。參考對象可以是相比較于參考圖像來說提供足夠的顏色信息的物品，從而允許移動設備解釋圖像的照明條件，并校正這樣的條件。在一些實施例中，校正因子可以根據(jù)缺省規(guī)則或者根據(jù)用戶可選擇的規(guī)則，例如用來增亮和顏色校正捕獲的圖像以創(chuàng)建修改的圖像。在一個可能的示例中，諸如美元鈔票這樣的常見物品可以作為參考對象，這是因為這樣的物品是方便的、不變的物品。在另一個示例中，諸如信用卡尺寸的全彩參考圖像的小型物品可被用作參考對象。
[0035]在一些實施例中，圖像處理包括圖像修改功能，其中識別基礎圖像的參考圖像，獲得并比較參考圖像和基礎圖像的圖像特征，基于比較生成校正因子，將校正因子應用到基礎圖像以生成具有修改的照明、修改的顏色、或這兩者的修改的圖像。
[0036]實施例并不限于任何特定的照明條件，應用于照片中的不同的照明條件可基于圖像修改的特定意圖而改變。在一個示例中，例如如果操作的目標是快速照片增強(例如顏色校正或增亮)，應用于修改的圖像中的照明條件可能是更好，或者更亮的照明。在另一個示例中，例如如果目標是匹配特定環(huán)境的照明條件，雖然不一定更好，但照明條件可以不同。
[0037]在一些實施例中，在裝置或系統(tǒng)保存圖像之前(例如復制或替換保存到電話的圖像)，或者在自動地上傳圖像到云存儲之前，裝置或系統(tǒng)可自動地應用校正因子到捕獲的圖像。在一些實施例中，裝置或系統(tǒng)包括自動圖像修改功能以提供校正因子的這些自動應用。在一些實施例中，如果沒有捕獲額外圖像，在一段時間之后，自動修改可被自動地關閉。
[0038]圖1是根據(jù)實施例的帶有移動設備的參考圖像識別的說明。在一些實施例中，移動設備100包括照相機或其他圖像捕獲元件來捕獲圖像130。在一些實施例中，圖像捕獲元件可包括機構以捕獲視頻圖像以及機構以捕獲靜態(tài)圖像。如所提供的那樣，捕獲的圖像可以在具有照明條件115的諸如零售商店、家、或其他位置的環(huán)境110中。捕獲的圖像可包括特定目標對象120。雖然為了簡化，多種物品被示為方塊，物品可以是任意形狀和大小。
[0039]在一些實施例中，移動設備100在捕獲的圖像中搜索潛在的對象以與包含在圖像資源庫105中的參考圖像中的參考對象作比較，其中所有或部分資源庫可位于移動設備內(nèi)，或者位于外部位置(例如云存儲)。在一些實施例中，當識別諸如目標對象120的對象時，移動設備基于該對象與包含在一個或多個參考圖像(例如具有圖像特征145的集合的參考圖像140)中的對象的比較而識別一個或多個參考對象。可以在受控照明條件下捕獲參考圖像。在一些實施例中，可以由移動設備執(zhí)行比較。在一些實施例中，可以由外部設備執(zhí)行比較，這些外部設備例如是訪問圖像資源庫的外部服務器。在一些實施例中，移動設備將至少一部分捕獲的圖像提供給外部設備，并且移動設備在比較成功后從外部設備接收一個或多個參考。
[0040]在一些實施例中，識別的參考圖像140可被利用于一個或多個圖像處理功能，包括圖2所示的圖像組合，圖3所示的圖像校準，或圖4所示的圖像修改。
[0041]圖2是根據(jù)實施例的圖像組合的說明。在該說明中，移動設備200捕獲或者獲得基礎圖像260，其中基礎圖像包括諸如物品A 280的特定物品。在一個示例中，基礎圖像是家內(nèi)環(huán)境的圖像。如圖所示，使用照明條件270捕獲基礎圖像260，其中所