用于圖像處理軟件模塊配置的方法、裝置、系統(tǒng)和計(jì)算機(jī)可讀介質(zhì)的制作方法
【技術(shù)領(lǐng)域】
[0001]本公開一般涉及圖像處理領(lǐng)域。
【背景技術(shù)】
[0002]隨著電子裝置變得越來越流行，許多用戶逐漸依靠多種不同類型的電子裝置。一些電子裝置由例如電池的本地電源供電。在這種電子裝置中，功耗對于控制以允許用戶享有長的電池壽命可能是重要的。另外，隨著裝置能力變得越來越先進(jìn)，操作溫度得到漸增的關(guān)注。例如，過高的操作溫度可能傷害用戶和/或傷害裝置。隨著電子裝置的視頻能力變得越來越先進(jìn)和更細(xì)致入微，日益需要以魯棒的方式控制由于圖像處理引起的電子裝置的功耗和/或溫度。
【附圖說明】
[0003]為了提供對本公開及其特征和優(yōu)點(diǎn)的更完整的理解，結(jié)合附圖對后續(xù)說明做出引用，在附圖中相似的附圖標(biāo)記表示相似的部分，其中:
圖1是示出根據(jù)至少一個(gè)實(shí)施例的與圖像處理軟件模塊配置相關(guān)聯(lián)的部件的框圖；
圖2是示出根據(jù)至少一個(gè)實(shí)施例的圖像處理軟件模塊的另一框圖；
圖3A-3B是示出根據(jù)至少一個(gè)實(shí)施例的圖像處理軟件配置信息的圖；
圖4是示出根據(jù)至少一個(gè)實(shí)施例的與圖像處理軟件模塊配置相關(guān)聯(lián)的活動的流程圖； 圖5是示出根據(jù)至少一個(gè)實(shí)施例的與圖像處理軟件模塊配置相關(guān)聯(lián)的活動的流程圖； 圖6是示出根據(jù)至少一個(gè)實(shí)施例的與圖像處理軟件模塊配置相關(guān)聯(lián)的活動的流程圖； 圖7是示出根據(jù)至少一個(gè)實(shí)施例的與圖像處理軟件模塊配置相關(guān)聯(lián)的活動的流程圖； 圖8是示出根據(jù)至少一個(gè)實(shí)施例的與圖像處理軟件模塊配置相關(guān)聯(lián)的活動的流程圖； 圖9是示出根據(jù)至少一個(gè)實(shí)施例的與圖像處理軟件模塊配置相關(guān)聯(lián)的活動的流程圖； 圖10是示出根據(jù)實(shí)施例的與處理器耦合的存儲器的框圖；以及圖11是示出根據(jù)實(shí)施例的以點(diǎn)對點(diǎn)(PtP)配置布置的計(jì)算系統(tǒng)的框圖。
【具體實(shí)施方式】
[0004]在許多環(huán)境中，電子裝置可以執(zhí)行與高功耗相關(guān)聯(lián)的成像相關(guān)任務(wù)。這種功耗可能會使得裝置接近熱限制和/或功耗限制。另外，可能存在裝置中的其它部分在功耗方面起作用。裝置的其它部分所起的作用可能基于與裝置的操作相關(guān)聯(lián)的環(huán)境而變化。另外，可能存在與功耗的變化級別相關(guān)聯(lián)的一個(gè)或多個(gè)圖像處理軟件模塊。
[0005]類似地，超出存儲器帶寬可能導(dǎo)致嚴(yán)重的性能問題。例如，超出存儲器帶寬可能對處理、存儲器上溢、存儲器下溢等等引進(jìn)延遲。
[0006]在許多情況下，可能期望避免超出裝置的熱限制、存儲器帶寬限制和/或功耗限制。例如，超出這種限制可能損害裝置、可能傷害用戶等等?？赡芷谕芾砼c成像相關(guān)任務(wù)以避免成像相關(guān)設(shè)備和/或裝置超出熱限制和/或功耗限制。
[0007]圖1是示出根據(jù)至少一個(gè)實(shí)施例的與圖像處理軟件模塊配置相關(guān)聯(lián)的部件的框圖。圖1的例子僅是與圖像處理軟件模塊配置相關(guān)聯(lián)的部件的例子，并不限制權(quán)利要求的范圍。例如，歸因于部件的操作可以變化、部件的數(shù)量可以變化、部件的組成可以變化，等等。例如，在一些實(shí)施例中，歸因于圖1的例子的一個(gè)部件的操作可以被分配給一個(gè)或多個(gè)其它部件。
[0008]可以期望的是通過管理硬件性能而避免超出熱限制、存儲器限制和/或功耗限制。例如，可以通過降低處理器速度、降低顯示器亮度、降低充電電流等等而減少功耗和熱生成。在至少一個(gè)實(shí)施例中，裝置通過判定硬件性能配置信息而執(zhí)行硬件性能的配置。在至少一個(gè)實(shí)施例中，硬件性能配置信息涉及處理器速度、顯示器亮度、充電電流中的至少一個(gè)。
[0009]可以期望的是取代或結(jié)合硬件性能配置提供獨(dú)立于硬件性能配置的成像任務(wù)的調(diào)整。例如，可以期望的是保持處理器速度并改變圖像處理任務(wù)以降低裝置的功耗。例如，可能存在改變圖像處理任務(wù)比降低處理器速度具有更少的用戶影響的情況。這種成像任務(wù)的調(diào)整可以包括配置圖像處理軟件。在至少一個(gè)實(shí)施例中，配置圖像處理軟件獨(dú)立于硬件性能配置。例如，可用于配置圖像處理軟件的圖像處理軟件配置信息可以獨(dú)立于硬件性能配置信息。在不以任何方式限制權(quán)利要求的范圍的情況下，關(guān)于功率、存儲器和/或熱管理的與獨(dú)立于硬件性能配置而配置圖像處理軟件相關(guān)聯(lián)的至少一個(gè)技術(shù)效果可以用于允許解決功率、存儲器和/或熱管理問題的更多配置選項(xiàng)。例如，這種額外選項(xiàng)可以允許使得裝置以比單獨(dú)硬件性能配置少的用戶影響地在功率限制、存儲器限制和/或熱限制中操作的配置。
[0010]在例如移動電話的一些電子裝置中，例如視頻記錄的圖像處理任務(wù)可能消耗大比例的裝置功率和/或?qū)ρb置生成的熱的大部分負(fù)責(zé)任。額外的功耗和/或熱生成可能與包括圖像處理特征相關(guān)聯(lián)，所述特征例如為數(shù)字視頻穩(wěn)定(DVS)、暫時(shí)和先進(jìn)的噪聲降低(TNR)、高分辨率設(shè)置、閃存利用，例如火炬模式、面部檢測、面部識別等等。在這種裝置中，可以期望的是管理配置一個(gè)或多個(gè)這種圖像處理軟件模塊以實(shí)現(xiàn)管理熱生成或功耗中的至少一個(gè)。
[0011]在至少一個(gè)實(shí)施例中，裝置至少部分地基于圖像處理服務(wù)、環(huán)境信息和操作信息來確定圖像處理軟件配置信息。在至少一個(gè)實(shí)施例中，圖像處理軟件配置信息涉及與至少部分地配置一個(gè)或多個(gè)圖像處理軟件模塊相關(guān)聯(lián)的信息。圖像處理軟件配置信息可以與關(guān)于圖3A-3B所描述的類似。
[0012]在至少一個(gè)實(shí)施例中，環(huán)境信息涉及表明環(huán)境條件的信息。例如，環(huán)境信息可以是數(shù)據(jù)結(jié)構(gòu)、消息、傳感器信息等等。在至少一個(gè)實(shí)施例中，環(huán)境條件涉及與用戶感知顯示器上信息的能力相關(guān)聯(lián)的環(huán)境條件。例如，環(huán)境條件可以涉及裝置處的周圍光線。在這種例子中，裝置處的周圍光線可以影響用戶觀看顯示器上信息的能力。例如，如果周圍光線級別為高，則可能期望較亮的顯示以便于用戶觀看。在另一例子中，如果周圍光線級別為低，則可能期望較暗的顯示以便于用戶觀看。在至少一個(gè)實(shí)施例中，其中環(huán)境條件涉及與捕獲視覺信息相關(guān)聯(lián)的環(huán)境條件，例如捕獲圖像和/或捕獲視頻。例如，環(huán)境條件可以涉及裝置處的周圍光線。在這種例子中，如果裝置處的周圍光線為低，則可能期望提供對低光的補(bǔ)償。在另一例子中，環(huán)境信息可以涉及裝置的運(yùn)動。例如，如果裝置運(yùn)動，則可能期望提供圖像穩(wěn)定。
[0013]在至少一個(gè)實(shí)施例中，操作信息涉及裝置至少一部分的功耗。例如，操作信息可以一般涉及圖像信號處理器(ISP)、中央處理單元(CPU)、片上系統(tǒng)(SOC)等等的裝置的功耗。功耗可以涉及正被消耗的功率、電流等等。在至少一個(gè)實(shí)施例中，操作信息涉及裝置的一個(gè)或多個(gè)圖像處理部件的功耗。
[0014]在至少一個(gè)實(shí)施例中，操作信息涉及裝置至少一部分的溫度。例如，操作信息可以一般涉及圖像信號處理器(ISP)、中央處理單元(CPU)、片上系統(tǒng)(SOC)等等的裝置的溫度。在至少一個(gè)實(shí)施例中，操作信息涉及裝置的一個(gè)或多個(gè)圖像處理部件的溫度。
[0015]在至少一個(gè)實(shí)施例中，操作信息涉及與圖像處理相關(guān)聯(lián)的存儲器帶寬。存儲器帶寬可以涉及可用于圖像處理的存儲器量、與圖像處理相關(guān)聯(lián)的存儲器速度等等。
[0016]圖1的例子示出了策略引擎102，其與功率管理單元104、原始設(shè)備制造商(OEM)軟件106、傳感器110、傳感器112、圖像處理軟件模塊114、以及圖像處理軟件模塊116通信。圖1的例子示出與OEM軟件106通信的應(yīng)用程序108。在至少一個(gè)實(shí)施例中，應(yīng)用程序利用來自O(shè)EM軟件的服務(wù)。應(yīng)用程序可以利用OEM軟件服務(wù)，從而通過與OEM軟件通信而發(fā)生在OEM軟件下的部件的服務(wù)的任意利用。例如，如果應(yīng)用程序108請求圖像處理服務(wù)，則應(yīng)用程序108可以請求來自O(shè)EM軟件106的服務(wù)，OEM軟件106可以請求來自策略引擎102的服務(wù)，從而應(yīng)用程序108與策略引擎102隔離。
[0017]在至少一個(gè)實(shí)施例中，策略引擎涉及與至少部分地基于操作信息和環(huán)境信息配置圖像處理軟件相關(guān)聯(lián)的軟件。策略引擎可以是一個(gè)或多個(gè)模塊和/或服務(wù)的一部分。例如，策略引擎可以是硬件抽象層的一部分、可以是設(shè)備驅(qū)動器的一部分，其可以駐留在ISP上、可以駐留在CPU上、可以駐留在SOC上等等。在至少一個(gè)實(shí)施例中，OEM軟件涉及計(jì)算系統(tǒng)的獨(dú)立于策略引擎本身而利用策略引擎的服務(wù)的軟件。在至少一個(gè)實(shí)施例中，功率管理單元涉及與監(jiān)控裝置至少一部分的溫度、存儲器和/或功耗相關(guān)聯(lián)的硬件模塊和/或軟件模塊。在至少一個(gè)實(shí)施例中，功率管理單元可以至少部分地基于溫度信息、存儲器信息和/或功耗信息執(zhí)行硬件性能配置。
[0018]在圖1的例子中，策略引擎102從傳感器110取回環(huán)境信息126，并從傳感器112接收環(huán)境信息128。傳感器110和112可以涉及光傳感器、運(yùn)動傳感器等等。例如，運(yùn)動傳感器可以涉及加速計(jì)、陀螺儀等等。在至少一個(gè)實(shí)施例中，策略引擎直接從傳感器取回環(huán)境信息。在至少一個(gè)例子、實(shí)施例中，策略引擎間接地從傳感器取回環(huán)境信息。例如，策略引擎可以從傳感器控制器、從傳感器驅(qū)動器等等取回環(huán)境信息。在至少一個(gè)實(shí)施例中，策略引擎獨(dú)立于OEM軟件取回環(huán)境信息。例如，OEM軟件可以在來自提供環(huán)境信息的傳感器和策略引擎的通信路徑之外。
[0019]在圖1的例子中，策略引擎102從功率管理單元104取回操作信息124。在至少一個(gè)實(shí)施例中，策略引擎從不同于功率管理單元的部件(例如，傳感器、傳感器控制器、傳感器驅(qū)動器等等)取回操作信息。在至少一個(gè)實(shí)施例中，策略引擎取回OEM軟件取回操作信息。例如，OEM軟件可以在來自提供操作信息的傳感器和策略引擎的通信路徑之外。
[0020]在至少一個(gè)實(shí)施例中，策略引擎102從OEM軟件122接收圖像處理服務(wù)請求122的指示。該指示可以涉及傳遞待提供期望的圖像處理服務(wù)的消息、函數(shù)調(diào)用等等。圖像處理服務(wù)可以涉及捕獲圖像、捕獲視頻、渲染圖像、渲染視頻等等。
[0021]在至少一個(gè)實(shí)施例中，策略引擎102引起至少部分地基于圖像處理軟件配置信息而配置至少一個(gè)圖像處理軟件模塊。在圖1的例子中，策略引擎102通過發(fā)送配置信息130而引起配置圖像處理軟件模塊114。在至少一個(gè)實(shí)施例中，配置信息130包括圖像處理軟件配置信息。在圖1的例子中，策略引擎102通過發(fā)送配置信息132引起配置圖像處理軟件模塊116。在至少一個(gè)實(shí)施例中配置信息130包括圖像處理軟件配置信息。
[0022]圖2是示出根據(jù)至少一個(gè)實(shí)施例的圖像處理軟件模塊的另一框圖。圖2的例子僅是圖像處理軟件模塊的例子，而不限制權(quán)利要求的范圍。例如，歸因于模塊的操作可以改變、模塊數(shù)量可以改變、模塊的組成可以改變等等。例如，在一些實(shí)施例中，歸因于圖2的例子的一個(gè)模塊的操作可以被分配給一個(gè)或多個(gè)其它模塊。
[0023]一個(gè)或多個(gè)圖像處理軟件模塊可以與圖像捕獲堆棧的多個(gè)層相關(guān)聯(lián)。例如，DVS模塊可以與圖像捕獲堆棧的一層(例如ISP管線)相關(guān)聯(lián)，且面部檢測模塊可以與圖像捕獲堆棧的應(yīng)用層相關(guān)聯(lián)。這樣，配置的原因可以在圖像處理軟件模塊之間而不同。例如，配置DVS模塊或TNR模塊可以與ISP相關(guān)聯(lián)，并且配置面部檢測模塊或面部識別模塊可以與硬件抽象接口相關(guān)聯(lián)。
[0024]在圖2的例子中，捕獲圖像處理軟件模塊202與DVS圖像處理軟件模塊204通信。在圖2的例子中，DVS圖像處理軟件模塊204與TRN圖像處理軟件模塊206相關(guān)聯(lián)。在圖2的例子中，TNR圖像處理軟件模塊206與面部檢測圖像處理軟件模塊208通信。在圖2的例子中，面部檢測圖像處理軟件模塊208與面部識別圖像處理軟件模塊210通信。