使用注視跟蹤的增強照片和視頻拍攝的制作方法
【專利摘要】當用戶用圖像捕捉設備(例如具有相機的計算設備)拍攝照片或視頻時，在場景中的一個興趣點被確定。所述計算設備包括眼睛跟蹤器，所述眼睛跟蹤器輸出通過取景器觀看場景的用戶眼睛的注視向量，其指示了場景中的興趣點。隨后，基于所確定的在場景中的興趣點來執(zhí)行所選擇的操作?？梢曰谒雠d趣點來選擇用于捕捉圖像的曝光量。通過取景器縮放或調(diào)整視野可以被錨定在所述興趣點處，并且在捕捉圖像之前，通過取景器的圖像可以圍繞所述興趣點被縮放?？梢試@興趣點執(zhí)行圖像增強效果。
【專利說明】使用注視跟蹤的増強照片和視頻拍攝
[0001 ] 背景
[0002]不同類型的計算設備可捕捉或拍攝主體或?qū)ο蟮碾娮訄D像。例如，用戶可使用相機或攝像機來拍攝某人或場景的照片或視頻。其他計算設備也可捕捉圖像，諸如電子布告欄、個人計算機、膝上型計算機、筆記本、平板、電話或可穿戴計算設備。
[0003]被捕捉的圖像可被本地地存儲在計算設備中，或被傳送到遠程計算設備以供存儲。類似地，圖像可被拍攝該圖像的計算設備檢索和查看，或替換地，圖像可在遠程站點處的不同計算設備的顯示器上被查看。
[0004]概述
[0005]當用戶用圖像捕捉設備(諸如具有相機的計算設備)拍攝照片或視頻時，確定場景中的一個興趣點。所述計算設備包括眼睛跟蹤器，所述眼睛跟蹤器輸出通過取景器觀看場景的用戶眼睛的注視向量，其指示了場景中的興趣點。
[0006]隨后，可基于所確定的在場景中的興趣點來執(zhí)行所選擇的操作。例如，可以基于所述興趣點來選擇用于捕捉圖像的曝光量。通過取景器縮放或調(diào)整視野可以被錨定在所述興趣點處，并且在捕捉圖像之前，通過取景器的圖像可以圍繞所述興趣點由用戶自動地或手動地(或用姿勢地)縮放。可以在所述興趣點周圍執(zhí)行圖像增強效果，例如增強在所述興趣點處或附近的形狀的模糊線條。
[0007]—個獲得圖像的方法實施例包括接收指示在取景器中的注視方向的信息?；谥甘舅鲎⒁暤姆较虻男畔⒆龀鲈谌【捌髦械呐d趣點的確定。也基于所述興趣點來做出捕捉圖像的曝光量的確定。視野在所述取景器中被圍繞興趣點調(diào)整，并且圖像以所確定的曝光量和視野被捕捉。
[0008]—個裝置實施例包括取景器和至少一個傳感器，所述傳感器響應于指示曝光量的第一信號和指示在取景器中要從其縮放的點的第二信號捕捉取景器中的圖像。至少一個眼睛跟蹤器輸出指示在取景器中的注視的方向的注視向量。至少一個處理器執(zhí)行存儲在處理器可讀存儲器中的處理器可讀指令以:I)接收注視向量;2)基于注視向量確定取景器中的興趣點；3)基于所述興趣點確定曝光量;4)確定在取景器中要從其縮放的點；以及5)輸出指示曝光量的第一信號和指示在取景器中要縮放的點的第二信號。在一個實施例中，要從其縮放的點(point to zoom from)是所述興趣點。
[0009]在另一實施例中，一個或多個處理器可讀存儲器包括在被執(zhí)行時使得一個或多個處理器執(zhí)行一種用于通過相機捕捉圖像的方法的指令。所述方法包括從眼睛跟蹤器接收注視向量，并基于所述注視向量確定在相機的取景器中的興趣點。興趣點是基于注視向量在相機的取景器中被確定的。基于所述興趣點的曝光量被確定。在取景器中要縮放的點被確定。將指示相機的曝光量的第一信號和指示在取景器中要從其縮放的點的第二信號一起輸出給相機。指示圍繞興趣點的縮放量的第三信號可被輸出。在一個實施例中，要從其縮放的點是所述興趣點。
[0010]提供本概述以便以簡化的形式介紹以下在詳細描述中進一步描述的一些概念。本概述并非旨在標識出要求保護的主題的關鍵特征或必要特征，亦非旨在用作輔助確定要求保護的主題的范圍。
[0011]附圖簡述
[0012]圖1是示例性系統(tǒng)體系結構的高級框圖。
[0013]圖2是示例性軟件體系結構的高級框圖。
[0014]圖3A解說示例場景。
[0015]圖3B示出用于拍攝在圖3A中所示的場景的圖像的示例性圖像捕捉設備。
[0016]圖3C示出具有用于拍攝在圖3A中所示的場景的圖像的所確定的曝光和縮放量的示例性圖像捕捉設備。
[0017]圖4A-B示出具有在示例性網(wǎng)絡中使用的圖像捕捉設備的示例性眼鏡。
[0018]圖5A-B示出示例性眼鏡的側部和頂部。
[0019]圖6-8是捕捉圖像的示例性方法的流程圖。
[0020]圖9示出了示例性計算設備。
[0021 ] 詳細描述
[0022]當用戶用圖像捕捉設備(例如具有相機的計算設備)拍攝照片或視頻時，在場景中的一個興趣點被確定。所述計算設備包括眼睛跟蹤器，所述眼睛跟蹤器輸出通過指示場景中的興趣點的取景器觀看場景的用戶眼睛的注視向量。
[0023]隨后，基于所確定的在場景中的興趣點來執(zhí)行所選擇的操作。例如，可以基于所述興趣點來選擇用于捕捉圖像的曝光量。通過取景器縮放或調(diào)整視野可以被錨定在所述興趣點處，并且在捕捉圖像之前，通過取景器的圖像可以圍繞所述興趣點由用戶自動地或手動地(或用姿勢地)縮放。可以圍繞所述興趣點執(zhí)行圖像增強效果，例如增強在所述興趣點處或附近形狀的模糊線條。
[0024]圖1是用于捕捉圖像(諸如照片或視頻)的裝置(或系統(tǒng))100的高級框圖。具體而言，當捕捉場景的圖像時裝置100使用用戶的眼睛注視信息來確定興趣點。在一實施例中，裝置100包括圖像捕捉設備104(諸如相機)、計算設備101和眼睛跟蹤器105。
[0025]在一個實施例中，圖像捕捉設備104在眼睛跟蹤器105提供了指示在圖像捕捉設備104的取景器(諸如如圖3B所示的取景器303)中所示的場景中的用戶111的興趣點的信息(注視向量108)之后，拍攝或捕捉圖像106。在一個實施例中，圖像捕捉設備104包括捕捉圖像106的電子傳感器104a。在一個實施例中當計算設備101將一個或多個控制信號傳送給圖像捕捉設備104之后，圖像捕捉設備104將圖像106傳輸給計算設備101。響應于計算設備101從眼睛跟蹤器105接收到注視向量108而輸出控制信號107。
[0026]眼睛跟蹤器105輸出指示了要由圖像捕捉設備104捕捉的場景中的用戶111的興趣點的信息。在一個實施例中，眼睛跟蹤器105輸出指示了圖像捕捉設備104的取景器中的場景的興趣點的注視向量108。在一個實施例中，眼睛跟蹤器105被定位在圖像捕捉設備104的取景器附近。
[0027]計算設備101包括執(zhí)行(或讀取)存儲在存儲器102中的輸出用于捕捉圖像的控制信號的處理器可讀指令的處理器103。在一實施例中，存儲器102是存儲軟件組件(諸如控件102a、點102b、照片/視頻應用102c和圖像102d)的處理器可讀存儲器。
[0028]在一個實施例中，從圖像捕捉設備104接收的圖像(諸如圖像106)被存儲在圖像102d中。在一替換實施例中，圖像被存儲在遠程計算設備處。
[0029]在一個實施例中，控件102a至少部分控制計算設備101。在一個實施例中，控件102a輸出控制信號107并接收一個或多個注視向量108。在一個實施例中，控件102a是計算設備101的操作系統(tǒng)。
[0030]在一個實施例中，點102b通過控件102a接收注視向量108并確定通過取景器觀看場景的用戶111的興趣點。例如，如圖3B所示用戶可以具有對應于在取景器303中的日落的興趣點305。在實施例中，在確定用戶111的興趣點之前點102b接收多個注視向量108。點102b隨后基于注視向量108將興趣點信息輸出給照片/視頻應用102c。
[0031]照片/視頻應用102c負責基于觀看圖像捕捉設備的取景器中的場景的用戶的興趣點確定曝光量并調(diào)整視角(或縮放量)。照片/視頻應用102c還負責確定要調(diào)整視角(或應用縮放量)的錨點或取景器中的點。在一個實施例中，照片/視頻應用102c還基于所述興趣點向圖像提供圖像增強效果。
[0032]在一個實施例中，圖像捕捉設備104被包括在計算設備101中或與計算設備101封裝在一起。在另一個實施例中，圖像捕捉設備104和眼睛跟蹤器105與計算設備101分開封裝。
[0033]在一實施例中，圖像捕捉設備104、計算設備101和眼睛跟蹤器105被封裝并被包括在單個設備中。例如，圖像捕捉設備104、計算設備101和眼睛跟蹤器105可被包括在眼鏡、數(shù)碼相機、蜂窩電話、計算機、筆記本計算機、膝上計算機或平板中。
[0034]計算設備101、圖像捕捉設備104和眼睛跟蹤器105可通過有線或無線連接來傳送信息，諸如圖像、控制和注視向量信息。計算設備101、圖像捕捉設備104和眼睛跟蹤器105可通過網(wǎng)絡(諸如局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)和/或因特網(wǎng))的方式進行通信。
[0035]圖2是照片/視頻應用102c的示例性軟件體系結構200的高級別框圖。
[0036]在一實施例中，照片/視頻應用102c包括至少一個軟件組件。在各實施例中，軟件組件可包括計算機(或軟件)程序、對象、函數(shù)、子例程、方法、實例、腳本和/或處理器可讀指令、或它們的一部分、單個地或組合的。在此描述了可由各種軟件組件來執(zhí)行的一個或多個示例功能。在替換實施例中，可使用在此描述的更多或更少軟件組件和/或軟件組件的功會K。
[0037]在一實施例中，照片/視頻應用102c包括軟件組件，例如曝光201、縮放202和增強203。
[0038]在一個實施例中，曝光201負責基于用戶的興趣點確定曝光量。在一個實施例中，確定曝光量包括確定抵達用于捕捉圖像106的電子傳感器104a的光量，如圖1和3A-C所示。在一個實施例中，以勒克斯(Iux)秒為單位來測量曝光量。
[0039]縮放202，在一個實施例中，是負責基于用戶的興趣點確定視角(或放大或縮小)。例如，在(使用眼睛跟蹤器302)做出用戶將日落310a作為場景中的興趣點的確定之后縮放202在取景器303中提供了經(jīng)縮放的日落350，如圖3A-C所示。在一個實施例中，縮放202確定要調(diào)整視角或應用縮放量的錨點(或要從其縮放的點)。在一個實施例中，錨點或從其要應用縮放量的點是興趣點。
[0040]縮放202還確定要應用的縮放量(正的或負的)。在一個實施例中，縮放202基于取景器中的場景確定縮放量。在另一個實施例中，縮放202應用預定的縮放量，例如2X、3X、4X……。在一個實施例中，可以由用戶選擇預定的縮放量。在另一個實施例中，基于在拍攝圖像時的用戶輸入或姿勢來應用縮放量。
[0041]在一個實施例中，增強203負責將圖像增強效果提供給圖像，諸如圖1中的圖像106。在一個實施例中，增強203對圖像的興趣點周圍的形狀線條進行銳化，這些線條可能由于應用了縮放量而被模糊。在一個實施例中，增強203可以將圖像增強效果應用到存儲在圖像102d中或從遠程位置檢索到的圖像。
[0042]在替換實施例中，增強203包括其他類型的圖像增強效果軟件來增強圖像。例如，增強203可以包括噪聲減少、剪裁、變色、取向、對比度和亮度軟件組件以將相應的圖像增強效果應用于圖像，諸如圖像106。
[0043]圖3A示出具有男人310b和日落310a的場景310。在一個實施例中，用戶可以使用圖像捕捉設備(諸如圖3B所示的相機300)來捕捉場景310的圖像。
[0044]圖3B示出相機300，用于如用戶在相機300的取景器303中所見的那樣捕捉場景310的圖像。在一實施例中，相機300包括圖像捕捉設備104、計算設備101和眼睛跟蹤器105。用戶可以通過按下觸發(fā)器301來捕捉取景器303中所見的圖像(照片或視頻)?？刂瓢粹o304還包括用于操作相機300的按鍵。例如，控制按鍵304可以包括手動放大或縮小以及設置曝光的按鍵。在替換實施例中，觸發(fā)器301和按鍵304被包括在觸摸屏中，所述觸摸屏也被包括在取景器303中。在一個實施例中，對應于如圖1所示的眼睛跟蹤器105的眼睛跟蹤器302被放置在相機300上以輸出指示用戶將日落310a作為興趣點305的注視向量。
[0045]圖3C示出是在取景器303中的經(jīng)放大的日落310的版本(或經(jīng)調(diào)整的日落310a的視角)的經(jīng)縮放日落350，它具有針對經(jīng)縮放日落350所確定的曝光。在一個實施例中，照片/視頻應用102c確定縮放量(例如2x、3x……)、從其縮放的錨點并確定興趣點305(諸如在特定的日落310a下)的曝光量。
[0046]圖4A示出包括眼鏡1502的裝置1500，所述眼鏡包括相機和如在此所述的眼睛跟蹤系統(tǒng)。裝置1500包括在其中通過在本示例中的線1506或在其他示例中是無線地與伴隨處理模塊1524通信的眼鏡1502。在一個實施例中，伴隨處理模塊1524對應于如圖1所示的計算設備101。在該實施例中，眼鏡1502包括具有鏡腿臂1513和1515以及鼻梁架1504的框架1515。
[0047]在一個實施例中，眼鏡1502包括針對每個眼睛的顯示光學系統(tǒng)1514，1514r和15141，在其中圖像數(shù)據(jù)被投射入用戶的眼睛中以生成圖像數(shù)據(jù)的顯示，同時用戶還透視顯示光學系統(tǒng)1514獲得現(xiàn)實世界的實際直接視圖。
[0048]每個顯示光學系統(tǒng)1514也被稱為透視顯示器，并且兩個顯示光學系統(tǒng)1514—起也可被稱為透視，意味著光學透視顯示器1514。
[0049]框架1515提供用于將該裝置的各元件保持在原位的支撐結構以及用于電連接的管道。在該實施例中，框架1515提供了便利的眼鏡架作為對下面進一步討論的該裝置的各元件的支撐?？蚣?515包括具有用于記錄聲音并向控制電路1536傳送音頻數(shù)據(jù)的話筒1510的鼻梁架1504。在此示例中，鏡腿臂1513被示出為包括眼鏡1502的控制電路1536。
[0050 ]如在圖5A和5B中例示出的是面向外的例如相機的圖像捕捉設備1613，用于記錄諸如靜止圖像(照片)、視頻或二者之類的數(shù)字圖像數(shù)據(jù)，以及將視覺記錄傳送給控制電路1536，控制電路1536進而可將捕捉到的圖像數(shù)據(jù)發(fā)送給所述伴隨處理模塊1524，伴隨處理模塊1524還可通過一個或多個通信網(wǎng)絡1560將該數(shù)據(jù)發(fā)送給一個或多個計算機系統(tǒng)1512或另一個人A/V裝置。[0051 ]在另一實施例中，圖像生成單元1620被包括在每個鏡腿臂1513上。
[0052]如圖4B所示，眼鏡1502(或伴隨處理模塊1524)可以通過一個或多個通信網(wǎng)絡1560有線地和/或無線地(例如WiF1、藍牙、紅外、紅外個域網(wǎng)、RFID傳輸、WUSB、蜂窩、3G、4G或其他無線通信手段)與一個或多個計算機系統(tǒng)1512(無論是位于附近還是遠程位置)、處于某個位置或環(huán)境中的其他眼鏡1508進行通信。在一個實施例中，在圖9中還示出計算機系統(tǒng)1512的一些硬件組件的示例。組件的規(guī)模和數(shù)量可以因計算機系統(tǒng)1512的不同實施例而顯著變化。
[0053]應用可以在計算機系統(tǒng)1512上執(zhí)行，其與在裝置1500中的一個或多個處理器上執(zhí)行的應用進行交互或為其執(zhí)行處理。例如，3D地圖繪制應用可以在裝置1500中的所述一個或多個計算機系統(tǒng)1512上執(zhí)行。
[0054]在圖4A和4B的所例示的實施例中，所述一個或多個計算機系統(tǒng)1512和裝置1500還具有對一個或多個3D圖像捕捉設備1520的網(wǎng)絡訪問，所述3D圖像捕捉設備例如可以是一個或多個相機，相機在視覺上監(jiān)視一個或多個用戶和周圍空間，使得由所述一個或多個用戶執(zhí)行的姿勢和移動以及包括表面和物體的周圍空間的結構可被捕捉、分析和跟蹤。圖像數(shù)據(jù)以及在由一個或多個3D捕捉設備1520捕捉的情況下的深度數(shù)據(jù)可以補充由裝置1500的眼鏡1502上的一個或多個圖像捕捉設備1613所捕捉的數(shù)據(jù)。
[0055]圖5A是提供對硬件和軟件組件的支持的眼鏡1502的框架的眼鏡腿臂1513的側視圖。在框架1515前面描述了至少兩個面向物理環(huán)境的圖像捕捉設備1613(例如，可捕捉真實世界或場景的諸如視頻和靜止圖像之類的圖像(通常是彩色的)的相機)中的一個。在一些示例中，圖像捕捉設備1613也可以是深度敏感的，例如它們可以是傳送和檢測紅外光的深度敏感相機，深度數(shù)據(jù)可從所述紅外光中被確定。
[0056]'控制電路1536提供支持眼鏡1502的其他組件的各種電子設備。在該示例中，右鏡腿臂1513包括用于眼鏡1502的控制電路1536，該控制電路包括處理器15210、處理器15210可訪問的用于存儲處理器可讀指令和數(shù)據(jù)的存儲器15244、通信地耦合到處理器15210的無線接口 1537、以及為控制電路1536的各組件以及眼鏡1502的其他組件(如相機1613、話筒1510)提供電力的電源15239。處理器15210可以包括一個或多個處理器，所述處理器可以包括控制器、CPU、GPU和/或FPGA以及多個處理器核。
[0057]在實施例中，眼鏡1502可以包括其他傳感器。在鏡腿臂1502內(nèi)或安裝到鏡腿臂1502的是一耳機或一組耳機1630、包括一個或多個慣性傳感器的慣性感測單元1632、以及包括一個或多個位置或鄰近度傳感器的位置感測單元1644，位置感測單元的一些示例是GPS收發(fā)機、IR收發(fā)機或用于處理RFID數(shù)據(jù)的射頻收發(fā)機。
[0058]在該實施例中，在其操作中處理模擬信號的每個設備都包括與數(shù)字處理器15210和存儲器15244數(shù)字對接，并且為其相應設備產(chǎn)生或轉換模擬信號或者既產(chǎn)生又轉換模擬信號的控制電路。處理模擬信號的設備的一些示例是用于下面所討論的每只眼睛的顯示光學系統(tǒng)15141、1514r的感測單元1644、1632和耳機1630以及話筒1510、圖像捕捉設備1613和相應的IR照明器1634A、以及相應的IR檢測器或相機1634B。
[0059]在又一個實施例中，安裝到鏡腿臂1515或其內(nèi)部的是產(chǎn)生表示圖像的可見光的圖像源或圖像生成單元1620。圖像生成單元1620可將虛擬物體顯示為出現(xiàn)在顯示器視野中的指定深度位置來提供虛擬物體的真實的、聚焦的三維顯示，該虛擬物體可以與一個或多個現(xiàn)實物體交互。
[0060]在一些實施例中，圖像生成單元1620包括微顯示器，用于投影一個或多個虛擬物體的圖像以及耦合諸如透鏡系統(tǒng)之類的用于將圖像從微顯示器引導到反射表面或元件1624的光學器件。反射表面或元件1624將光從圖像生成單元1620引導到光導光學元件1612中，光導光學元件將表示圖像的光引導到用戶的眼睛中。
[0061 ]圖5B是包括顯示光學系統(tǒng)1514的眼鏡1502的一側的實施例的俯視圖。眼鏡1502的框架1515的一部分將圍繞顯示光學系統(tǒng)1514以用于提供支撐和進行電連接。為了示出眼鏡1502中的顯示光學系統(tǒng)1514(在該情況下是用于右眼系統(tǒng)的1514r)的各個組件，圍繞顯示光學系統(tǒng)的框架1515的一部分未被描繪。
[0062]在所例示的實施例中，顯示光學系統(tǒng)1514r是集成式眼睛跟蹤和顯示系統(tǒng)。該系統(tǒng)實施例包括用于增強虛擬圖像的對比度的不透明濾光器1514，在該示例中不透明濾光器1514處于可任選的透視透鏡1616之后并與之對齊，用于投影來自圖像生成單元1620的圖像數(shù)據(jù)的光導光學元件1612處于不透明濾光器1514之后并與之對齊，以及可任選的透視透鏡1618處于光導光學元件1612之后并與之對齊。
[0063]光導光學元件1612將來自圖像生成單元1620的光傳送到佩戴眼鏡1502的用戶(例如如圖1所示的用戶111)的眼睛1640。光導光學元件1612還允許眼睛1640通過光導光學元件1612接收到來自眼鏡1502的前方的光，如表示顯示光學系統(tǒng)1514r的光軸1542的箭頭所描繪的那樣，由此允許用戶除接收來自圖像生成單元1620的虛擬圖像之外，還具有眼鏡1502的前方空間的實際直接視圖。從而，光導光學元件1612的壁是透視的。在該實施例中，光導光學元件1612是平面波導。代表性的反射元件1634E表示一個或多個光學元件，比如反射鏡、光柵以及將表示圖像的可見光從平面波導引導向眼睛1640的其他光學元件。
[0064]紅外照明和反射也穿越平面波導以供眼睛跟蹤系統(tǒng)(或眼睛跟蹤器)1634跟蹤用戶的眼睛1640(通常為用戶的瞳孔)的位置和移動。眼睛移動也可包括眨眼。所跟蹤的眼睛數(shù)據(jù)可被用于諸如注視檢測、眨眼命令檢測以及收集指示用戶的個人存在狀態(tài)的生物測定信息之類的應用。在一個實施例中，眼睛跟蹤器1634輸出指示了將由圖像捕捉設備1613成像或拍成視頻的場景中的興趣點的注視向量。在一個實施例中，顯示光學系統(tǒng)1514r的鏡頭被用作拍攝照片或視頻的取景器。
[0065]眼睛跟蹤系統(tǒng)1634包括眼睛跟蹤IR照明源1634A(紅外發(fā)光二極管(LED)或激光器(例如VCSEL))和眼睛跟蹤IR傳感器1634B(例如IR相機、IR光電檢測器的布置、或者用于跟蹤閃光位置的IR位置敏感檢測器(PSD))。在該實施例中，代表性的反射元件1634E還實現(xiàn)了雙向IR濾光，它將IR照明優(yōu)選地以光軸1542為中心地引導向眼睛1640，并從眼睛1640接收IR反射。波長選擇性濾光器1634C讓來自反射表面或元件1624的可見光譜光通過，以及將來自眼睛跟蹤照明源1634A的紅外波長照明引導到平面波導中。波長選擇性濾光器1634D在朝向鼻梁架1504的光路方向上傳遞可見光和紅外照明。波長選擇性濾光器1634D將來自波導的包括眼睛1640的紅外反射(優(yōu)選地包括光軸1542周圍捕捉的反射)的紅外輻射從被具體化為波導的光導光學元件1612引導到IR傳感器1634B。
[0066]與光導光學元件1612對齊的不透明濾光器1514選擇性地阻擋自然光穿過光導光學元件1612，來增強虛擬圖像的對比度。不透明濾光器1514幫助使虛擬物體的圖像表現(xiàn)得更真實并表示全范圍的顏色和強度。在該實施例中，用于不透明濾光器1514的電控制電路(未示出)通過路經(jīng)框架的電連接從控制電路1536接收指令。
[0067]再次，圖5A和5B示出了眼鏡1502的一半。對于所例示的實施例，完整的眼鏡1502可包括另一顯示光學系統(tǒng)1514以及本文所述的組件。
[0068]圖6-8是捕捉圖像的示例性方法的流程圖。在各實施例中，圖6-8中所示的框表示硬件(例如，處理器、存儲器、電路)、軟件(例如，操作系統(tǒng)、應用、驅(qū)動器、機器/處理器可執(zhí)行指令)或用戶的操作個體或其組合。如本領域普通技術人員將理解的，各實施例可以包括比示出的更多或更少的框。
[0069]圖6是示出一種用于通過基于興趣點的所確定的曝光量和視野捕捉圖像的方法的流程圖。在一實施例中，方法600由計算設備101以及圖1中示出的軟件組件中的至少一些來執(zhí)行。
[0070]框601示出接收指示在取景器中的注視方向的信息。在一個實施例中，計算設備101從眼睛跟蹤器105接收到注視向量108。在一個實施例中，注視向量108指示了在圖像捕捉設備104的取景器中的用戶111的興趣點。
[0071]框602示出了基于指示所述注視的方向的信息確定在取景器中的興趣點。在一個實施例中，點102b基于指示用戶的注視方向的信息(諸如注視向量108)來確定興趣點。
[0072]框603示出基于所述興趣點來確定捕捉圖像的曝光量。在一個實施例中，確定曝光量包括確定抵達用于捕捉圖像106的傳感器104a的光量，如圖1和3A-C所示。在一個實施例中，以勒克斯秒為單位來測量曝光量。
[0073]框604示出圍繞興趣點調(diào)整取景器中的視野。在一個實施例中，調(diào)整視野包括圍繞興趣點放大或縮小取景器上的圖像。在一個實施例中，圖像以預定量被縮放，諸如2x。在其他實施例中，用戶可以手動或做姿勢來放大或縮小。
[0074]框605示出了以該曝光量和經(jīng)調(diào)整的視野捕捉圖像。在一個實施例中，圖像捕捉設備104通過所確定的曝光和所確定的視野捕捉圖像。在一個實施例中，圖像106被傳送給計算設備101并被存儲在存儲器102的圖像102d中，如圖1所示。圖像隨后由計算設備101檢索并查閱。在一實施例中，照片/視頻應用102c檢索并呈現(xiàn)所儲存的圖像。
[0075]圖7是示出一種用于輸出用于捕捉圖像的信息的方法700的流程圖。
[0076]框701示出接收注視向量，例如圖1示出的注視向量108。
[0077]框702示出了基于所述注視向量確定在取景器中的興趣點。在一個實施例中，存儲在存儲器102中的點102b基于用戶的注視向量108確定興趣點。
[0078]框703示出基于所述興趣點來確定曝光量。在一個實施例中，確定曝光量包括確定如本文描述的抵達傳感器的光量。
[0079]框704示出確定在取景器中要從其縮放的點。在一實施例中，點102b確定興趣點。在一個實施例中，興趣點被用作取景器中用于放大或縮小的要從其縮放的點或錨。
[0080]框705示出輸出指示曝光量的第一信號和指示在取景器中要從其縮放的點的第二信號。在另一個實施例中，指示在興趣點周圍(或圍繞興趣點)的縮放量也如在一個實施例中的邏輯框705所示被輸出?？s放量可以由照片/視頻應用102c確定，并且在一個實施例中具體為縮放202。第一和第二信號(以及在一個實施例中的第三控制信號)被包括在從計算設備101到圖像捕捉設備104的控制信號107中，如圖1所示。
[0081]圖8是示出一種用于輸出用于捕捉圖像的信息的方法800的流程圖。
[0082]框801示出從眼睛跟蹤器接收注視向量。
[0083]框802示出了基于所述注視向量確定在相機的取景器中的興趣點。
[0084]框803示出基于所述興趣點來確定曝光量。
[0085]框804示出確定在取景器中要從其縮放的點。
[0086]框805不出將指不曝光量的第一信號輸出給相機。
[0087]框806示出將指示在取景器中要從其縮放的點的第二信號輸出給相機。在一個實施例中，要從其縮放的點是所述興趣點。
[0088]框807示出向圖像提供圖像增強效果。在一個實施例中，增強203增強圖像，諸如圖像106。在一個實施例中，增強203可以包括濾鏡或其他圖像處理軟件組件或功能以圍繞興趣點銳化模糊線條。
[0089]框808示出將具有圖像增強效果的圖像存儲在存儲器中，例如如圖1所示的存儲器102 中。
[0090]框809示出從存儲器中檢索具有圖像增強效果的圖像以供用戶觀看。
[0091]圖9是可托管圖1和2中解說的軟件組件中的至少一些的(并且在一實施例中對應于計算設備101的)計算設備1800的一個實施例的框圖。在一個實施例中，圖像捕捉設備1820和眼睛跟蹤器1822被包括在計算設備1800中。在各實施例中，圖像捕捉設備1820和眼睛跟蹤器1822對應于如圖1所示的圖像捕捉設備104和眼睛跟蹤器105。在一實施例中，計算設備1800是具有相機的移動設備，諸如蜂窩電話或平板。眼睛跟蹤器105可與計算設備1800包括在一起或可在計算設備1800外部，諸如本文中描述的眼鏡。
[0092]在其最基本的配置中，計算設備1800通常包括一個或多個處理器1802，其包括一個或多個CPU和/或GPU以及一個或多個處理器核。計算設備1800還包括系統(tǒng)存儲器1804。取決于計算設備的確切配置和類型，系統(tǒng)存儲器1804可包括易失性存儲器1805(如RAM)、非易失性存儲器1807(如R0M、閃存等)或是兩者的某種組合。該最基本配置在圖9中由虛線1806來例示出。另外，設備1800還可具有附加特征/功能。例如，設備1800還可包含附加存儲(可移動和/或不可移動)，其包括但不限于磁盤、光盤或磁帶。這樣的附加存儲在圖9中由可移動存儲1808和不可移動存儲1810來例示出。
[0093]設備1800還可包含允許該設備與其他設備通信的通信連接1812，如一個或多個網(wǎng)絡接口和收發(fā)機。設備1800還可具有諸如鍵盤、鼠標、筆、話音輸入設備、觸摸輸入設備(觸摸屏)、姿勢輸入設備等輸入設備1814。還可包括諸如顯示器、揚聲器、打印機等輸出設備1816。這些設備在本領域是公知的，因此不在此詳細討論。
[0094]在一個實施例中，用戶可以通過姿勢、觸摸或聲音向輸入設備1814鍵入輸入。在一個實施例中，輸入設備1814包括自然用戶界面(NUI)以接收并轉換來自用戶的聲音和姿勢輸入。在一個實施例中，輸入設備1814包括觸摸屏和話筒以用于接收并轉換用戶的觸摸或聲音(諸如聲音命令)。
[0095]一個或多個處理器1802、系統(tǒng)存儲器1804、易失性存儲器1805和非易失性存儲器1807通過一條或多條總線互連。在此實現(xiàn)中所使用的總線的細節(jié)對理解此處所討論的關注主題不是特別相關。然而，應該理解，這樣的總線可以包括串行和并行總線、存儲器總線、夕卜圍總線、使用各種總線體系結構中的任何一種的處理器或局部總線中的一個或多個。作為示例，這樣的架構可以包括工業(yè)標準體系結構(ISA)總線、微通道體系結構(MCA)總線、增強型ISA(EISA)總線、視頻電子標準協(xié)會(VESA)局部總線、以及也稱為夾層總線的外圍部件互連(PCI)總線。
[0096]在一個實施例中，一個或多個處理器1802、易失性存儲器1805和非易失性存儲器1807被集成到片上系統(tǒng)(SoC，也稱為S0C)上，其是將計算設備或其他電子系統(tǒng)的電子組件和/或子系統(tǒng)集成到安置在單個封裝內(nèi)的單個半導體基板和/或單個芯片中的集成電路(IC)。例如，先前在個人計算機(PC)中的存儲器模塊子系統(tǒng)中的存儲器現(xiàn)在可被包括在SoC中。類似地，存儲器控制邏輯可被包括在SoC的處理器中而不是包括在分開地封裝的存儲器控制器中。
[0097]如本領域普通技術人員將理解的，其他電子組件可以被包括在SoC中。SoC可以包括數(shù)字的、模擬的、混合信號的，和/或射頻電路一一在單個半導體基板上的一個或多個。SoC可以包括振蕩器、鎖相環(huán)、計數(shù)器-計時器、實時計時器、加電復位發(fā)電機、外部接口(例如，通用串行總線(USB)、IEEE 1394接口(火線)、以太網(wǎng)、通用異步接收機/發(fā)射機(USART)和串行外圍總線(SPI))、模擬接口、電壓調(diào)節(jié)器和/或電源管理電路。
[0098]在替換的實施例中，SoC可以被系統(tǒng)級封裝(SiP)或?qū)盈B封裝(PoP)替換。在SiP中，多個芯片或半導體基板被安置在單個封裝中。在SiP實施例中，(諸)處理器核將可以在一個半導體基板上，而高性能存儲器將可以在第二半導體基板上，二者都被安置在單個封裝中。在一個實施例中，第一半導體基板通過線結合耦合至第二半導體基板。
[0099]在PoP實施例中，(諸)處理器核將可以在布置在第一封裝中的一個半導體管芯上，而高性能存儲器將可以在布置在第二不同封裝中的第二半導體管芯上。第一封裝和第二封裝隨后將通過標準接口被堆疊以在各封裝(具體而言在各半導體管芯)間路由信號。在一個實施例中，所堆疊的封裝接著可被耦合到將附加存儲器作為組件的印刷線路板。
[0100]在各實施例中，處理器包括執(zhí)行(或讀取)存儲在處理器可讀存儲器中的處理器(或機器)可讀指令的至少一個處理器核。處理器可讀指令的一示例可包括圖1中示出的控件102a、點102b、照片/視頻應用102c以及圖像102d。處理器核還可以包括控制器、圖形處理單元(GPU)、數(shù)字信號處理器(DSP)和/或現(xiàn)場可編程門陣列(FPGA)。
[0101]在各實施例中，存儲器包括在集成電路上的一個或多個存儲器單元陣列。易失性存儲器的類型包括但不限于動態(tài)隨機存取存儲器(DRAM)、基于分子電荷的(ZettaCore)DRAM、浮體DRAM和靜態(tài)隨機存取存儲器(“SRAM” ) ARAM的特定類型包括雙倍數(shù)據(jù)速率SDRAM(“DDR” )，或晚一代SDRAM(例如，“DDRn” )。
[0102]非易失性存儲器的類型包括但不限于以下類型:電可擦除可編程只讀存儲器(“EEPR0M”)、閃存(包括NAND和NOR閃存)、0N0閃存、磁阻或磁性RAM( “MRAM” )、鐵電RAM(“FRAM” )、全息介質(zhì)、奧弗辛斯基效應的/相變、納米晶體、納米管RAM(NRAM-Nantero)、MEMS掃描探針系統(tǒng)、MEMS懸臂式開關、聚合物、分子、納米浮柵和單電子。
[0103]在一個實施例中，控件102a、點102b、照片/視頻應用102c以及圖像102d的至少一些部分被存儲在存儲器(例如硬盤驅(qū)動器)中。當計算設備1800通電時，控件102a、點102b、照片/視頻應用102c以及圖像102d的各部分被加載入RAM以供處理器1802執(zhí)行。在各實施例中，其他應用可以存儲在硬盤驅(qū)動器上以供由處理器1802執(zhí)行。
[0104]以上描述的計算設備1800僅僅是以上參考圖1和各個其他附圖討論的計算設備
101、圖像捕捉設備104和眼睛跟蹤器105的一個示例。如上所解釋的，存在此處中所述的各實施例可以使用的各種其他類型的計算設備。
[0105]附圖中的流程圖和框圖示出根據(jù)各實施例的系統(tǒng)(裝置)、方法和計算機(軟件)程序的可能實現(xiàn)的體系結構、功能和操作。關于這個方面，流程圖或框圖中的每個框可表示一軟件組件。還應當注意，在一些替換實現(xiàn)中，框中提到的功能可不以附圖中提到的次序來發(fā)生。例如，連續(xù)示出的兩個框?qū)嶋H上可基本并發(fā)地執(zhí)行，或者取決于所涉及的功能，這些框有時可以相反的次序執(zhí)行。還注意，框圖和/或流程圖說明中的每個框以及框圖和/或流程圖示意中各框的組合可由基于專用硬件的系統(tǒng)來實現(xiàn)，基于專用硬件的系統(tǒng)執(zhí)行指定的功能或動作或?qū)Ｓ糜布蛙浖M件的組合。
[0106]在各實施例中，所示出和/或所描述的信號路徑是傳輸信號的介質(zhì)，諸如互連、傳導元件、觸頭、引腳、半導體基板中的區(qū)域、引線、金屬跡線/信號線或光電導體個體或其組合。在一個實施例中，多個信號路徑可以替代圖中所示的單個信號路徑，并且單個信號路徑可以替代圖中所示的多個信號路徑。在各實施例中，信號路徑可以包括總線和/或點到點連接。在一實施例中，信號路徑包括控制和數(shù)據(jù)信號線。在又一些其他實施例中，信號路徑是單向的(信號在一個方向上傳播)或雙向的(信號在兩個方向上傳播)或者是單向信號線和雙向信號線兩者的組合。
[0107]上述詳細描述只是為了說明和描述的目的而提出的。這并不旨在窮舉本發(fā)明系統(tǒng)或?qū)⒈景l(fā)明系統(tǒng)限于所公開的精確形式。鑒于上述教導，許多修改和變型都是可能的。如本文中使用的，單數(shù)形式的“一”、“一個”以及“其”旨在也包括復數(shù)形式，除非上下文明確地以其他方式指示。選擇所述實施例以最好地解釋本發(fā)明系統(tǒng)的原理及其實踐應用，從而允許本領域技術人員能夠在各種實施例中并采用各種適于所構想的特定用途的修改來最好地利用本發(fā)明系統(tǒng)。本發(fā)明系統(tǒng)的范圍旨在由所附權利要求書來定義。
【主權項】
1.一種獲得圖像的方法，所述方法包括: 接收指示在取景器中的注視方向的信息； 基于所述指示注視方向的信息確定在所述取景器中的興趣點； 基于所述興趣點來確定捕捉圖像的曝光量； 圍繞所述興趣點調(diào)整所述取景器中的視野；以及 以所述曝光量和視野捕捉所述圖像。2.如權利要求1所述的方法，其特征在于，指示所述注視的方向的所述信息包括注視向量，其中所述注視向量是從眼睛跟蹤器接收的。3.如權利要求2所述的方法，其特征在于，調(diào)整所述視野包括圍繞所述興趣點數(shù)字放大。4.如權利要求3所述的方法，其特征在于，確定所述曝光量包括確定抵達用于捕捉所述圖像的傳感器的光量，其中所述曝光量是以勒克斯(Iux)秒為單位來測量。5.如權利要求4所述的方法，其特征在于，所述圖像被包括在照片和視頻中的一者中。6.如權利要求5所述的方法，其特征在于，還包括將具有所述曝光量和視野的圖像存儲到處理器可讀存儲器中。7.如權利要求6所述的方法，其特征在于，所述取景器包括顯示器并且權利要求6的方法還包括: 在所述處理器可讀存儲器中檢索具有所述曝光量和視野的所述圖像；以及 在所述顯示器上提供具有所述曝光量和視野的所述圖像。8.如權利要求7所述的方法，其特征在于，所述眼睛跟蹤器、取景器、傳感器和處理器可讀存儲器被封裝在相機、平板、電話和眼鏡中的一者中。9.如權利要求1所述的方法，其特征在于，所述指示注視方向的信息是從眼睛跟蹤器接收的，其中確定所述曝光量包括確定抵達捕捉所述圖像的傳感器的光量，還包括: 在所述處理器可讀存儲器中存儲具有所述曝光量和視野的所述圖像； 在所述處理器可讀存儲器中檢索具有所述曝光量和視野的所述圖像；以及 在所述取景器上提供具有所述曝光量和視野的所述圖像。10.如權利要求1所述的方法，其特征在于，進一步包括: 基于所述興趣點在具有所述曝光量和視野的所述圖像上執(zhí)行圖像增強效果。11.一種裝置，包括: 取景器； 至少一個傳感器，所述傳感器響應于指示曝光量的第一信號和指示在所述取景器中要從其縮放的點的第二信號捕捉所述取景器中的圖像； 至少一個眼睛跟蹤器，輸出指示在所述取景器中的注視的方向的注視向量； 至少一個處理器；以及 用于存儲處理器可讀指令的至少一個處理器可讀存儲器， 其中所述至少一個處理器執(zhí)行所述處理器可讀指令以: 接收所述注視向量； 基于所述注視向量確定在所述取景器中的興趣點； 基于所述興趣點確定曝光量； 確定在所述取景器中的要從其縮放的點；以及 輸出指示所述曝光量的所述第一信號和指示在所述取景器中要從其縮放的點的所述第二信號，其中所述要從其縮放的點是所述興趣點。12.如權利要求11所述的裝置，其特征在于，所述裝置包括眼鏡，并且所述取景器被投射在眼鏡的鏡片上。13.如權利要求11所述的裝置，其特征在于，所述裝置包括蜂窩電話，并且所述取景器被提供在所述蜂窩電話的觸摸屏上。14.如權利要求11所述的裝置，其特征在于，所述至少一個處理器執(zhí)行所述處理器可讀指令以進行以下操作: 將所述圖像存儲在所述至少一個處理器可讀存儲器中；以及 從所述至少一個處理器可讀存儲器中檢索要在所述取景器上觀看的所述圖像。15.如權利要求11所述的裝置，其特征在于，所述至少一個處理器執(zhí)行所述處理器可讀指令以進行以下操作: 基于所述興趣點在所述圖像上執(zhí)行圖像增強效果。
【文檔編號】H04N5/232GK105900415SQ201480072875
【公開日】2016年8月24日
【申請日】2014年12月24日
【發(fā)明人】Q·S·C·米勒, S·G·拉塔, D·斯蒂里
【申請人】微軟技術許可有限責任公司