專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術領域：
本公開涉及圖像處理裝置、圖像處理方法和程序。
背景技術：
用于輔助個人日程管理任務的電子設備已經被廣泛使用，而與其是否用于商業(yè)用途或個人用途無關。例如，常用的PDA (個人數字助理)和智能電話通常配備有用于日程管理的某些種類的應用。存在許多這樣的情況，其中，在PC (個人計算機) 上使用用于管理日程的應用。許多類型的上述電子設備除了日程管理功能之外還配備有通信功能。因此，用戶向其他用戶的設備發(fā)送日程數據，使得他/她可以與其他用戶共享日程或協調日程。而且，作為用于在用戶之間共享或交換日程的技術的示例，下面的專利文獻I和2中描述的技術是已知的。引用列表專利文獻PTL I :日本專利申請公開第2005-004307號PTL 2 :日本專利申請公開第2005-196493號

發(fā)明內容
技術問題然而，在上述現有技術中，在電子設備的屏幕上顯示日程。因為這個原因，多個用戶不容易在使用便攜式或小型設備時參考同一日歷(根據情形指向它)以協調日程。而且，存在下述問題當使用投影儀將圖像投影在屏幕上時，其他用戶不僅看到要共享的日程，而且甚至看到私人日程。另一方面，用于使用物理日歷來管理日程而不用電子設備輔助的方法具有免于對電子設備的屏幕施加的限制的優(yōu)點，但是伴隨有如下困難需要在日歷上書寫日程并且改變日程或共享信息麻煩。因此，期望提供一種新穎和改進的圖像處理裝置、圖像處理方法和程序，其允許多個用戶容易地使用物理日歷來共享或協調日程。對問題的解決方案因此，提供了一種用于將日程數據疊加在時間測量對象上的設備。該設備包括接收單元，用于接收用于表示輸入圖像的圖像數據。該設備還包括檢測單元，用于根據在圖像數據中檢測到的時間測量對象的特征來檢測輸入圖像中的時間測量對象的存在。該設備還包括輸出裝置，用于響應于檢測到輸入圖像中的時間測量對象的存在，輸出用于疊加在時間測量對象的用戶視圖上的日程數據。在另一方面，提供了一種用于將日程數據疊加在時間測量對象上的方法。該方法包括接收用于表示輸入圖像的圖像數據。該方法還包括根據在圖像數據中檢測到的時間測量對象的特征來檢測輸入圖像中的時間測量對象的存在。該方法還包括響應于檢測到輸入圖像中的時間測量對象的存在，提供用于疊加在所述時間測量對象的用戶視圖上的日程數據。在另一方面，提供了一種有形地實現的非暫時性計算機可讀存儲介質，其包含指令，該指令當被處理器執(zhí)行時使得計算機執(zhí)行用于將日程數據疊加在時間測量對象上的方法。該方法包括接收用于表示輸入圖像的圖像數據。該方法還包括根據在圖像數據中檢測到的時間測量對象的特征來檢測輸入圖像中的時間測量對象的存在。該方法還包括響應于檢測到輸入圖像中的時間測量對象的存在，提供用于疊加在所述時間測量對象的用戶視圖上的日程數據。在另一方面，提供了一種用于將日程數據疊加在時間測量對象上的設備。該設備包括第一接收單元，用于接收用于表示輸入圖像的圖像數據，該輸入圖像包括時間測量對象。該設備還包括第二接收單元，用于接收用于疊加在時間測量對象的用戶視圖上的日程數據。該設備還包括生成單元，用于生成顯示信息，該顯示信息用于顯示所接收到的疊加 在時間測量對象的用戶視圖上的日程數據。在另一方面，提供了一種系統。該系統包括圖像處理單元，其被配置為獲得用于表示輸入圖像的圖像數據，并且生成疊加在時間測量對象的用戶視圖上的日程數據的顯示信息。該系統還包括檢測單元，其被配置為根據圖像數據中的時間測量對象的特征來檢測輸入圖像中的時間測量對象的存在，并且響應于檢測到輸入圖像中的時間測量對象的存在，向圖像處理設備輸出用于疊加在時間測量對象的用戶視圖上的日程數據。發(fā)明的有益效果如上所述，根據特定的公開的實施例的圖像處理裝置、圖像處理方法和程序允許多個用戶容易地使用物理日歷來共享或協調日程。


圖I是圖示根據一個實施例的圖像處理系統的概要的示意圖。圖2是圖示根據一個實施例的圖像處理裝置的配置的一個示例的框圖。圖3是圖示根據一個實施例的學習裝置的配置的一個示例的框圖。圖4是示出根據一個實施例的學習處理的說明性視圖。圖5是示出日歷共有的特征量的一個示例的說明性視圖。圖6是示出輸入圖像的一個示例的說明性視圖。圖7是示出與眼睛方向對應的特征量集合的一個示例的說明性視圖。圖8是示出日歷的檢測結果的一個示例的說明性視圖。圖9是示出日程數據的一個示例的說明性視圖。圖10是示出根據一個實施例的輸出圖像的第一示例的說明性視圖。圖11是示出根據一個實施例的輸出圖像的第二示例的說明性視圖。圖12是示出根據一個實施例的手勢識別處理的說明性視圖。圖13是圖示根據一個實施例的圖像處理流程的一個示例的流程圖。圖14是圖示根據一個實施例的手勢識別處理流程的一個示例的流程圖。
具體實施方式
在下文中，將參考附圖詳細描述實施例。注意，在本說明書和附圖中，使用相同的附圖標號表示具有基本上相同的功能和結構的結構元件，并且省略這些結構元件的重復說明。而且，將根據下面的順序描述“實施例的說明”。I.系統的概要2.圖像處理裝置的配置示例3.圖像處理流程4.總結〈I.系統的概要> 首先，將參考圖I描述根據一個實施例的圖像處理裝置的概要。圖I是圖示根據一個實施例的圖像處理系統I的概要的示意圖。參考圖1，圖像處理系統I包括由用戶Ua使用的圖像處理裝置IOOa和由用戶Ub使用的圖像處理裝置100b。例如，圖像處理裝置IOOa與安裝在用戶Ua的頭上的成像裝置102a和頭戴式顯示器(HMD) 104a連接。成像裝置102a指向用戶Ua的眼睛方向，對真實世界進行成像并且向圖像處理裝置IOOa輸出一系列輸入圖像。HMD 104a向用戶Ua顯示從圖像處理裝置IOOa輸入的圖像。由HMD104a顯示的圖像是由圖像處理裝置IOOa生成的輸出圖像。HMD 104a可以是透視型顯示器或非透視型顯示器。例如，圖像處理裝置IOOb與安裝在用戶Ub的頭上的成像裝置102b和頭戴式顯示器(HMD) 104b連接。成像裝置102b指向用戶Ub的眼睛方向，對真實世界進行成像并且向圖像處理裝置IOOb輸出一系列輸入圖像。HMD 104b向用戶Ub顯示從圖像處理裝置IOOb輸入的圖像。由HMD104b顯示的圖像是由圖像處理裝置IOOb生成的輸出圖像。HMD 104b可以是透視型顯示器或非透視型顯示器。圖像處理裝置IOOa和IOOb可以經由有線通信連接或無線電通信連接彼此進行通信。圖像處理裝置IOOa與圖像處理裝置IOOb之間的通信可以經由例如P2P (對等)方法直接進行，或者經由諸如路由器或服務器(未示出)的其他裝置間接進行。在圖I的示例中，在用戶Ua與用戶Ub之間圖示存在于真實世界中的日歷3(即時間測量對象)。如稍后將詳細描述的，圖像處理裝置IOOa生成這樣的輸出圖像，該輸出圖像是通過將有關用戶Ua擁有的日程的信息元素疊加在日歷3上而獲得的。應當明白，在特定的實施例中，可以取代日歷3而使用不同的時間測量對象。例如，時間測量對象可以包括時鐘、計時器(例如，手表)、時刻表或用于時間測量的其他這樣的對象。類似地，圖像處理裝置IOOb生成這樣的輸出圖像，該輸出圖像是通過將有關用戶Ub擁有的日歷的信息元素疊加在日歷3上而獲得的。而且，在本實施例中，如稍后將詳細描述的，引入了用于在圖像處理裝置IOOa與圖像處理裝置IOOb之間交換日程數據的簡單接口。另外，圖像處理裝置IOOa和圖像處理裝置IOOb不限于圖I中所示的示例。例如，可以使用具有攝像機的移動終端來實現圖像處理裝置IOOa或100b。在該情況下，具有攝像機的移動終端對真實世界進行成像，并且由該終端來執(zhí)行圖像處理，然后在該終端的屏幕上顯示輸出圖像。而且，圖像處理裝置IOOa或IOOb可以是其他類型的裝置，包括PC(個人計算機)或游戲終端。例如，在特定實施例中，圖像處理裝置IOOa或IOOb可以是連接到諸如因特網的網絡的遠程服務器。遠程服務器可以執(zhí)行如下步驟經由網絡接收圖像數據，并且在該圖像數據中檢測日歷3。例如，遠程服務器然后可以向成像裝置102b或HMD 104b提供日程數據。在本說明書的下面的說明中，當不需要區(qū)分圖像處理裝置IOOa和圖像處理裝置IOOb時，通過省略作為最后符號的字母表字母，圖像處理裝置IOOa和IOOb被統稱為圖像處理裝置100。而且，同樣的將適用于成像裝置102a和102b (成像裝置102)、HMD 104a和104b (HMD 104)和其他元件。可以參與圖像處理系統I的圖像處理裝置100的數量不限于圖I中的示例中圖示的數量，而是可以是3或更多。即，例如，由第三用戶使用的第三圖像處理裝置100還可以包括在圖像處理系統I中。<2.圖像處理裝置的配置示例>接下來，將參考圖2至圖12描述根據本實施例的圖像處理系統100的配置。圖2是圖示根據本實施例的圖像處理裝置100的配置的一個示例的框圖。參考圖2，圖像處理裝置100包括存儲單元110、輸入圖像獲得單元130 (即，接收單元)、日歷檢測單元140、分析單元150、輸出圖像生成單元160 (即，輸出裝置或輸出終端)、顯示單元170、手勢識別單元 180和通信單元190。在此使用的術語“單元”可以是軟件模塊、硬件模塊、或軟件模塊和硬件模塊的組合。另外，在特定實施例中，可以以一個或更多個裝置或服務器實現圖像處理裝置100的各個單元。例如，可以以不同的裝置實現日歷檢測單元140、分析單元150或輸出圖像生成單元160。(存儲單元)存儲單元110使用諸如硬盤或半導體存儲器的存儲器介質來存儲用于由圖像處理裝置100執(zhí)行的圖像處理的程序或數據。例如，由存儲單元110存儲的數據包括日歷112共有的特征量，其指示多個日歷共有的外形特征。通過使用日歷圖像和非日歷圖像作為教師圖像的預先學習處理，獲得日歷共有的特征量。而且，由存儲單元110存儲的數據包括以標有日期的信息的列表的形式的日程數據116。稍后將參考圖9描述日程數據的一個示例。(日歷共有的特征量)圖3是圖示學習裝置120的配置的一個示例的框圖，該學習裝置120用于獲得由存儲單元110預先存儲的日歷112共有的特征量。圖4是示出由學習裝置120執(zhí)行的學習處理的說明性視圖。圖5是示出作為學習處理的結果獲得的日歷112共有的特征量的一個示例的說明性視圖。參考圖3，學習裝置120包括用于學習的存儲器122和學習單元128。學習裝置120可以是圖像處理裝置100的一部分或與圖像處理裝置100不同的裝置。用于學習的存儲器122預先存儲教師數據組124。教師數據124包括多個日歷圖像，其中每個日歷圖像示出真實世界的日歷；以及，多個非日歷圖像，其中每個非日歷圖像示出除日歷以外的對象。當學習裝置120執(zhí)行學習處理時，用于學習的存儲器122向學習單元128輸出該教師數據組124。學習單元128是諸如SVM (支持向量機)或神經網絡的公知教師，并且根據學習算法確定日歷112共有的特征量，其指示多個日歷共有的外形特征。由學習單元128輸入的用于學習處理的數據輸入是在上述教師數據組124的每個中設定的特征量。更具體地，學習單元128在教師圖像的每個中設定多個特征點，并且將特征點的坐標用作教師圖像中的每個的特征量的至少一部分。作為學習處理的結果輸出的數據包括在抽象日歷的外形(即，許多日歷共有的外形)上設定的多個特征點的坐標。圖4中圖示由學習單元128執(zhí)行的學習處理流程的概要。在圖4中的左上處，圖示包括在教師數據組124中的多個日歷圖像124a。首先，學習單元128在多個日歷圖像124a的每個中設定多個特征點。設置特征點的方法可以是任意方法，例如，使用已知Harris算子或Moravec算子的方法或FAST特征檢測方法。隨后，學習單元128根據設定的特征點來確定每個日歷圖像126的特征量。除了每個特征點的坐標之外，每個日歷圖像126a的特征量還可以包括附加的參數值，例如每個特征點的亮度、對比度和方向。通過將由David G. Lowe在“Distinctive Image Features from Scale-Invariant Keypoints，，(theInternational Journal of Computer Vision, 2004)中描述的獨特的不變特征用作特征量，將實現在稍后描述的日歷檢測處理期間的針對圖像噪聲、大小變化、旋轉和照明變化的高健壯性。在圖4中的左下側，圖示包括在教師數據組124中的多個非日歷圖像124b。學習單元128在這樣的多個非日歷圖像124b中設定特征點，并且以相同的方式確定每個非日歷圖像126b的特征量。隨后，學習單元128在學習算法中依次輸入每個日歷圖像126a的特征量和每個非日歷圖像126b的特征量。作為機器學習的重復的結果，算出日歷112共有 的特征量，并且獲得日歷112共有的特征量。參考圖5，概念地圖示日歷112共有的特征量的內容。通常，許多日歷(特別是月歷)具有用于指示年和月的標簽、星期的日子的標題和每個日期的框。因此，在圖5的示例中，日歷112共有的特征量包括這樣的特征點的坐標,這些特征點分別對應于用于指示月和年的標簽的角、星期的日子的標題的角、每個日期的框的角和日歷本身的角。另外，這里圖示主要用于檢測月歷的由日歷112共有的特征量的示例。然而，可以執(zhí)行諸如月歷、星期日歷和示出整個一年的日歷的每種類型的日歷的學習處理，并且可以獲得每種類型的日歷的由日歷112共有的特征量。存儲單元110預先存儲作為這樣的學習處理的結果獲得的由日歷112共有的特征量。然后，當圖像處理裝置100執(zhí)行圖像處理時，存儲單元110向日歷檢測單元140輸出日歷112共有的特征量。(輸入圖像獲得單元)輸入圖像獲得單元130獲得使用成像裝置102進行成像的一系列輸入圖像。圖6圖示由輸入圖像獲得單元130獲得的、作為一個示例的輸入圖像頂01。在輸入圖像頂01中示出日歷3。輸入圖像獲得單元130向日歷檢測單元140、分析單元150和手勢識別單元180依次輸出所獲得的這樣的輸入圖像。(日歷檢測單元)日歷檢測單元140使用由存儲單元110存儲的上述由日歷112共有的特征量，來檢測在從輸入圖像獲得單元130輸入的輸入圖像中所示的日歷。更具體地，日歷檢測單元140首先如在上述學習處理中那樣確定輸入圖像的特征量。例如，輸入圖像的特征量包括在輸入圖像中設定的多個特征點的坐標。接下來，日歷檢測單元140將輸入圖像的特征量與日歷112共有的特征量進行核對，作為其結果，日歷檢測單元140檢測輸入圖像中所示的日歷。例如，日歷檢測單元140還可以檢測輸入圖像中所示的日歷的方向。當檢測輸入圖像中所示的日歷的方向時，日歷檢測單元140使用日歷共有的特征量，其包括分別與多個眼睛方向對應的多個特征量集合。圖7是示出與眼睛方向對應的特征量集合的一個示例的說明性視圖。在圖7的中央，示出用于圖示抽象日歷的外形的日歷CO(基本特征量集合)。假定通過將從前側進行成像獲得的日歷圖像和非日歷圖像作為教師圖像，使用所學習的特征量來呈現日歷CO。日歷檢測單元140對包括在這樣的由日歷112共有的特征量中的特征點的坐標進行仿射變換，或者對坐標進行3D旋轉，以生成分別與多個眼睛方向對應的多個特征量集合。在圖7的示例中，分別圖示與眼睛方向阿爾發(fā)I至阿爾發(fā)8對應的八個特征量集合Cl至CS。因此，例如，日歷檢測單元140將基本的特征量集合CO和多個特征量集合Cl至CS中的每個與輸入圖像的特征量進行核對。在該情況下，如果特征量集合C4匹配輸入圖像中的特定區(qū)域，則日歷檢測單元140可以識別該區(qū)域中示出了日歷，并且日歷的方向對應于眼睛方向阿爾發(fā)4的方向。圖8是示出日歷的檢測結果的一個示例的說明性視圖。參考圖8，在輸入圖像IMO I內示出日歷3的區(qū)域Rl中圖示虛線框。通過從與日歷3的前方向不同的眼睛方向對日歷3進行成像來獲得輸入圖像IM01。作為將圖7中例示的多個特征量集合與輸入圖像的特征量進行核對的結果，日歷檢測單元140識別這樣的輸入圖像頂01中的日歷3的位置和方向。(分析單元)分析單元150分析由日歷檢測單元140檢測到的日歷的每個日期位于圖像中的何處。更具體地，例如，分析單元150使用OCR (光學字符識別)技術來識別由日歷檢測單元140檢測到的日歷所指示的月、星期的日子和日期中的至少之一。例如，分析單元150首先將光學字符識別(OCR)應用于由日歷檢測單元140檢測到的輸入圖像中的日歷的區(qū)域(例如，圖8中所示的區(qū)域R1)。在圖8的示例中，通過應用光學字符識別(0CR)，可以讀取用于指示日歷3的年和月“2010年4月”的標簽和在每個日期的框中的數字。結果，分析單元150可以識別日歷3是2010年4月的日歷，并且識別日歷3的每個日期的框位于輸入圖像中何處。而且，例如，分析單元150可以根據有關每年和每月星期的日子和日期的知識，分析由日歷檢測單元140檢測到的日歷的每個日期位于圖像中何處。更具體地，例如，已知2010年4月I日是星期四。因此，分析單元150可以根據日歷3上的特征點的坐標來識別每個日期的框，并且即使其不使用光學字符識別(OCR)讀取每個日期的框中的數字，也可識別“2010年4月I日”位于何處。而且，例如，分析單元150可以根據使用光學字符識別(OCR)而識別的日期的位置來估計年和月。(輸出圖像生成單元)輸出圖像生成單元160生成通過下述方式獲得的輸出圖像將包括在以標有日期的信息的列表的形式的日程數據中的一個或更多個信息元素與對應于每個信息元素的日期關聯，并且根據分析單元150的分析結果將所關聯的信息元素疊加在日歷上。在該情況下，輸出圖像生成單元160可以根據由日歷檢測單元140檢測到的日歷的方向，改變包括在輸出圖像中的日程數據中的信息元素的顯示。(日程數據)圖9圖示由存儲單元110存儲的日程數據119的一個示例。參考圖9，日程數據116具有5個字段“擁有者”、“日期”、“標題”、“類別”和“詳情”?！皳碛姓摺北硎旧擅總€日程項目(日程數據的每條記錄)的用戶。在圖9的示例中，第一至第三日程項目的擁有者是用戶Ua。而且，第四日程項目的擁有者是用戶Ub。“日期”表示與每個日程項目對應的日期。例如，第一日程項目指示2010年4月6日的日程?！叭掌凇弊侄慰梢灾甘揪哂虚_始日期和結束日期的時間段，而不是單個日期。通過用于直接指示在每個日程項目中描述的日程內容的字符串來形成“標題”。例如，第一日程項目指示在2010年4月6日舉行小組會議?！邦悇e”是用于指示是否要向除擁有者以外的用戶公開每個日程項目的標記?？梢愿鶕院竺枋龅挠脩舻氖謩輰⒃凇邦悇e”中被指定為“公開”的日程項目發(fā)送到其他用戶的裝置。另一方面，不將在“類別”中被指定為“不公開”的日程項目發(fā)送 到其他用戶的裝置。例如，第二日程項目被指定為“不公開”?！霸斍椤敝甘久總€日程項目的日程內容的詳情。例如，可以在“詳情”字段中存儲可選的信息元素，例如會議的開始時間、為準備該日程“要做”的內容。輸出圖像生成單元160從存儲單元110讀取這樣的日程數據，并且將包括在讀取的日程數據中的諸如標題或擁有者的信息元素與對應于輸出圖像中的每個信息元素的日期關聯。(顯示單元)顯示單元170使用HMD 104向用戶顯示由輸出圖像生成單元160生成的輸出圖像。(輸出圖像的示例)圖10和圖11分別顯示由輸出圖像生成單元160生成的輸出圖像的示例。圖10中圖示的輸出圖像頂11是這樣的示例，其中，日程項目的顯示方向根據由日歷檢測單元140檢測到的日歷的方向而傾斜。另一方面，圖11中圖示的輸出圖像頂12是不依賴于日歷的方向的顯示的示例。參考圖10，包括在圖9中例示的日程數據116中的四個日程項目以如下狀態(tài)顯示在輸出圖像頂11中在該狀態(tài)中，四個日程項目中的每個與對應的日期關聯。例如，在第六天的框中顯示第一日程項目的標題、即“小組會議”(參考D1)。另外，在第17天的框中顯示第二日程項目的標題、S卩“生日聚會”(參考D2)。另外，在第19天的框中顯示第三日程項目的標題、即“參觀公司”(參考D3)。另外，在第28天的框中顯示第四日程項目的標題、SP“歡迎聚會”和作為該項目的擁有者的用戶姓名“Ub”(參考D4)。當它們全部以根據日歷3的方向而傾斜的狀態(tài)顯示時，向用戶提供用于示出好像在物理日歷中書寫信息的圖像。參考圖11，包括在圖9中例示的日程數據116中的四個日程項目以如下狀態(tài)顯示在輸出圖像IM12中在該狀態(tài)中，四個日程項目中的每個以相同的方式與對應的日期關聯。在圖11中圖示的示例中，日程項目中的每個不根據日歷3的方向而傾斜，而是使用詞氣球來顯示。在圖10和圖11中描述的示例中，假定生成輸出圖像Mll或頂12的裝置是圖像處理裝置100a。在該情況下，由圖像處理裝置IOOa向用戶Ua顯示上述四個日程項目。另一方面，即使當用戶Ua和用戶Ub看到相同的物理日歷3時，除了要從圖像處理裝置IOOa向用戶Ub發(fā)送的項目之外，圖像處理裝置IOOb不顯示除用戶Ub生成的日程項目以外的項目。因此，共享一個物理日歷的用戶Ua和用戶Ub可以在根據情形確認日程并且指向日歷的同時討論日程，而不會向其他方公開個人的日程。這里，圖9中例示的第一至第三日程項目的擁有者是用戶Ua，并且第四日程項目的擁有者是用戶Ub?？梢酝ㄟ^使用手勢的接口或接下來描述的其他用戶接口，根據來自用戶的指令在圖像處理裝置100之間交換由與裝置本身的用戶不同的用戶生成的日程項目。另外，例如，如果HMD 104為透視型，則輸出圖像生成單元160僅生成要疊加在日歷3上的日程項目中的每個的顯示D l至D4作為輸出圖像。另一方面，如果HMD 104為非透視型，則輸出圖像生成單元160生成通過將日程項目中的每個的顯示Dl至D4疊加在輸入圖像上而獲得的輸出圖像。(手勢識別單元)手勢識別單元I80識別朝向由日歷檢測單元140在輸入圖像中檢測到的日歷的用戶真實世界手勢。例如，手勢識別單元180可以監(jiān)控疊加在輸入圖像中的日歷上的手指區(qū)域，檢測手指區(qū)域的大小變化，并且識別已經指定了特定的日程項目。例如，可以通過皮膚顏色、或與預先存儲的手指圖像進行核對，來檢測要疊加在日歷上的手指區(qū)域。另外，例如，當具有大于預定閾值的大小的手指區(qū)域連續(xù)地指向同一日期時，手勢識別單元180可以在手指區(qū)域的大小已經暫時變小的時刻識別用戶輕擊了日期。手勢識別單元180可以附加地識別除輕擊手勢以外的任意手勢，例如以指尖圍繞一個日期的周圍劃出圓圈的手勢，或以指尖拖動一個日程項目的手勢。這些手勢之一被預先設定為用于指示向其他圖像處理裝置100發(fā)送日程項目的命令。例如，其他類型的手勢被預先設定為用于指示所指定的日程項目的詳細顯示的命令。如果手勢識別單元180在輸入圖像中示出的用戶手勢中識別被設定為用于指示日程項目的發(fā)送的命令的手勢，則它請求通信單元190發(fā)送指定的日程項目。(通信單元)通信單元190向其他圖像處理裝置100發(fā)送由用戶在圖像處理裝置100的用戶的日程數據中指定的數據。更具體地，例如，如果手勢識別單元180已經識別了用于指示發(fā)送日程項目的手勢，則時間測量對象通信單元190選擇由該手勢指定的日程項目，并且向其他圖像處理裝置100發(fā)送所選擇的日程項目。在圖12的示例中，在輸出圖像IM3中示出用戶的手指區(qū)域Fl。另外，盡管在輸入圖像中示出了手指區(qū)域F1，但是在與輸出圖像IM13不同的輸入圖像中未示出日程項目Dl至D4。另外，例如，手勢識別單元180識別輕擊4月19日的日期的指示的手勢，通信單元190從存儲單元110的日程數據116獲得與4月19日的日期對應的日程項目。通信單元190還檢查所獲得的日程項目的“類別”。然后，通信單元190向其他圖像處理裝置100發(fā)送該日程項目，除非所獲得的日程項目在“類別”中被指定為“不公開”。另外，當已經從其他圖像處理裝置100發(fā)送了日程項目時，通信單元190接收該日程項目。然后，通信單元190將所接收到的日程項目存儲在存儲單元110的日程數據116中。例如，圖9中的第四日程項目是在用戶Ua的圖像處理裝置IOOa中從用戶Ub的圖像處理裝置IOOb接收到的日程項目。以這種方式，可以根據朝向由日歷檢測單元140檢測到的日歷的用戶手勢，在多個圖像處理裝置100之間發(fā)送和接收日程數據，因此使得能夠容易地共享日程。而且，關于要共享的日程的信息元素被圖像處理裝置100中的每個疊加在物理日歷上，這允許用戶容易協調日程，而不用在日歷中實際書寫字母。<3.圖像處理流程〉隨后，將參考圖13和圖14描述由根據本實施例的圖像處理裝置100執(zhí)行的圖像處理流程。圖13是圖示由圖像處理裝置100執(zhí)行的圖像處理流程的示例的流程圖。參考圖13，輸入圖像獲得單元130首先獲得由成像裝置102進行成像的輸入圖像(步驟S102)。隨后，日歷檢測單元140在由輸入圖像獲得單元130獲得的輸入圖像中設定多個特征點，并且確定輸入圖像的特征量(步驟S104)。隨后，日歷檢測單元140將輸入圖像的特征量與日歷共有的特征量進行核對(步驟S106)。如果這里作為核對的結果在輸入圖像中未檢測到日歷，則將跳過隨后的處理。另一方面，如果在輸入圖像中檢測到日歷，則處理將進行到步驟SllO (步驟S108)。如果日歷檢測單元140已經在輸入圖像中檢測到日歷，則分析單元150分析所檢 測到的日歷的日期位于輸入圖像中何處(步驟S110)。隨后，輸出圖像生成單元160從存儲單元110獲得日程數據116 (步驟S112)。隨后，輸出圖像生成單元160根據作為分析單元150的分析結果的在日歷上的日期的位置，來確定包括在日程數據中的每個日程項目顯示在何處(步驟S114)。然后，輸出圖像生成單元160生成通過在所確定的顯示位置處疊加每個日程項目而獲得的輸出圖像，并且使得顯示單元170顯示所生成的輸出圖像(步驟S116)。其后，手勢識別單元180還將執(zhí)行手勢識別處理(步驟S118)。將參考圖14進一步描述由手勢識別單元180執(zhí)行的手勢識別處理流程。將針對由輸入圖像獲得單元130獲得的一系列輸入圖像中的每個，重復在13中所示的圖像處理。例如，如果可以重新使用前一個幀中的圖像處理的結果，則當輸入圖像還沒有從前一巾貞改變時，可以省略圖13中所不的圖像處理的一部分。圖14是圖示在由圖像處理裝置100執(zhí)行的圖像處理中的手勢識別處理的詳細流程的一個示例的流程圖。參考圖14，手勢識別單元180首先從輸入圖像檢測手指區(qū)域(步驟S202)。然后，手勢識別單元180根據所檢測到的手指區(qū)域的位置來確定用戶的手指是否指向日歷的任何日期(步驟S204)。如果這里用戶的手指未指向日歷的任何日期，或者還沒有檢測到具有大于預定閾值的大小的手指區(qū)域，則將跳過隨后的處理。另一方面，如果用戶的手指指向日歷的任何日期，則處理將進行到步驟S206。然后，手勢識別單元180根據多個輸入圖像上的手指區(qū)域中的變化來識別用戶的手勢(步驟S206)。這里識別的手勢可以是上面例示的輕擊手勢等。隨后，手勢識別單元180確定所識別的手勢是否是與日程發(fā)送命令對應的手勢(步驟S208 )。如果這里識別的手勢是與日程發(fā)送命令對應的手勢，則通信單元190在對應于由手勢指定的日期的日程項目中獲得可以公開的日程項目?？梢怨_的日程項目是在日程數據116中的“類別”中被指定為“公開”的項目。如果這里不存在可以公開的日程項目，則將跳過隨后的處理(步驟S210)。另一方面，如果存在與由手勢指定的日期對應的可以公開的日程項目，則通信單元190向另一個其他圖像處理裝置100發(fā)送該日程項目(步驟S212)。如果步驟S206中識別的手勢不是對應于日程發(fā)送命令的手勢，則手勢識別單元180確定所識別的手勢是否是對應于詳情顯示命令的手勢(步驟S214)。如果這里所識別的手勢是對應于詳情顯示命令的手勢，則通過輸出圖像生成單元160和顯示單元170顯示由手勢指定的日程項目的詳情(步驟S216)。另一方面，如果所識別的手勢不是對應于詳情顯示命令的手勢，則手勢識別處理結束。另外，盡管已經參考圖14示出了由用戶的手勢指示日程項目的發(fā)送及其詳情的顯示的示例，但是可以由手勢指示除上述以外的圖像處理裝置100的操作。圖像處理裝置100還可以根據輸入圖像中除手指以外的對象的移動來識別來自用戶的指令。圖像處理裝置100還可以經由諸如小鍵盤或10鍵小鍵盤的附加設置在圖像處理裝置100中的輸入裝置來接受來自用戶的指令。<4.總結〉迄今為止，已經參考圖I至14描述了根據一個實施例的圖像處理系統I和圖像處理裝置100。根據本實施例，使用用于指示多個日歷共有的外形特征的由日歷共有的特征量 來檢測輸入圖像中所示的日歷。另外，分析所檢測到的日歷的每個日期位于圖像中何處，并且包括在日程數據中的信息元素以與對應于該信息元素的日歷上的日期關聯的狀態(tài)來顯示。因此，用戶可以容易地使用物理日歷確認日程，而沒有施加于電子設備的任何限制。即使當多個用戶參考一個物理日歷時，他們也可以容易地協調日程，而不用在向每個用戶顯示個人日程時在日歷中實際書寫字母。另外，在本實施例中，圖像處理裝置100可以向其他圖像處理裝置100僅發(fā)送如下日程項目，該日程項目用于指示在裝置本身的用戶的日程中的不公開的日程。因此，當用戶共享日程時，將不向其他用戶公開個人用戶的私人日程，這與他們打開寫有他們的日程的他們的預約簿的情況不同。另外，在本實施例中，日歷共有的特征量是包括在抽象日歷的外形上設定的多個特征點的坐標的特征量。許多通常使用的日歷在外形上類似。因為這個原因，即使當預先確定不是單獨日歷的特征量而是日歷共有的特征量時，圖像處理裝置100也可以通過將日歷共有的特征量與輸入圖像的特征量進行核對，來靈活地檢測許多真實世界的各種日歷。所以，用戶可以確認各種日歷上的日程，例如他/她的家中日歷、他/她的辦公室日歷和要參觀的公司的日歷，從而享受所公開的實施例的優(yōu)點。另外，在本實施例中，圖像處理裝置100使用分別與多個眼睛方向對應的多個特征量集合來檢測輸入圖像中的日歷。因此，即使當用戶未位于日歷前時，圖像處理裝置100也可以在一定程度上適當地檢測日歷。另外，本說明書主要描述了這樣的示例，其中，手勢識別單元180識別輸入圖像中所示的用戶的手勢，以便圖像處理裝置100可以接受來自用戶的指令。然而，圖像處理裝置100可以經由諸如指點裝置或觸摸板的、設置在圖像處理裝置100中的輸入部件而不是用戶的手勢來接受來自用戶的指令。而且，通?？梢允褂密浖韺崿F本說明書中描述的由圖像處理裝置100執(zhí)行的一系列處理。例如，構成實現一系列處理的軟件的程序被預先存儲在圖像處理裝置100內部或外部設置的有形地實現的非暫時性存儲介質中。例如，每個程序然后在執(zhí)行期間被讀入圖像處理裝置100的RAM (隨機存取存儲器)中被當前，并且被諸如CPU (中央處理單元)的處理器執(zhí)行。
本領域內的技術人員應當明白，可以根據設計要求和其他因素來進行各種修改、組合、子組合和替換，只要它們在所附的權利要求或其等同物的范圍內即可。[附圖標記列表]100 圖像處理裝置102 圖像處理裝置104 HMD110 存儲單元112 日歷共有的特征量116 日程數據
130 輸入圖像獲得單元140 日歷檢測單元150 分析單元160 輸出圖像生成單元190 通信單元
權利要求
1.一種設備，包括 接收單元，用于接收用于表示輸入圖像的圖像數據； 檢測單元，用于根據在所述圖像數據中檢測到的時間測量對象的特征來檢測所述輸入圖像中的所述時間測量對象的存在；以及 輸出裝置，用于響應于檢測到所述輸入圖像中的所述時間測量對象的存在，輸出用于疊加在所述時間測量對象的用戶視圖上的日程數據。
2.根據權利要求I所述的設備，其中，所述時間測量對象是日歷對象，并且所述日程數據包括與用戶關聯的日程數據。
3.根據權利要求2所述的設備，包括 分析單元，用于分析所述圖像數據以檢測與存儲在存儲單元中的日歷對象對應的日歷特征。
4.根據權利要求3所述的設備，其中，所述日歷特征包括與所述用戶的多個視角對應的日歷特征。
5.根據權利要求4所述的設備，其中，所疊加的日程數據的透視圖被選擇為對應于所述日歷對象的所述用戶視圖的角度。
6.根據權利要求5所述的設備，其中，根據檢測到的日歷特征的位置來確定所述日歷對象的所述用戶視圖。
7.根據權利要求2所述的設備，其中，所述用戶是第一用戶，并且所述設備包括 通信單元，用于通過向與第二用戶關聯的接收設備傳送所述日程數據來與所述第二用戶共享所述數據。
8.根據權利要求7所述的設備，其中，所述通信單元響應于檢測到所述第一用戶或所述第二用戶之一朝向所述日歷對象的手勢，向所述接收設備傳送所述日程數據。
9.一種方法，包括 接收用于表示輸入圖像的圖像數據； 根據在所述圖像數據中檢測到的時間測量對象的特征來檢測所述輸入圖像中的所述時間測量對象的存在；以及 響應于檢測到所述輸入圖像中的所述時間測量對象的存在，提供用于疊加在所述時間測量對象的用戶視圖上的日程數據。
10.一種有形地實現的非暫時性計算機可讀存儲介質，其存儲指令，所述指令當被處理器執(zhí)行時使得計算機執(zhí)行方法，所述方法包括 接收用于表示輸入圖像的圖像數據； 根據在所述圖像數據中檢測到的時間測量對象的特征來檢測所述輸入圖像中的所述時間測量對象的存在；以及 響應于檢測到所述輸入圖像中的所述時間測量對象的存在，提供用于疊加在所述時間測量對象的用戶視圖上的日程數據。
11.一種設備，包括 第一接收單元，用于接收用于表示輸入圖像的圖像數據，所述輸入圖像包括時間測量對象； 第二接收單元，用于接收用于疊加在所述時間測量對象的用戶視圖上的日程數據；以及 生成單元，用于生成顯示信息，所述顯示信息用于顯示所接收到的疊加在所述時間測量對象的所述用戶視圖上的日程數據。
12.—種系統,包括 圖像處理單元，其被配置為獲得用于表示輸入圖像的圖像數據，并且生成疊加在時間測量對象的用戶視圖上的日程數據的顯示信息；以及 檢測單元，其被配置為根據所述圖像數據中的所述時間測量對象的特征來檢測所述輸入圖像中的所述時間測量對象的存在，以及響應于檢測到所述輸入圖像中的所述時間測量對象的存在，向所述圖像處理設備提供用于疊加在所述時間測量對象的所述用戶視圖上的日程數據。
全文摘要
提供了一種用于在時間測量對象上疊加日程數據的方法。該方法包括接收用于表示輸入圖像的圖像數據。該方法還包括根據在圖像數據中檢測到的時間測量對象的特征來檢測輸入圖像中的時間測量對象的存在。該方法還包括響應于檢測到所述輸入圖像中的所述時間測量對象的存在，提供用于疊加在時間測量對象的用戶視圖上的日程數據。
文檔編號G06F3/048GK102844795SQ201180018880
公開日2012年12月26日 申請日期2011年4月6日 優(yōu)先權日2010年4月19日
發(fā)明者松田晃一, 福地正樹 申請人:索尼公司