本發(fā)明涉及可編程顯示器、便攜終端裝置、可編程顯示器中的數(shù)據(jù)處理方法以及用于控制可編程顯示器的程序。

背景技術(shù)：

以往，公知有受理信息的顯示和用戶的輸入的顯示裝置。

在日本特開2012-123513號公報(專利文獻1)中，作為上述顯示裝置，公開了以能夠通信的方式與服務(wù)器連接的信息處理裝置。該信息處理裝置根據(jù)顯示于畫面的圖像中的表示用戶的視線的位置的坐標(biāo)信息以及圖像中的表示包含對象的圖像區(qū)域的區(qū)域信息的對象信息而判別用戶的視線所朝向的對象。該信息處理裝置在判別出用戶的視線所朝向的對象的情況下，選擇性地進行與該判別出的對象對應(yīng)的處理。并且，該信息處理裝置生成表示上述判別出的對象的關(guān)注對象信息，并且將該生成的關(guān)注對象信息發(fā)送給服務(wù)器。

在日本特開2009-227246號公報(專利文獻2)中作為上述顯示裝置公開了具有照相機的車輛用操作輸入裝置。包含在該車輛用操作輸入裝置中的控制電路從照相機的撮影圖像中檢測對操作面板進行操作的操作者的視線，在所檢測的視線處于預(yù)定的操作輸入解除視線狀態(tài)的情況下，將操作面板從操作輸入禁止模式變更為操作輸入允許模式。

并且，以往，作為上述顯示裝置公知有以能夠通信的方式與可編程/邏輯/控制器(以下，也稱為“PLC”)連接的可編程顯示器。在日本特開2008-112222號公報(專利文獻3)中作為上述可編程顯示器公開了以與操作者的操作的歷史一同保存操作者的面部圖像為目的的操作顯示裝置。

現(xiàn)有技術(shù)文獻

專利文獻

專利文獻1：日本特開2012-123513號公報

專利文獻2：日本特開2009-227246號公報

專利文獻3：日本特開2008-112222號公報

專利文獻4：日本特開2011-59194號公報

專利文獻5：日本特開2008-165353號公報

技術(shù)實現(xiàn)要素：

發(fā)明要解決的課題

然而，在專利文獻1的技術(shù)中，之后無法判斷顯示裝置的用戶在多長時間內(nèi)連續(xù)注視了對象。關(guān)于這點，其他的專利文獻2～5也相同。

本發(fā)明是鑒于上述的問題而完成的，其目的在于，提供能夠供他人確認用戶在對象多長時間內(nèi)連續(xù)注視了對象的可編程顯示器、便攜終端裝置、可編程顯示器中的數(shù)據(jù)處理方法以及控制可編程顯示器的程序。

用于解決課題的手段

根據(jù)本發(fā)明的一個方式，可編程顯示器具有：估計部，其構(gòu)成為使用通過拍攝人物得到的圖像數(shù)據(jù)來進行視線的朝向的估計；顯示控制部，其構(gòu)成為使顯示器顯示包含第1對象的第1畫面；測量部，其構(gòu)成為在通過估計判斷為視線朝向第1對象的情況下，測量視線朝向第1對象的時間；以及存儲部，其構(gòu)成為關(guān)聯(lián)地存儲第1圖像識別信息和第1時間信息，該第1圖像識別信息是識別第1對象的信息，該第1時間信息是表示測量出的時間的信息。

優(yōu)選為，可編程顯示器還具有發(fā)送部，該發(fā)送部構(gòu)成為向服務(wù)器裝置發(fā)送關(guān)聯(lián)地存儲的第1圖像識別信息和第1時間信息。

優(yōu)選為，在視線朝向第1對象的時間為第1基準時間以上的情況下，顯示控制部使顯示器顯示與第1對象預(yù)先對應(yīng)的圖像。

優(yōu)選為，預(yù)先對應(yīng)的圖像是用于協(xié)助用戶操作的圖像。

優(yōu)選為，在使顯示器顯示用于協(xié)助用戶操作的圖像的情況下，顯示控制部使顯示器進一步顯示軟件按鈕，該軟件按鈕用于消除用于協(xié)助用戶操作的圖像的顯示?？删幊田@示器以視線朝向用于協(xié)助用戶操作的圖像的時間在第2基準時間以上為條件，受理軟件按鈕的輸入操作。

優(yōu)選為，第1畫面還包含第2對象。在通過估計判斷為視線朝向第2對象的情 況下，測量部測量視線朝向第2對象的時間。存儲部關(guān)聯(lián)地存儲第2圖像識別信息和第2時間信息，該第2圖像識別信息是識別第2對象的信息，該第2時間信息是表示測量出的時間的信息。

優(yōu)選為，在受理了指示從第1畫面轉(zhuǎn)移到第2畫面的輸入的情況下，顯示控制部能夠使顯示器顯示第2畫面。在顯示了第1畫面的情況下，在估計為視線朝向第1對象時，存儲部關(guān)聯(lián)地存儲第1畫面識別信息、第1圖像識別信息以及第1時間信息，其中，該第1畫面識別信息是識別第1畫面的信息。

優(yōu)選為，第1對象是軟件按鈕。

根據(jù)本發(fā)明的另一方式，可編程顯示器具有：估計部，其構(gòu)成為使用通過拍攝人物得到的圖像數(shù)據(jù)來進行視線的朝向的估計；顯示控制部，其構(gòu)成為使顯示器顯示多個預(yù)定的畫面中的被指定的畫面；測量部，其構(gòu)成為在通過估計判斷為視線朝向被指定的畫面的情況下，測量視線朝向被指定的畫面的時間；以及存儲部，其構(gòu)成為關(guān)聯(lián)地存儲畫面識別信息和時間信息，該畫面識別信息是識別被指定的畫面的信息，該時間信息是表示測量出的時間的信息。

根據(jù)本發(fā)明的又一方式，便攜終端裝置經(jīng)由中繼設(shè)備從可編程/邏輯/控制器取得由可編程/邏輯/控制器從控制對象設(shè)備取得的數(shù)據(jù)。便攜終端裝置具有：估計部，其構(gòu)成為使用通過拍攝人物得到的圖像數(shù)據(jù)來進行視線的朝向的估計；顯示控制部，其構(gòu)成為使顯示器顯示包含對象的畫面；測量部，其構(gòu)成為在通過估計判斷為視線朝向?qū)ο蟮那闆r下，測量視線朝向?qū)ο蟮臅r間；以及存儲部，其構(gòu)成為關(guān)聯(lián)地存儲識別信息和時間信息，該識別信息是識別對象的信息，該時間信息是表示測量出的時間的信息。

優(yōu)選為，中繼器是可編程顯示器。

根據(jù)本發(fā)明的又一方式，便攜終端裝置以能夠通過無線進行通信的方式與可編程/邏輯/控制器連接，并且能夠顯示從可編程/邏輯/控制器取得的數(shù)據(jù)。便攜終端裝置具有：估計部，其構(gòu)成為使用通過拍攝人物得到的圖像數(shù)據(jù)來進行視線的朝向的估計；顯示控制部，其構(gòu)成為使顯示器顯示包含對象的畫面；測量部，其構(gòu)成為在通過估計判斷為視線朝向?qū)ο蟮那闆r下，測量視線朝向?qū)ο蟮臅r間；以及存儲部，其構(gòu)成為關(guān)聯(lián)地存儲識別信息和時間信息，該識別信息是識別對象的信息，該時間信息是表示測量出的時間的信息。

根據(jù)本發(fā)明的又一方式，數(shù)據(jù)處理方法在可編程顯示器中執(zhí)行。數(shù)據(jù)處理方法具有如下的步驟：可編程顯示器的處理器使用通過拍攝人物得到的圖像數(shù)據(jù)來進行視線的朝向的估計；處理器使顯示器顯示包含對象的畫面；在通過估計判斷為視線朝向?qū)ο蟮那闆r下，處理器測量視線朝向?qū)ο蟮臅r間；以及處理器使存儲器關(guān)聯(lián)地存儲識別信息和時間信息，該識別信息是識別對象的信息，該時間信息是表示測量出的時間的信息。

根據(jù)本發(fā)明的另一方式，程序控制可編程顯示器。程序使可編程顯示器的處理器執(zhí)行如下的步驟：使用通過拍攝人物得到的圖像數(shù)據(jù)來進行視線的朝向的估計；使顯示器顯示包含對象的畫面；在通過估計判斷為視線朝向?qū)ο蟮那闆r下，測量視線朝向?qū)ο蟮臅r間；以及使存儲器關(guān)聯(lián)地存儲識別信息和時間信息，該識別信息是識別對象的信息，該時間信息是表示測量出的時間的信息。

發(fā)明效果

根據(jù)本發(fā)明，他人能夠確認用戶在多長時間內(nèi)連續(xù)注視了對象。

附圖說明

圖1是本實施方式的控制系統(tǒng)的系統(tǒng)結(jié)構(gòu)的示意圖。

圖2是表示具有操作權(quán)限的人登錄之后的可編程顯示器的畫面的圖。

圖3是用于說明在圖2的狀態(tài)(即，顯示了頁面畫面532的狀態(tài))下，在控制系統(tǒng)1中產(chǎn)生了錯誤時的處理的圖。

圖4是用于說明可編程顯示器的硬件結(jié)構(gòu)的一例的圖。

圖5是用于說明從可編程顯示器發(fā)送給服務(wù)器裝置的日志數(shù)據(jù)的圖。

圖6是用于說明可編程顯示器的功能性結(jié)構(gòu)的圖。

圖7是表示在可編程顯示器中執(zhí)行的處理的一部分的流程圖。

圖8是用于說明在基準時間T1以上的期間內(nèi)用戶的視線未朝向?qū)ο蟮那闆r下的處理例的圖。

圖9是用于說明按照頁面畫面單位記錄用戶視覺確認了畫面的時間的結(jié)構(gòu)的圖。

圖10是表示操作權(quán)限的級別比用戶α低的用戶β對可編程顯示器300進行操作時的狀態(tài)的圖。

圖11是用于說明控制系統(tǒng)的第1變形例的圖。

圖12是用于說明控制系統(tǒng)的第2變形例的圖。

圖13是表示從圖2的(B)的狀態(tài)轉(zhuǎn)移后的狀態(tài)的圖。

具體實施方式

一邊參照附圖一邊詳細地說明本發(fā)明的實施方式的可編程顯示器。另外，關(guān)于圖中的相同或者相當(dāng)部分，標(biāo)注同一符號并不重復(fù)其說明。

＜A.系統(tǒng)結(jié)構(gòu)＞

圖1是示出本實施方式的控制系統(tǒng)1的系統(tǒng)結(jié)構(gòu)的示意圖。參照圖1，控制系統(tǒng)1包含：PLC 100、以能夠通信的方式與PLC 100連接的可編程顯示器(HMI：Human Machine Interface)300、以及以能夠通信的方式與PLC 100連接的服務(wù)器裝置400。服務(wù)器裝置400例如是構(gòu)成內(nèi)部網(wǎng)的設(shè)備。

PLC 100周期性或者事件性地執(zhí)行后述的用戶程序。用戶程序由PLC 100的使用者創(chuàng)建。用戶通過操作例如協(xié)助裝置(未圖示)而能夠創(chuàng)建包含訪問命令的程序(源程序)。另外，協(xié)助裝置將源程序轉(zhuǎn)換成在PLC 100中能夠執(zhí)行的形式，將轉(zhuǎn)換后的用戶程序發(fā)送給PLC 100。協(xié)助裝置提供與PLC 100之間的各種參數(shù)的設(shè)定、編程、監(jiān)視器、調(diào)試等功能。PLC 100與協(xié)助裝置之間典型地構(gòu)成為能夠根據(jù)USB(Universal Serial Bus)標(biāo)準進行通信。

PLC 100執(zhí)行用戶程序，根據(jù)包含在用戶程序中的命令與服務(wù)器裝置400進行通信。即，PLC 100和服務(wù)器裝置400構(gòu)成為能夠經(jīng)由以太網(wǎng)(注冊商標(biāo))等網(wǎng)絡(luò)112而相互交換數(shù)據(jù)。

PLC 100包含執(zhí)行控制運算的CPU單元104以及1個以上的IO(Input/Output)單元106。這些單元構(gòu)成為能夠經(jīng)由PLC系統(tǒng)總線108相互交換數(shù)據(jù)。并且，通過電源單元102向這些單元提供適當(dāng)電壓的電源。

在控制系統(tǒng)1中，PLC 100經(jīng)由(經(jīng)由PLC系統(tǒng)總線108連接的)IO單元106、和/或經(jīng)由現(xiàn)場總線110在與各種現(xiàn)場設(shè)備之間交換數(shù)據(jù)。這些現(xiàn)場設(shè)備包含用于對控制對象進行某種處理的致動器、或用于從控制對象取得各種信息的傳感器等。在圖1中作為這樣的現(xiàn)場設(shè)備的一例包含檢測開關(guān)10、繼電器20和對電動機32進行驅(qū)動的伺服電動驅(qū)動器30。并且，PLC 100還經(jīng)由現(xiàn)場總線110與遠程IO終端200連接。 遠程IO終端200基本上與IO單元106同樣地進行關(guān)于一般的輸入輸出處理的處理。更具體而言，遠程IO終端200包含用于進行利用現(xiàn)場總線110的數(shù)據(jù)傳送的處理的通信耦合器202、以及1個以上的IO單元204。這些單元構(gòu)成為能夠經(jīng)由遠程IO終端總線208而相互交換數(shù)據(jù)。

可編程顯示器300通過連接線纜114以能夠通信的方式與PLC 100連接?？删幊田@示器300在畫面上顯示從PLC 100取得的各種信息。

并且，可編程顯示器300具有面部認證功能。即，用戶只要在可編程顯示器300的面部認證上不成功，就無法利用可編程顯示器300。詳細說明，如下。

可編程顯示器300控制對應(yīng)用的訪問?？删幊田@示器300存儲有用戶的面部的特征數(shù)據(jù)?？删幊田@示器300根據(jù)通過拍攝得到的用戶的圖像數(shù)據(jù)和上述特征數(shù)據(jù)來進行用戶的面部認證?？删幊田@示器300在認證了用戶的情況下，允許用戶對應(yīng)用的訪問。優(yōu)選采用上述特征數(shù)據(jù)預(yù)先存儲在服務(wù)器裝置400中，可編程顯示器300能夠從服務(wù)器裝置400適當(dāng)取得的結(jié)構(gòu)?；蛘?，在控制系統(tǒng)1中，可編程顯示器300也可以向服務(wù)器裝置400發(fā)送通過上述拍攝得到的圖像數(shù)據(jù)，服務(wù)器裝置400進行面部認證。

并且，可編程顯示器300具有幫助功能。關(guān)于幫助功能的詳細情況后述進行說明。另外，以下，“登錄狀態(tài)”是指允許對應(yīng)用的訪問的狀態(tài)，“注銷狀態(tài)”是指不允許對應(yīng)用的訪問的狀態(tài)。并且，在可編程顯示器300中，如果允許對應(yīng)用的訪問，則發(fā)布對應(yīng)用的訪問權(quán)，如果不允許對應(yīng)用的訪問，則取消對應(yīng)用的訪問權(quán)。

＜B.處理的概要＞

(b1.第1處理例)

圖2是用于說明可編程顯示器300的第1處理例的圖。具體而言，圖2是表示具有操作權(quán)限的人(以下，也稱為“用戶”)登錄之后(即，登錄狀態(tài))的可編程顯示器300的畫面的圖。

參照圖2的(A)，可編程顯示器300顯示頁面畫面532。可編程顯示器300預(yù)先存儲多個頁面畫面，根據(jù)用戶的指示等切換觸摸屏318(正確地說為構(gòu)成觸摸屏的顯示器)上顯示的頁面畫面。更詳細而言，可編程顯示器300在包含從PLC 100取得的數(shù)據(jù)的狀態(tài)下顯示頁面畫面。更具體說明，如下。

可編程顯示器300在觸摸屏318上顯示包含多個對象831、832、834的頁面畫 面532。對象831包含從PLC 100實時地取得的數(shù)據(jù)。具體而言，對象831內(nèi)的曲線圖在頁面畫面532的顯示中適當(dāng)更新。

對象832表示維護菜單。對象832由多個對象8321、8322、…構(gòu)成。對象8321在調(diào)整帶式輸送機的速度時使用。對象8322用于調(diào)整溫度。對象834是用于轉(zhuǎn)移到注銷狀態(tài)的軟件按鈕。

如圖2的(B)所示，假設(shè)用戶在預(yù)定的時間T1(以下，也稱為“基準時間T1”)內(nèi)注視了對象8321(假設(shè)利用眼睛900持續(xù)觀察)。換言之，假設(shè)用戶的視線901朝向?qū)ο?321基準時間T1。在該情況下，如圖2的(C)所示，可編程顯示器300通過執(zhí)行幫助功能而以與頁面畫面532重疊的方式顯示與對象8321預(yù)先對應(yīng)的協(xié)助用圖像881。另外，“協(xié)助用圖像”是指可編程顯示器300的包含用于協(xié)助用戶的操作的注釋的圖像(幫助顯示)。

更詳細而言，可編程顯示器300為了使用戶識別協(xié)助用圖像881與對象8321相關(guān)，在觸摸屏318中顯示從對象8321吹出的方式的協(xié)助用圖像881。

對象836是用于消除協(xié)助用圖像881的顯示的(設(shè)為非顯示)的軟件按鈕。通過由用戶利用觸摸操作等選擇該對象836而使協(xié)助用圖像881成為非顯示。

另外，在上述中，舉例說明在基準時間T1內(nèi)注視了對象8321的情況，但不限于此?？删幊田@示器300即使在基準時間T1內(nèi)注視了對象8321以外的對象(例如，對象8322)的情況下，也以與頁面畫面532重疊的狀態(tài)顯示與該對象對應(yīng)的協(xié)助用圖像。

在用戶注視了基準時間T1以上的包含在頁面畫面中的對象的情況下，多數(shù)情況下用戶難以判斷該對象用于怎樣的操作。因此，可編程顯示器300在觸摸屏318中顯示與對象預(yù)先對應(yīng)的協(xié)助用圖像，由此用戶能夠容易地判斷對象用于怎樣的操作。換言之，可編程顯示器300能夠在不等待用戶的手指的直接的輸入操作的情況下向用戶提供操作的協(xié)助。

(b2.第2處理例)

圖3是用于說明可編程顯示器300的第2處理例的圖。具體而言，圖3是用于說明在圖2的狀態(tài)(即，顯示了頁面畫面532的狀態(tài))下，在控制系統(tǒng)1中產(chǎn)生了錯誤時的處理的圖。

參照圖3的(A)，可編程顯示器300以與頁面畫面532重疊的狀態(tài)顯示對象851。 對象851表示作為警告的一種的錯誤。

如圖3的(B)所示，假設(shè)用戶在基準時間T1內(nèi)注視了對象851。換言之，用戶的視線901朝向?qū)ο?51基準時間T1。在該情況下，如圖3的(C)所示，可編程顯示器300通過執(zhí)行幫助功能，以與頁面畫面532重疊的方式顯示與對象851預(yù)先對應(yīng)的協(xié)助用圖像882。

在上述的情況下，可編程顯示器300也能夠在不等待用戶的手指的直接的輸入操作的情況下向用戶提供操作的協(xié)助。

(b3.大數(shù)據(jù))

在第1處理例和第2處理例中，可編程顯示器300為了判斷是否注視了對象8321基準時間T1，需要測量視線901連續(xù)地朝向1個對象(例如，對象8321、851)期間的時間。通過使該測量出的時間的信息與注視的對象的識別信息關(guān)聯(lián)，對于控制系統(tǒng)1的管理者來說，可以作為有用的信息進行靈活應(yīng)用。

因此，可編程顯示器300使識別對象的圖像識別信息和表示測量出的時間的時間信息關(guān)聯(lián)地臨時存儲，將該關(guān)聯(lián)存儲的圖像識別信息和時間信息發(fā)送給服務(wù)器裝置400。具體而言，可編程顯示器300將該關(guān)聯(lián)存儲的識別信息和時間信息作為日志數(shù)據(jù)(參照圖5)經(jīng)由PLC 100發(fā)送給服務(wù)器裝置400。服務(wù)器裝置400接收從可編程顯示器300發(fā)送來的該信息。

更詳細而言，使識別對象的圖像識別信息(以下，也稱為“對象ID”)、表示測量出的時間的時間信息和識別頁面畫面的畫面識別信息(以下，也稱為“頁面ID”)關(guān)聯(lián)地臨時存儲，將該關(guān)聯(lián)存儲的圖像識別信息、時間信息以及畫面識別信息發(fā)送給服務(wù)器裝置400。

根據(jù)以上，控制系統(tǒng)1的管理者(例如，服務(wù)器裝置400的用戶)在服務(wù)器裝置400中能夠確認可編程顯示器300的用戶連續(xù)注視了對象多長時間。并且，在可編程顯示器300中，控制系統(tǒng)1的管理者也能夠確認可編程顯示器300的用戶連續(xù)注視了對象多長時間。

＜C.硬件結(jié)構(gòu)＞

圖4是用于說明可編程顯示器300的硬件結(jié)構(gòu)的一例的圖。參照圖4，可編程顯示器300具有：進行各種運算的CPU(Central Processing Unit：中央處理器)311、ROM(Read Only Memory：只讀存儲器)312、RAM(Random Access Memory：隨 機存儲器)313、非易失性地存儲各種程序的閃存ROM314、計時器315、操作鍵316、照相機317、觸摸屏318以及通信接口319。另外，這些部位經(jīng)由內(nèi)部總線而相互連接。

觸摸屏318具有顯示器381、被設(shè)置為覆蓋顯示器381的觸摸面板382。通信接口319具有Ethernet(以太網(wǎng)，注冊商標(biāo))用IF(InterFace)391、串行用IF392、USB(Universal Serial Bus：通用串行總線)用IF393。

CPU311在RAM313等中展開地執(zhí)行存儲在閃存ROM314中的程序。ROM312通常存儲有操作系統(tǒng)(OS：Operating System)等的程序。RAM313是易失性存儲器，作為工作存儲器進行使用。

Ethernet用IF391協(xié)助Ethernet的通信協(xié)議，在與PLC 100之間進行數(shù)據(jù)通信。串行用IF392協(xié)助串行通信的協(xié)議，在與例如PC(Personal Computer：個人電腦)之間進行數(shù)據(jù)通信。USB用IF393協(xié)助USB的通信協(xié)議，在與例如USB存儲器之間進行數(shù)據(jù)通信。

另外，構(gòu)成圖4所示的可編程顯示器300的各結(jié)構(gòu)要素是普通的。因此，本發(fā)明的本質(zhì)性的部分也是保存在閃存ROM314等存儲器中的軟件、或者能夠經(jīng)由網(wǎng)絡(luò)下載的軟件。另外，由于可編程顯示器300的各硬件的動作是周知的，因此不重復(fù)詳細的說明。

＜D.數(shù)據(jù)＞

圖5是用于說明從可編程顯示器300發(fā)送給服務(wù)器裝置400的日志數(shù)據(jù)D5的圖。參照圖5，日志數(shù)據(jù)D5使得用于識別用戶的用戶ID、日期信息、表示操作內(nèi)容的信息、用于識別頁面畫面的頁面ID、用于識別對象的對象ID、表示注視時間的信息、表示停止時間的信息相互對應(yīng)地存儲。另外，日志數(shù)據(jù)D5例如在預(yù)定的時刻發(fā)送給服務(wù)器裝置400。

與圖2和圖3對應(yīng)地說明日志數(shù)據(jù)D5如下。作為一例，將頁面畫面532(參照圖2)的頁面ID設(shè)為“P011”。并且，將對象8321(參照圖2)的對象ID設(shè)為“G02”。此外，將對象851(參照圖3)的對象ID設(shè)為“G03”。并且，將基準時間T1設(shè)為“10秒”。

在該情況下，日志數(shù)據(jù)D5包含表示用戶ID為“A001”的人注視30秒由“P011”確定的頁面畫面532中包含的由“G02”確定的對象8321的信息。并且，日志數(shù)據(jù)D5包含表示用戶ID為“A001”的人注視20秒由“P011”確定的頁面畫面532中包含的由 “G03”確定的對象851的信息。

這樣，在日志數(shù)據(jù)D5中至少使識別頁面畫面的頁面ID、用于識別對象的對象ID和時間信息關(guān)聯(lián)地存儲。通過可編程顯示器300將日志數(shù)據(jù)D5發(fā)送給服務(wù)器裝置400，使服務(wù)器裝置400能夠得到頁面ID、對象ID和時間信息相對應(yīng)的信息。

＜E.功能性結(jié)構(gòu)＞

圖6是用于說明可編程顯示器300的功能性結(jié)構(gòu)的圖。參照圖6，可編程顯示器300具有存儲部350、拍攝部351、顯示部352、操作受理部353、通信處理部354、顯示控制部355、面部認證部356、管理部357以及測量部358。

通信處理部354包含接收部3541和發(fā)送部3542。面部認證部356包含視線估計部3561。另外，拍攝部351與照相機317(圖4)對應(yīng)。顯示部352與顯示器381對應(yīng)。操作受理部353與觸摸面板382對應(yīng)。測量部358與計時器315對應(yīng)。

存儲部350預(yù)先存儲有用于顯示多個頁面畫面的數(shù)據(jù)和用于顯示協(xié)助用圖像的數(shù)據(jù)。并且，在存儲部350中存儲日志數(shù)據(jù)D5。

以下，為了便于說明，假設(shè)可編程顯示器300能夠顯示頁面畫面A(例如，圖2等的頁面畫面532)、頁面畫面B、頁面畫面C、…。并且，假設(shè)頁面畫面A包含對象A1、對象A2以及對象A3。

顯示控制部355使顯示部352顯示多個頁面畫面A、B、C、…中的被指定的頁面畫面(例如，頁面畫面A)。顯示控制部355根據(jù)頁面畫面的類別而以從PLC 100取得的字段數(shù)據(jù)包含在頁面畫面中的方式生成顯示用的圖像數(shù)據(jù)。另外，字段數(shù)據(jù)由接收部3541接收，并發(fā)送給顯示控制部355。并且，在操作受理部353受理了頁面畫面的切換指示的情況下，顯示控制部355顯示基于該指示的頁面畫面(例如，頁面畫面B)。

拍攝部351拍攝人物等被攝體。拍攝部351將由拍攝得到的圖像數(shù)據(jù)發(fā)送給面部認證部356。

面部認證部356進行面部認證。并且，包含在面部認證部356中的視線估計部3561根據(jù)從拍攝部351發(fā)送來的圖像數(shù)據(jù)來估計視線的方向。

管理部357從視線估計部3561接受估計結(jié)果。并且，管理部357從顯示控制部355接受用于確定當(dāng)前顯示的頁面畫面的信息(頁面ID)以及表示配置有多個對象的位置的位置信息(詳細而言為坐標(biāo)信息)。管理部357根據(jù)上述估計結(jié)果、上述頁面 ID以及上述位置信息來判斷視線是否朝向?qū)ο蟆２⑶?，管理?57在視線朝向?qū)ο蟮那闆r下判斷朝向多個對象中的哪個對象。例如，當(dāng)顯示控制部355使顯示部352顯示了頁面畫面A的情況下，管理部357判斷視線朝向多個對象A1、A2、A3中的哪個對象。

在通過視線估計判斷為視線朝向?qū)ο蟮那闆r下，管理部357使測量部358測量視線朝向該對象的時間。并且，管理部357根據(jù)上述判斷結(jié)果使得識別對象的對象ID、表示測量出的時間的時間信息、以及識別頁面畫面的頁面ID關(guān)聯(lián)，更新存儲部350的日志數(shù)據(jù)D5?？删幊田@示器300通過進行這樣的處理而得到圖5所示的日志數(shù)據(jù)D5。

通信處理部354的發(fā)送部3542經(jīng)由PLC 100將日志數(shù)據(jù)D5發(fā)送給服務(wù)器裝置400。

(e.協(xié)助用圖像的顯示和消除)

顯示控制部355在視線朝向?qū)ο蟮臅r間為基準時間T1以上的情況下，使顯示部352顯示與該對象預(yù)先對應(yīng)的協(xié)助用圖像。例如，當(dāng)在顯示部352中顯示了頁面畫面A的情況下，在管理部357判斷了視線是否朝向?qū)ο驛1時，顯示控制部355以與頁面畫面A重疊的方式使顯示部352顯示與對象A1預(yù)先對應(yīng)的協(xié)助用圖像。

并且，顯示控制部355在使顯示部352顯示協(xié)助用圖像的情況下，使顯示部352進一步顯示用于消除該協(xié)助用圖像的顯示的確認按鈕(參照圖2的(C)、圖3的(C))?？删幊田@示器300以視線朝向協(xié)助用圖像的時間為預(yù)定的時間T2(以下，也稱為“基準時間T2”)以上為條件，受理對象836的輸入操作。另外，基準時間T2也可以為與基準時間T1一樣的長度。

這樣，可編程顯示器300通過采用以基準時間T2以上的注視為條件而消除協(xié)助用圖像的結(jié)構(gòu)，從而與不需要該條件而消除協(xié)助用圖像的結(jié)構(gòu)相比，能夠使用戶更可靠地確認協(xié)助用圖像。

另外，也可以以不考慮基準時間T2，以顯示協(xié)助用圖像為觸發(fā)而受理對象836的輸入的方式構(gòu)成可編程顯示器300。

＜F.控制結(jié)構(gòu)＞

圖7是表示在可編程顯示器300中執(zhí)行的處理的一部分的流程圖。參照圖7，在步驟S2中，可編程顯示器300的CPU311判斷視線是否朝向包含在所顯示的頁面 畫面中的對象。

CPU311在判斷為視線朝向?qū)ο蟮那闆r下(在步驟S2中為YES)，在步驟S4中，使用計時器315測量連續(xù)地視覺確認了該對象的時間。在判斷為視線未朝向?qū)ο蟮那闆r下(在步驟S2中為NO)，CPU311使處理進入步驟S12。

在步驟S6中，CPU311使得識別連續(xù)地視覺確認出的對象的對象ID、表示測量出的時間的時間信息、以及用于識別所顯示的頁面畫面的頁面ID關(guān)聯(lián)地存儲。更詳細而言，CPU311使用上述對象ID、上述時間信息以及上述頁面ID來更新日志數(shù)據(jù)D5。

在步驟S8中，CPU311判斷視覺確認了對象的時間是否為基準時間T1以上。在CPU311判斷為在基準時間T1以上的情況下(在步驟S8中為YES)，在步驟S10中以與頁面畫面重疊的方式使顯示器381顯示與對象對應(yīng)的協(xié)助用圖像。在判斷為小于基準時間T1的情況下(在步驟S8中為NO)，CPU311使處理進入步驟S12。

在步驟S12中，CPU311判斷當(dāng)前的時刻是否為預(yù)定的時刻。作為預(yù)定的時刻的一例列舉出用戶的作業(yè)的完成時刻(結(jié)束時刻)。

在判斷為未達到預(yù)定的時刻的情況下(在步驟S12中為NO)，CPU311使處理進入步驟S2。在判斷為達到預(yù)定的時刻的情況下(在步驟S12中為YES)，CPU311在步驟S14中，將包含關(guān)聯(lián)地存儲的對象ID、時間信息以及頁面ID的日志數(shù)據(jù)D5經(jīng)由PLC 100發(fā)送給服務(wù)器裝置400。

＜G.變形例＞

＜g1：第1變形例＞

在上述中，例如如圖3所示，可編程顯示器300在用戶的視線901朝向?qū)ο?51預(yù)定時間T1以上的情況下，顯示協(xié)助用圖像882。以下，對用戶的視線未朝向?qū)ο蠡鶞蕰r間T1以上的情況下的處理例進行說明。

圖8是用于說明用戶的視線未朝向?qū)ο蠡鶞蕰r間T1以上的情況下的處理例的圖。參照圖8的(A)，可編程顯示器300以與頁面畫面532重疊的狀態(tài)顯示對象851。假設(shè)用戶未注視對象851基準時間T1。換言之，假設(shè)用戶的視線901未朝向?qū)ο?51基準時間T1以上。

在該情況下，如圖8的(B)所示，可編程顯示器300以與頁面畫面532重疊的方式顯示促使目視觀察對象851的協(xié)助用圖像883。可編程顯示器300在圖8的(B) 的狀態(tài)下，用戶注視對象851基準時間T1以上從而使畫面轉(zhuǎn)移到圖3的(C)所示的狀態(tài)。

通過這樣的結(jié)構(gòu)，可編程顯示器300能夠以快速地顯示協(xié)助用圖像(例如，圖3的(C)所示的協(xié)助用圖像882)的方式引導(dǎo)用戶。并且，可編程顯示器300能夠促使用戶將視線朝向顯示器381。

＜g2.第2變形例＞

(1)對于畫面整體的應(yīng)用

在上述中，說明可編程顯示器300對在多長時間內(nèi)注視了哪個對象進行了記錄的結(jié)構(gòu)。但是，不限于此，也可以以記錄在多長時間內(nèi)注視了哪個頁面畫面的方式構(gòu)成可編程顯示器300。即，可編程顯示器300也可以不以對象單位而以頁面畫面單位記錄用戶視覺確認畫面的時間。

圖9是用于說明以頁面畫面單位記錄用戶視覺確認畫面的時間的結(jié)構(gòu)的圖。參照圖9的(A)，可編程顯示器300在觸摸屏318中顯示包含對象801、802、803、804的頁面畫面。

在該狀態(tài)下，假設(shè)用戶α注視該頁面畫面?？删幊田@示器300在視線估計的結(jié)果為判斷為視線朝向該頁面畫面的情況下，測量視線朝向該頁面畫面的時間。可編程顯示器300使用于識別該頁面畫面的頁面ID與表示測量出的時間的時間信息關(guān)聯(lián)地存儲。

此外，在圖9的(A)的狀態(tài)下，假設(shè)用戶α注視了該頁面畫面基準時間T1以上。在該情況下，參照圖9的(B)，可編程顯示器300使與所顯示的頁面畫面相關(guān)的協(xié)助用圖像884以與該頁面畫面重疊的方式顯示于觸摸屏318。

根據(jù)上述的結(jié)構(gòu)，用戶能夠容易地判斷所顯示的頁面畫面用于怎樣的操作。換言之，可編程顯示器300能夠在不等待用戶的手指的直接的輸入操作的情況下向用戶提供操作的協(xié)助。

并且，也可以以在顯示預(yù)定的第1頁面畫面的情況下，以對象單位記錄視覺確認時間，在顯示預(yù)定的第2頁面畫面的情況下，以頁面畫面單位記錄視覺確認時間的方式構(gòu)成可編程顯示器300。

(2)對進行因用戶的區(qū)分而不同的顯示的結(jié)構(gòu)的應(yīng)用

可編程顯示器300的操作權(quán)限存在級別。在可編程顯示器300中例如可以按照 權(quán)限高的順序依次設(shè)定管理員、維護者以及操作員。

圖10是表示操作權(quán)限的級別比用戶α低的用戶β操作可編程顯示器300時的狀態(tài)的圖。參照圖10的(A)，可編程顯示器300在觸摸屏318中顯示包含對象802、804的頁面畫面。即，可編程顯示器300根據(jù)設(shè)定于用戶β的操作權(quán)限，將在用戶α使用時顯示的對象801、803設(shè)為非顯示。

在圖10的(A)的狀態(tài)下，假設(shè)用戶β注視該頁面畫面基準時間T1以上。在該情況下，參照圖10的(B)，可編程顯示器300使與所顯示的頁面畫面相關(guān)的協(xié)助用圖像885以與該頁面畫面重疊的方式顯示于觸摸屏318。即，可編程顯示器300根據(jù)用戶的操作權(quán)限顯示與在用戶α使用的情況下所顯示的協(xié)助用圖像884不同的協(xié)助用圖像885。另外，作為一例，協(xié)助用圖像885表示由于沒有操作權(quán)限而無法操作的處理的內(nèi)容。

通過這樣的結(jié)構(gòu)，可編程顯示器300能夠顯示與用戶的操作權(quán)限對應(yīng)的信息，該信息用于協(xié)助當(dāng)前操作可編程顯示器300的用戶。由此，能夠根據(jù)可編程顯示器300使用戶的便利性提高。

＜g3.第3的變形例＞

圖11是用于說明控制系統(tǒng)1的第1變形例的圖。參照圖11，控制系統(tǒng)1A除了具有PLC 100、可編程顯示器300、服務(wù)器裝置400之外，還具有平板終端600。控制系統(tǒng)1A在具有平板終端600的點上與控制系統(tǒng)1不同。

平板終端600與可編程顯示器300進行通信。在控制系統(tǒng)1A中，取代可編程顯示器300、或者與可編程顯示器300一同由平板終端600執(zhí)行上述的各種處理(面部認證、視線估計、日志數(shù)據(jù)D5的更新、協(xié)助用圖像的顯示)。即使是這樣的結(jié)構(gòu)，也能夠得到與控制系統(tǒng)1相同的效果。

另外，平板終端600也可以以不經(jīng)由可編程顯示器300而直接與PLC 100進行通信的方式構(gòu)建控制系統(tǒng)1A。

圖12是用于說明控制系統(tǒng)1的第2變形例的圖。參照圖12，控制系統(tǒng)1B具有PLC 100、服務(wù)器裝置400、平板終端600以及中繼器700?？刂葡到y(tǒng)1B在取代可編程顯示器300而具有中繼器700的點以及具有平板終端600的點上與控制系統(tǒng)1不同。

中繼器700對PLC 100與平板終端600之間的通信進行中繼。

平板終端600與控制系統(tǒng)1A的情況同樣地執(zhí)行上述的各種處理(面部認證、 視線估計、日志數(shù)據(jù)D5的更新、協(xié)助用圖像的顯示)。即使是這樣的結(jié)構(gòu)，也能夠得到與控制系統(tǒng)1相同的效果。

＜g4.第4變形例＞

圖13是用于說明協(xié)助用圖像的顯示的方式的變形例的圖。具體而言，圖13是與圖2的(C)對應(yīng)的圖。即，圖13是表示從圖2的(B)的狀態(tài)轉(zhuǎn)移之后的狀態(tài)的圖。

參照圖13，可編程顯示器300將顯示頁面畫面的區(qū)域的一部分設(shè)定為用于顯示協(xié)助用圖像886的區(qū)域899。作為一例，可編程顯示器300使從畫面的端部到用于顯示協(xié)助用圖像886的區(qū)域逐漸擴大，在擴大后的區(qū)域(圖13的區(qū)域899)中顯示協(xié)助用圖像886。

即使是這樣的顯示方式，用戶也能夠容易地判斷對象用于怎樣的操作。換言之，可編程顯示器300能夠在不等待用戶的手指的直接的輸入操作的情況下向用戶提供操作的協(xié)助。

本次公開的實施方式在所有的點上都只是例示的，不應(yīng)該被認為是限制發(fā)明的內(nèi)容。本發(fā)明的范圍部通過上述的說明表示，而是通過技術(shù)方案表示的，包含與技術(shù)方案含義均等以及范圍內(nèi)的所有的變更。

標(biāo)號說明

1、1A、1B：控制系統(tǒng)；100：PLC；102：電源單元；104：CPU單元；106、204：IO單元；108：PLC系統(tǒng)總線；200：終端；202：通信耦合器；208：終端總線；300：可編程顯示器；311：CPU；315：計時器；317：照相機；318：觸摸屏；319：通信接口；350：存儲部；351：拍攝部；352：顯示部；353：操作受理部；354：通信處理部；355：顯示控制部；356：面部認證部；357：管理部；358：測量部；381：顯示器；382：觸摸面板；400：服務(wù)器裝置；532：頁面畫面；600：平板終端；700：中繼器；801、802、803、804、831、832、834、836、851、8321、8322：對象；881、882、883、884、885、886：協(xié)助用圖像；899：區(qū)域；900：眼睛；901：視線；3541：接收部；3542：發(fā)送部；3561：視線估計部；D5：日志數(shù)據(jù)。

權(quán)利要求書(按照條約第19條的修改)

1.(修改后)一種可編程顯示器，其具有：

估計部，其構(gòu)成為使用通過拍攝人物得到的圖像數(shù)據(jù)來進行視線的朝向的估計；

顯示控制部，其構(gòu)成為使顯示器顯示包含第1對象的第1畫面；

測量部，其構(gòu)成為在通過所述估計判斷為所述視線朝向所述第1對象的情況下，測量所述視線朝向所述第1對象的時間；以及

存儲部，其構(gòu)成為關(guān)聯(lián)地存儲第1圖像識別信息和第1時間信息，該第1圖像識別信息是識別所述第1對象的信息，該第1時間信息是表示所述測量出的時間的信息，

在所述視線朝向所述第1對象的時間為第1基準時間以上的情況下，所述顯示控制部使所述顯示器顯示與所述第1對象預(yù)先對應(yīng)的圖像。

2.根據(jù)權(quán)利要求1所述的可編程顯示器，其中，

該可編程顯示器還具有發(fā)送部，該發(fā)送部構(gòu)成為向服務(wù)器裝置發(fā)送所述關(guān)聯(lián)地存儲的所述第1圖像識別信息和所述第1時間信息。

3.(刪除)

4.(修改后)根據(jù)權(quán)利要求1或2所述的可編程顯示器，其中，

所述預(yù)先對應(yīng)的圖像是用于協(xié)助用戶操作的圖像。

5.根據(jù)權(quán)利要求4所述的可編程顯示器，其中，

在使所述顯示器顯示所述用于協(xié)助用戶操作的圖像的情況下，所述顯示控制部使所述顯示器進一步顯示軟件按鈕，該軟件按鈕用于消除所述用于協(xié)助用戶操作的圖像的顯示，

所述可編程顯示器以所述視線朝向所述用于協(xié)助用戶操作的圖像的時間在第2基準時間以上為條件，受理所述軟件按鈕的輸入操作。

6.(修改后)根據(jù)權(quán)利要求1、2、4以及5中的任意一項所述的可編程顯示器，其中，

所述第1畫面還包含第2對象，

在通過所述估計判斷為所述視線朝向所述第2對象的情況下，所述測量部測量所述視線朝向所述第2對象的時間，

所述存儲部關(guān)聯(lián)地存儲第2圖像識別信息和第2時間信息，該第2圖像識別信息是識別所述第2對象的信息，該第2時間信息是表示所述測量出的時間的信息。

7.(修改后)根據(jù)權(quán)利要求1、2以及4至6中的任意一項所述的可編程顯示器，其中，

在受理了指示從所述第1畫面轉(zhuǎn)移到第2畫面的輸入的情況下，所述顯示控制部能夠使所述顯示器顯示所述第2畫面，

在顯示了所述第1畫面的情況下，在估計為所述視線朝向所述第1對象時，所述存儲部關(guān)聯(lián)地存儲第1畫面識別信息、所述第1圖像識別信息以及所述第1時間信息，該第1畫面識別信息是識別所述第1畫面的信息。

8.(修改后)根據(jù)權(quán)利要求1、2以及4至7中的任意一項所述的可編程顯示器，其中，

所述第1對象是軟件按鈕。

9.一種可編程顯示器，其具有：

估計部，其構(gòu)成為使用通過拍攝人物得到的圖像數(shù)據(jù)來進行視線的朝向的估計；

顯示控制部，其構(gòu)成為使顯示器顯示多個預(yù)定的畫面中的被指定的畫面；

測量部，其構(gòu)成為在通過所述估計判斷為所述視線朝向所述被指定的畫面的情況下，測量所述視線朝向所述被指定的畫面的時間；以及

存儲部，其構(gòu)成為關(guān)聯(lián)地存儲畫面識別信息和時間信息，該畫面識別信息是識別所述被指定的畫面的信息，該時間信息是表示所述測量出的時間的信息。

10.一種便攜終端裝置，其經(jīng)由中繼設(shè)備從可編程/邏輯/控制器取得由所述可編程/邏輯/控制器從控制對象設(shè)備取得的數(shù)據(jù)，其中，該便攜終端裝置具有：

估計部，其構(gòu)成為使用通過拍攝人物得到的圖像數(shù)據(jù)來進行視線的朝向的估計；

顯示控制部，其構(gòu)成為使顯示器顯示包含對象的畫面；

測量部，其構(gòu)成為在通過所述估計判斷為所述視線朝向所述對象的情況下，測量所述視線朝向所述對象的時間；以及

存儲部，其構(gòu)成為關(guān)聯(lián)地存儲識別信息和時間信息，該識別信息是識別所述對象的信息，該時間信息是表示所述測量出的時間的信息。

11.根據(jù)權(quán)利要求10所述的便攜終端裝置，其中，

所述中繼器是可編程顯示器。

12.一種便攜終端裝置，其以能夠進行無線通信的方式與可編程/邏輯/控制器連接，并且能夠顯示從所述可編程/邏輯/控制器取得的數(shù)據(jù)，其中，該便攜終端裝置具有：

估計部，其構(gòu)成為使用通過拍攝人物得到的圖像數(shù)據(jù)來進行視線的朝向的估計；

顯示控制部，其構(gòu)成為使顯示器顯示包含對象的畫面；

測量部，其構(gòu)成為在通過所述估計判斷為所述視線朝向所述對象的情況下，測量所述視線朝向所述對象的時間；以及

存儲部，其構(gòu)成為關(guān)聯(lián)地存儲識別信息和時間信息，該識別信息是識別所述對象的信息，該時間信息是表示所述測量出的時間的信息。

13.(修改后)一種可編程顯示器中的數(shù)據(jù)處理方法，該數(shù)據(jù)處理方法具有如下的步驟：

所述可編程顯示器的處理器使用通過拍攝人物得到的圖像數(shù)據(jù)來進行視線的朝向的估計；

所述處理器使顯示器顯示包含對象的畫面；

在通過所述估計判斷為所述視線朝向所述對象的情況下，所述處理器測量所述視線朝向所述對象的時間；

所述處理器使存儲器關(guān)聯(lián)地存儲識別信息和時間信息，該識別信息是識別所述對象的信息，該時間信息是表示所述測量出的時間的信息；以及

在所述視線朝向所述對象的時間為基準時間以上的情況下，所述處理器使所述顯示器顯示與所述對象預(yù)先對應(yīng)的圖像。

14.(修改后)一種程序，其用于控制可編程顯示器，其中，該程序使所述可編程顯示器的處理器執(zhí)行如下的步驟：

使用通過拍攝人物得到的圖像數(shù)據(jù)來進行視線的朝向的估計；

使顯示器顯示包含對象的畫面；

在通過所述估計判斷為所述視線朝向所述對象的情況下，測量所述視線朝向所述對象的時間；

使存儲器關(guān)聯(lián)地存儲識別信息和時間信息，該識別信息是識別所述對象的信息，該時間信息是表示所述測量出的時間的信息；以及

在所述視線朝向所述對象的時間為基準時間以上的情況下，使所述顯示器顯示與所述對象預(yù)先對應(yīng)的圖像。