本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)，尤其涉及一種虛擬裝配方法及裝置。

背景技術(shù)：

裝配作為產(chǎn)品生產(chǎn)制造過程中的重要組成部分，決定了整個(gè)產(chǎn)品生命周期中技術(shù)體系的發(fā)展，提高產(chǎn)品裝配水平具有重大意義。隨著產(chǎn)品復(fù)雜度以及精密度的增強(qiáng)，裝配人員的業(yè)務(wù)水平面臨著嚴(yán)峻的考驗(yàn)，由此，對裝配人員的培訓(xùn)變得越來越重要。

目前，現(xiàn)有的裝配培訓(xùn)方式有以下兩種：一種是人工裝配教學(xué)，具體通過專業(yè)教員在裝配車間進(jìn)行實(shí)際操作教學(xué)，或者，通過觀看事先錄制的視頻進(jìn)行教學(xué)培訓(xùn)；另一種是虛擬裝配教學(xué)，大多采用PC桌面系統(tǒng)，使用鍵盤和鼠標(biāo)作為數(shù)據(jù)收集器，以及采用大型動(dòng)捕設(shè)備實(shí)現(xiàn)虛擬裝配過程。

然而，現(xiàn)有技術(shù)具有以下不足之處：首先，針對人工裝配方式，既消耗大量的人力、物力及財(cái)力，又存在一定的操作危險(xiǎn)性。且受限于裝配教學(xué)的時(shí)間和地點(diǎn)，無法多人同時(shí)、反復(fù)操作；其次，虛擬裝配方式的交互感不強(qiáng)，從而導(dǎo)致裝配效率低下，裝配效果有限，難以廣泛應(yīng)用，此外，采用大型動(dòng)捕設(shè)備使得成本過高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于，提供一種虛擬裝配方法及裝置，以實(shí)現(xiàn)虛擬現(xiàn)實(shí)的產(chǎn)品裝配過程，提升產(chǎn)品裝配過程的交互感，提高裝配效率和裝配效果，成本低，且應(yīng)用廣泛。

根據(jù)本發(fā)明的一方面，提供一種虛擬裝配方法。所述方法包括：獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，并且，獲取所述裝配操作人員手部肢體的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)；根據(jù)所述手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，分別建立相應(yīng)的手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型；根據(jù)獲取到的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)進(jìn)行姿態(tài)分析，獲得手部肢體的運(yùn)動(dòng)學(xué)數(shù)據(jù)；基于所述手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型，根據(jù)所述運(yùn)動(dòng)學(xué)數(shù)據(jù)進(jìn)行虛擬裝配過程；對所述虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果。

優(yōu)選地，所述獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)包括：

通過Kinect體感器獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)。

優(yōu)選地，所述獲取所述裝配操作人員手部肢體的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)包括：

通過Kinect體感器獲取所述裝配操作人員手部肢體的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)。

優(yōu)選地，所述對所述虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果包括：

根據(jù)部件裝配位置、裝配順序、裝配動(dòng)作和裝配時(shí)間中一種或多種裝配信息對所述虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果。

優(yōu)選地，所述方法還包括：

根據(jù)所述待裝配產(chǎn)品及其部件模型，制作用于展示待裝配產(chǎn)品及其部件的教學(xué)素材視頻，并且，根據(jù)所述裝配效果分析結(jié)果獲得所述裝配操作人員的裝配文檔；

存儲(chǔ)以下數(shù)據(jù)中一種或多種到虛擬裝配數(shù)據(jù)庫中：所述裝配操作人員的手部肢體三維數(shù)據(jù)、所述裝配車間的三維數(shù)據(jù)、所述待裝配產(chǎn)品及其部件的三維數(shù)據(jù)、所述手部肢體的RGB圖像數(shù)據(jù)、所述手部肢體的深度圖像數(shù)據(jù)、所述手部肢體模型、所述裝配車間模型、所述待裝配產(chǎn)品及其部件模型、所述教學(xué)素材視頻和所述裝配文檔。

根據(jù)本發(fā)明的另一方面，提供一種虛擬裝配裝置。所述裝置包括：數(shù)據(jù)獲取模塊，用于獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，并且，獲取所述裝配操作人員手部肢體的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)；模型建立模塊，用于根據(jù)所述手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，分別建立相應(yīng)的手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型；姿態(tài)分析模塊，用于根據(jù)獲取到的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)進(jìn)行姿態(tài)分析，獲得手部肢體的運(yùn)動(dòng)學(xué)數(shù)據(jù)；虛擬裝配模塊，用于基于所述手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型，根據(jù)所述運(yùn)動(dòng)學(xué)數(shù)據(jù)進(jìn)行虛擬裝配過程；裝配效果分析模塊，用于對所述虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果。

優(yōu)選地，所述數(shù)據(jù)獲取模塊用于通過Kinect體感器獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)。

優(yōu)選地，所述數(shù)據(jù)獲取模塊用于通過Kinect體感器獲取所述裝配操作人員手部肢體的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)。

優(yōu)選地，所述裝配效果分析模塊用于根據(jù)部件裝配位置、裝配順序、裝配動(dòng)作和裝配時(shí)間中一種或多種裝配信息對所述虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果。

優(yōu)選地，所述裝置還包括：

視頻制作及文檔獲取模塊，用于根據(jù)所述待裝配產(chǎn)品及其部件模型，制作用于展示待裝配產(chǎn)品及其部件的教學(xué)素材視頻，并且，根據(jù)所述裝配效果分析結(jié)果獲得所述裝配操作人員的裝配文檔；

數(shù)據(jù)存儲(chǔ)模塊，用于存儲(chǔ)以下數(shù)據(jù)中一種或多種到虛擬裝配數(shù)據(jù)庫中：所述裝配操作人員的手部肢體三維數(shù)據(jù)、所述裝配車間的三維數(shù)據(jù)、所述待裝配產(chǎn)品及其部件的三維數(shù)據(jù)、所述手部肢體的RGB圖像數(shù)據(jù)、所述手部肢體的深度圖像數(shù)據(jù)、所述手部肢體模型、所述裝配車間模型、所述待裝配產(chǎn)品及其部件模型、所述教學(xué)素材視頻和所述裝配文檔。

根據(jù)本發(fā)明實(shí)施例提供的虛擬裝配方法及裝置，通過獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，以此為依據(jù)建立相應(yīng)的手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型，根據(jù)獲取到的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)進(jìn)行姿態(tài)分析，獲得手部肢體的運(yùn)動(dòng)學(xué)數(shù)據(jù)。進(jìn)一步基于手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型，根據(jù)運(yùn)動(dòng)學(xué)數(shù)據(jù)進(jìn)行虛擬裝配過程，對虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果。從而實(shí)現(xiàn)了虛擬現(xiàn)實(shí)的產(chǎn)品裝配過程，提升了產(chǎn)品裝配過程的交互感，使操作者獲得真實(shí)的裝配體驗(yàn)。同時(shí)，提高了裝配效率和裝配效果，成本低，且應(yīng)用廣泛。

附圖說明

圖1是示出根據(jù)本發(fā)明實(shí)施例一的虛擬裝配方法的流程圖；

圖2是示出根據(jù)本發(fā)明實(shí)施例二的虛擬裝配方法的流程圖；

圖3是示出根據(jù)本發(fā)明實(shí)施例三的虛擬裝配裝置的邏輯框圖；

圖4是示出根據(jù)本發(fā)明實(shí)施例四的虛擬裝配裝置的邏輯框圖。

具體實(shí)施方式

下面結(jié)合附圖(若干附圖中相同的標(biāo)號(hào)表示相同的元素)和實(shí)施例，對本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)說明。以下實(shí)施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

本領(lǐng)域技術(shù)人員可以理解，本發(fā)明中的“第一”、“第二”等術(shù)語僅用于區(qū)別不同步驟、設(shè)備或模塊等，既不代表任何特定技術(shù)含義，也不表示它們之間的必然邏輯順序。

實(shí)施例一

圖1是示出根據(jù)本發(fā)明實(shí)施例一的虛擬裝配方法的流程圖?？稍谌鐖D3所示的裝置執(zhí)行所述方法。

參照圖1，在步驟S110，獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，并且，獲取裝配操作人員手部肢體的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)。

具體地，可利用體感交互設(shè)備如Kinect體感器采集裝配操作人員手臂、裝配車間、待裝配產(chǎn)品及其零部件的信息，完成三維數(shù)據(jù)的輸入，為后續(xù)建模處理和教學(xué)素材制作提供數(shù)據(jù)源。同時(shí)，利用Kinect體感器獲得裝配操作人員的RGB圖像和深度圖像數(shù)據(jù)，為后續(xù)姿態(tài)分析處理提供數(shù)據(jù)基礎(chǔ)。

在步驟S120，根據(jù)手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，分別建立相應(yīng)的手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型。

具體地，基于采集到的RGB數(shù)據(jù)和深度數(shù)據(jù)，利用現(xiàn)有的三維模型重建算法，建立手部肢體模型(即虛擬手)、裝配車間模型、待裝配產(chǎn)品及其零部件模型。

其中，虛擬手是進(jìn)行虛擬裝配的執(zhí)行機(jī)構(gòu)，可實(shí)現(xiàn)精細(xì)的抓取操作。模仿裝配操作人員的手臂建立虛擬手模型，使其與真實(shí)手臂具有相同的結(jié)構(gòu)，從而使得產(chǎn)品裝配過程中的抓取、移動(dòng)、釋放物體等操作更加逼真。裝配車間模型可以為裝配操作人員提供一種具有多感應(yīng)、較強(qiáng)的真實(shí)感和交互感的虛擬裝配環(huán)境。通過這種虛擬裝配環(huán)境使裝配操作人員產(chǎn)生強(qiáng)烈的真實(shí)感?？紤]到半透明模型可清晰看到產(chǎn)品或部件的內(nèi)部結(jié)構(gòu)，便于觀察、學(xué)習(xí)和掌握其工作原理，因此，本實(shí)施例中，產(chǎn)品及其部件的三維模型可設(shè)置為半透明模式。

在實(shí)際應(yīng)用中，可以使用3DMAX軟件對場景中的手臂、裝配車間、待裝配產(chǎn)品及其零部件模型添加紋理，并進(jìn)行渲染和著色，以增加模型的立體感與真實(shí)感。

在步驟S130，根據(jù)獲取到的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)進(jìn)行姿態(tài)分析，獲得手部肢體的運(yùn)動(dòng)學(xué)數(shù)據(jù)。

通過前述利用Kinect體感器獲取裝配操作人員手臂的RGB圖像和深度圖像數(shù)據(jù)，可以支持實(shí)時(shí)的手臂和骨骼跟蹤，自動(dòng)識(shí)別操作手抓取及釋放等一系列動(dòng)作，獲得手部肢體的運(yùn)動(dòng)學(xué)數(shù)據(jù)，其中包括手臂的姿態(tài)參數(shù)及各種運(yùn)動(dòng)學(xué)參數(shù)(如人手的空間位置的坐標(biāo)數(shù)據(jù)和方位數(shù)據(jù))，進(jìn)而驅(qū)動(dòng)手部肢體模型的運(yùn)動(dòng)，以實(shí)現(xiàn)控制虛擬手的裝配操作姿勢。

在步驟S140，基于手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型，根據(jù)運(yùn)動(dòng)學(xué)數(shù)據(jù)進(jìn)行虛擬裝配過程。

上述步驟中根據(jù)姿態(tài)分析所獲得的運(yùn)動(dòng)學(xué)數(shù)據(jù)驅(qū)動(dòng)虛擬手運(yùn)動(dòng)。即根據(jù)獲得的操作手空間位置的坐標(biāo)數(shù)據(jù)和方位數(shù)據(jù)，并將其轉(zhuǎn)換為虛擬手在虛擬空間中的坐標(biāo)值和方位值，通過坐標(biāo)值的不斷改變，使虛擬手帶動(dòng)零件在虛擬環(huán)境中實(shí)現(xiàn)各種空間的位姿變換，從而實(shí)現(xiàn)零件的抓取裝配過程。由于捕獲到的是手臂真實(shí)運(yùn)動(dòng)的數(shù)據(jù)，因此虛擬手的運(yùn)動(dòng)基本上是人手運(yùn)動(dòng)的復(fù)制品，模擬效果非常逼真。

利用基于距離的碰撞檢測技術(shù)反饋虛擬手模型與待裝配零件、已拆裝零件之間的距離信息，很好的實(shí)現(xiàn)了零件與虛擬手模型之間的同步運(yùn)動(dòng)。為了使零部件接觸時(shí)具備力反饋功能，可通過改變待裝配零件的顏色(或聲音)的方式來通知裝配操作人員已經(jīng)發(fā)生碰撞。也就是說，當(dāng)虛擬手模型運(yùn)動(dòng)到待裝配零件的設(shè)定范圍內(nèi)時(shí)，待裝配零件的顏色發(fā)生改變(或發(fā)出提示音)，這時(shí)可以進(jìn)行零件的抓取動(dòng)作。將待裝配零件的坐標(biāo)與虛擬手的坐標(biāo)同步，隨著虛擬手一起運(yùn)動(dòng)，把待裝配零件移動(dòng)到目標(biāo)位置后，松開手指釋放零件，零件變回初始時(shí)的顏色(或發(fā)出完成提示音)，則完成零件的虛擬裝配過程。上述過程中，通過輸出視覺或聽覺反饋來提示裝配操作人員可以進(jìn)行下一步操作，使得虛擬裝配過程的交互感更強(qiáng)，極大地提升了裝配操作人員的虛擬裝配操作體驗(yàn)。

在步驟S150，對虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果。

具體地，在完成整個(gè)裝配過程后，可以從零部件裝配位置和裝配順序、裝配的動(dòng)作規(guī)范、裝配時(shí)間等方面對虛擬手的裝配過程進(jìn)行自動(dòng)分析，并給出評分和建議。并輸出裝配文檔，以便于裝配操作人員糾正錯(cuò)誤操作，以達(dá)到裝配訓(xùn)練的個(gè)性化、最優(yōu)化，提高了裝配效率。

以下結(jié)合具體的處理示例，來進(jìn)一步更直觀地說明一下本發(fā)明實(shí)施例的具體應(yīng)用。

首先是數(shù)據(jù)準(zhǔn)備階段，利用Kinect體感器獲取產(chǎn)品裝配車間中的實(shí)訓(xùn)場地、操作者手臂、工具箱和產(chǎn)品零部件的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)，并通過三維模型重建算法建立產(chǎn)品零部件模型、工具模型、三維實(shí)訓(xùn)場地模型和虛擬手模型，并添加紋理，增加模型的立體感與真實(shí)感。利用flash軟件制作輔助虛擬教學(xué)的三維動(dòng)畫和二維視頻，并將建好的模型和輔助教學(xué)材料導(dǎo)入系統(tǒng)數(shù)據(jù)庫；

其次是虛擬裝配教學(xué)、訓(xùn)練及考核階段：應(yīng)用了本發(fā)明實(shí)施例的虛擬裝配方法的虛擬裝配系統(tǒng)可以啟動(dòng)三種模式，即教學(xué)、訓(xùn)練和考核。在教學(xué)和訓(xùn)練模式中，分別由教員和學(xué)員進(jìn)行操作，可以隨時(shí)調(diào)用系統(tǒng)數(shù)據(jù)庫中的輔助教學(xué)材料，允許操作者切換視角，從不同的角度觀察產(chǎn)品的零部件結(jié)構(gòu)，以交互、直觀且生動(dòng)的方式幫助操作者了解產(chǎn)品運(yùn)行原理，掌握其內(nèi)部結(jié)構(gòu)和裝配順序。裝備完畢后，系統(tǒng)自動(dòng)給出效果分析和建議的文檔。當(dāng)進(jìn)入考核模式，則由學(xué)員進(jìn)行操作，系統(tǒng)數(shù)據(jù)庫中僅提供考核所需的各類零部件模型，學(xué)員裝配完畢后，系統(tǒng)自動(dòng)給出評分結(jié)果，并以裝配文檔形式輸出。

本發(fā)明實(shí)施例提供的虛擬裝配方法，通過獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，以此為依據(jù)建立相應(yīng)的手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型，根據(jù)獲取到的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)進(jìn)行姿態(tài)分析，獲得手部肢體的運(yùn)動(dòng)學(xué)數(shù)據(jù)。進(jìn)一步基于手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型，根據(jù)運(yùn)動(dòng)學(xué)數(shù)據(jù)進(jìn)行虛擬裝配過程，對虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果。從而實(shí)現(xiàn)了虛擬現(xiàn)實(shí)的產(chǎn)品裝配過程，提升了產(chǎn)品裝配過程的交互感，使操作者獲得真實(shí)的裝配體驗(yàn)。同時(shí)，提高了裝配效率和裝配效果，成本低，且應(yīng)用廣泛。

實(shí)施例二

圖2是示出根據(jù)本發(fā)明實(shí)施例二的虛擬裝配方法的流程圖，所述實(shí)施例可視為圖1的一種具體的實(shí)現(xiàn)方案?？稍谌鐖D4所示的裝置執(zhí)行所述方法。

參照圖2，在步驟S210，獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，并且，獲取裝配操作人員手部肢體的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)。

根據(jù)本發(fā)明示例性實(shí)施例，步驟S210中獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)的處理可包括：通過Kinect體感器獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)。

根據(jù)本發(fā)明另一示例性實(shí)施例，步驟S210中獲取裝配操作人員手部肢體的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)的處理可包括：通過Kinect體感器獲取裝配操作人員手部肢體的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)。

在步驟S220，根據(jù)手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，分別建立相應(yīng)的手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型。

在步驟S230，根據(jù)獲取到的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)進(jìn)行姿態(tài)分析，獲得手部肢體的運(yùn)動(dòng)學(xué)數(shù)據(jù)。

其中，上述步驟S230的步驟內(nèi)容與上述實(shí)施例一中步驟S130的步驟內(nèi)容相同，在此不再贅述。

在步驟S240，基于手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型，根據(jù)運(yùn)動(dòng)學(xué)數(shù)據(jù)進(jìn)行虛擬裝配過程。

其中，上述步驟S240的步驟內(nèi)容與上述實(shí)施例一中步驟S140的步驟內(nèi)容相同，在此不再贅述。

在步驟S250，對虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果。

根據(jù)本發(fā)明示例性實(shí)施例，步驟S250可包括：根據(jù)部件裝配位置、裝配順序、裝配動(dòng)作和裝配時(shí)間中一種或多種裝配信息對虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果。

在步驟S260，根據(jù)待裝配產(chǎn)品及其部件模型，制作用于展示待裝配產(chǎn)品及其部件的教學(xué)素材視頻，并且，根據(jù)裝配效果分析結(jié)果獲得裝配操作人員的裝配文檔。

在具體的實(shí)現(xiàn)方式中，結(jié)合產(chǎn)品及其零部件模型，采用flash軟件制作二維視頻和三維動(dòng)畫。借助于二維視頻學(xué)習(xí)產(chǎn)品工作原理，熟悉其典型結(jié)構(gòu)；通過三維動(dòng)畫了解產(chǎn)品零件的形態(tài)、外觀以及組件、部件間的關(guān)系，實(shí)現(xiàn)對裝配過程的感性認(rèn)識(shí)。

其中，將待裝配的產(chǎn)品及其零部件的模型可設(shè)置為半透明式，并通過半透明式三維動(dòng)畫、操作視頻對操作者進(jìn)行示范和講解，在演示的過程中允許用戶切換視角，從不同的角度觀察產(chǎn)品的零部件結(jié)構(gòu)，以交互的、直觀的、生動(dòng)的方式幫助裝配操作人員理解產(chǎn)品的運(yùn)行原理，熟悉其內(nèi)部結(jié)構(gòu)和構(gòu)造，從而掌握產(chǎn)品的裝配方法。

在步驟S270，存儲(chǔ)以下數(shù)據(jù)中一種或多種到虛擬裝配數(shù)據(jù)庫中：裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)、待裝配產(chǎn)品及其部件的三維數(shù)據(jù)、手部肢體的RGB圖像數(shù)據(jù)、手部肢體的深度圖像數(shù)據(jù)、手部肢體模型、裝配車間模型、待裝配產(chǎn)品及其部件模型、教學(xué)素材視頻和裝配文檔。

在實(shí)際應(yīng)用中，虛擬裝配數(shù)據(jù)庫用于存儲(chǔ)各類模型數(shù)據(jù)和教學(xué)素材。并能夠提供靈活的數(shù)據(jù)維護(hù)和更新功能，使用者可以通過簡單的數(shù)據(jù)接口，實(shí)現(xiàn)數(shù)據(jù)庫中數(shù)據(jù)信息的更新。

本發(fā)明實(shí)施例提供的虛擬裝配方法，具有以下技術(shù)效果：

一方面，利用Kinect體感器作為信息(骨骼信息)采集器，以虛擬人第一視角進(jìn)行裝配，通過虛擬手動(dòng)作來增強(qiáng)視覺反饋。與現(xiàn)有虛擬裝配方式相比，本實(shí)施例的虛擬裝配方法使得交互方式具有更高的代入感，營造了整個(gè)裝配過程是在真實(shí)客觀環(huán)境中進(jìn)行的氛圍，增強(qiáng)了體驗(yàn)效果，調(diào)動(dòng)了裝配操作人員進(jìn)行虛擬裝配學(xué)習(xí)的積極性；

另一方面，將虛擬現(xiàn)實(shí)技術(shù)引入產(chǎn)品裝配過程中，能夠激發(fā)裝配操作人員培訓(xùn)時(shí)的興趣和積極性，提高了裝配訓(xùn)練效果；此外，利用虛擬現(xiàn)實(shí)技術(shù)的安全、經(jīng)濟(jì)、可重復(fù)、直觀等優(yōu)勢，用虛擬樣品替代產(chǎn)品實(shí)物，節(jié)省了大量的實(shí)踐教學(xué)經(jīng)費(fèi)，縮短了培訓(xùn)周期，提高了產(chǎn)品裝配的操作水平，并能夠保證裝配過程在高效、高質(zhì)量、短時(shí)間、低成本、安全性高的環(huán)境下完成；

再一方面，在本實(shí)施例中，可以對裝配效果進(jìn)行自動(dòng)分析。分析結(jié)果可以作為對裝配操作人員的裝配過程做出評價(jià)，以及提出訓(xùn)練建議的依據(jù)。有利于教員直觀系統(tǒng)地分析裝配操作人員的裝配動(dòng)作，并且，有助于裝配操作人員及時(shí)發(fā)現(xiàn)、領(lǐng)悟自身缺陷，對整體提高裝配操作人員的裝配質(zhì)量和裝配效率有較大的促進(jìn)作用；

又一方面，既實(shí)現(xiàn)了對產(chǎn)品裝配方法的教學(xué)，又可以實(shí)現(xiàn)學(xué)員對于裝配知識(shí)的學(xué)習(xí)與技能的訓(xùn)練以及學(xué)員的考核，將教學(xué)、訓(xùn)練和考核融為一體。滿足了在產(chǎn)品裝配教學(xué)、訓(xùn)練和考核方面的技術(shù)需求，使裝配操作人員在獲得真實(shí)的裝配體驗(yàn)的同時(shí)，提高了其裝配方面的專業(yè)素養(yǎng)。

實(shí)施例三

基于相同的技術(shù)構(gòu)思，圖3是示出根據(jù)本發(fā)明實(shí)施例三的虛擬裝配裝置的邏輯框圖?？捎靡詧?zhí)行如實(shí)施例一所述的虛擬裝配方法流程。

參照圖3，虛擬裝配裝置包括數(shù)據(jù)獲取模塊310、模型建立模塊320、姿態(tài)分析模塊330、虛擬裝配模塊340和裝配效果分析模塊350。

數(shù)據(jù)獲取模塊310用于獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，并且，獲取裝配操作人員手部肢體的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)。

模型建立模塊320用于根據(jù)手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，分別建立相應(yīng)的手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型。

姿態(tài)分析模塊330用于根據(jù)獲取到的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)進(jìn)行姿態(tài)分析，獲得手部肢體的運(yùn)動(dòng)學(xué)數(shù)據(jù)。

虛擬裝配模塊340用于基于手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型，根據(jù)運(yùn)動(dòng)學(xué)數(shù)據(jù)進(jìn)行虛擬裝配過程。

裝配效果分析模塊350用于對虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果。

本發(fā)明實(shí)施例提供的虛擬裝配裝置，通過獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)，以此為依據(jù)建立相應(yīng)的手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型，根據(jù)獲取到的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)進(jìn)行姿態(tài)分析，獲得手部肢體的運(yùn)動(dòng)學(xué)數(shù)據(jù)。進(jìn)一步基于手部肢體模型、裝配車間模型和待裝配產(chǎn)品及其部件模型，根據(jù)運(yùn)動(dòng)學(xué)數(shù)據(jù)進(jìn)行虛擬裝配過程，對虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果。從而實(shí)現(xiàn)了虛擬現(xiàn)實(shí)的產(chǎn)品裝配過程，提升了產(chǎn)品裝配過程的交互感，使操作者獲得真實(shí)的裝配體驗(yàn)。同時(shí)，提高了裝配效率和裝配效果，成本低，且應(yīng)用廣泛。

實(shí)施例四

基于相同的技術(shù)構(gòu)思，圖4是示出根據(jù)本發(fā)明實(shí)施例四的虛擬裝配裝置的邏輯框圖?？捎靡詧?zhí)行如實(shí)施例二所述的虛擬裝配方法流程。

參照圖4，具體地，數(shù)據(jù)獲取模塊310可用于通過Kinect體感器獲取裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)和待裝配產(chǎn)品及其部件的三維數(shù)據(jù)。

進(jìn)一步地，數(shù)據(jù)獲取模塊310可用于通過Kinect體感器獲取裝配操作人員手部肢體的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)。

優(yōu)選地，裝配效果分析模塊350可用于根據(jù)部件裝配位置、裝配順序、裝配動(dòng)作和裝配時(shí)間中一種或多種裝配信息對虛擬裝配過程進(jìn)行分析，獲得裝配效果分析結(jié)果。

可選地，該虛擬裝配裝置還包括：

視頻制作及文檔獲取模塊360用于根據(jù)待裝配產(chǎn)品及其部件模型，制作用于展示待裝配產(chǎn)品及其部件的教學(xué)素材視頻，并且，根據(jù)裝配效果分析結(jié)果獲得裝配操作人員的裝配文檔。

數(shù)據(jù)存儲(chǔ)模塊370用于存儲(chǔ)以下數(shù)據(jù)中一種或多種到虛擬裝配數(shù)據(jù)庫中：裝配操作人員的手部肢體三維數(shù)據(jù)、裝配車間的三維數(shù)據(jù)、待裝配產(chǎn)品及其部件的三維數(shù)據(jù)、手部肢體的RGB圖像數(shù)據(jù)、手部肢體的深度圖像數(shù)據(jù)、手部肢體模型、裝配車間模型、待裝配產(chǎn)品及其部件模型、教學(xué)素材視頻和裝配文檔。

本發(fā)明實(shí)施例提供的虛擬裝配裝置，具有以下技術(shù)效果：

第一，利用Kinect體感器作為信息(骨骼信息)采集器，以虛擬人第一視角進(jìn)行裝配，通過虛擬手動(dòng)作來增強(qiáng)視覺反饋。與現(xiàn)有虛擬裝配方式相比，本實(shí)施例的虛擬裝配方法使得交互方式具有更高的代入感，營造了整個(gè)裝配過程是在真實(shí)客觀環(huán)境中進(jìn)行的氛圍，增強(qiáng)了體驗(yàn)效果，調(diào)動(dòng)了裝配操作人員進(jìn)行虛擬裝配學(xué)習(xí)的積極性；

第二，將虛擬現(xiàn)實(shí)技術(shù)引入產(chǎn)品裝配過程中，能夠激發(fā)裝配操作人員培訓(xùn)時(shí)的興趣和積極性，提高了裝配訓(xùn)練效果；此外，利用虛擬現(xiàn)實(shí)技術(shù)的安全、經(jīng)濟(jì)、可重復(fù)、直觀等優(yōu)勢，用虛擬樣品替代產(chǎn)品實(shí)物，節(jié)省了大量的實(shí)踐教學(xué)經(jīng)費(fèi)，縮短了培訓(xùn)周期，提高了產(chǎn)品裝配的操作水平，并能夠保證裝配過程在高效、高質(zhì)量、短時(shí)間、低成本、安全性高的環(huán)境下完成；

第三，在本實(shí)施例中，可以對裝配效果進(jìn)行自動(dòng)分析。分析結(jié)果可以作為對裝配操作人員的裝配過程做出評價(jià)，以及提出訓(xùn)練建議的依據(jù)。有利于教員直觀系統(tǒng)地分析裝配操作人員的裝配動(dòng)作，并且，有助于裝配操作人員及時(shí)發(fā)現(xiàn)、領(lǐng)悟自身缺陷，對整體提高裝配操作人員的裝配質(zhì)量和裝配效率有較大的促進(jìn)作用；

第四，既實(shí)現(xiàn)了對產(chǎn)品裝配方法的教學(xué)，又可以實(shí)現(xiàn)學(xué)員對于裝配知識(shí)的學(xué)習(xí)與技能的訓(xùn)練以及學(xué)員的考核，將教學(xué)、訓(xùn)練和考核融為一體。滿足了在產(chǎn)品裝配教學(xué)、訓(xùn)練和考核方面的技術(shù)需求，使裝配操作人員在獲得真實(shí)的裝配體驗(yàn)的同時(shí)，提高了其裝配方面的專業(yè)素養(yǎng)。

需要指出，根據(jù)實(shí)施的需要，可將本申請中描述的各個(gè)步驟/部件拆分為更多步驟/部件，也可將兩個(gè)或多個(gè)步驟/部件或者步驟/部件的部分操作組合成新的步驟/部件，以實(shí)現(xiàn)本發(fā)明的目的。

上述根據(jù)本發(fā)明的方法可在硬件、固件中實(shí)現(xiàn)，或者被實(shí)現(xiàn)為可存儲(chǔ)在記錄介質(zhì)(諸如CD ROM、RAM、軟盤、硬盤或磁光盤)中的軟件或計(jì)算機(jī)代碼，或者被實(shí)現(xiàn)通過網(wǎng)絡(luò)下載的原始存儲(chǔ)在遠(yuǎn)程記錄介質(zhì)或非暫時(shí)機(jī)器可讀介質(zhì)中并將被存儲(chǔ)在本地記錄介質(zhì)中的計(jì)算機(jī)代碼，從而在此描述的方法可被存儲(chǔ)在使用通用計(jì)算機(jī)、專用處理器或者可編程或?qū)Ｓ糜布?諸如ASIC或FPGA)的記錄介質(zhì)上的這樣的軟件處理?？梢岳斫猓?jì)算機(jī)、處理器、微處理器控制器或可編程硬件包括可存儲(chǔ)或接收軟件或計(jì)算機(jī)代碼的存儲(chǔ)組件(例如，RAM、ROM、閃存等)，當(dāng)所述軟件或計(jì)算機(jī)代碼被計(jì)算機(jī)、處理器或硬件訪問且執(zhí)行時(shí)，實(shí)現(xiàn)在此描述的處理方法。此外，當(dāng)通用計(jì)算機(jī)訪問用于實(shí)現(xiàn)在此示出的處理的代碼時(shí)，代碼的執(zhí)行將通用計(jì)算機(jī)轉(zhuǎn)換為用于執(zhí)行在此示出的處理的專用計(jì)算機(jī)。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。