本技術涉及圖像處理,具體涉及數(shù)字醫(yī)療領域,尤其涉及一種視頻序列生成方法、裝置、計算機設備及存儲介質(zhì)。
背景技術:
1、在快速發(fā)展的數(shù)字醫(yī)療時代,利用多媒體技術尤其是視頻形式傳播醫(yī)療知識已成為提升公眾健康素養(yǎng)、促進醫(yī)患溝通的重要途徑。然而,醫(yī)療領域的知識體系復雜且專業(yè)性強,涉及大量專業(yè)術語、復雜的生理機制及精細的手術過程,這些信息的準確傳達對于視頻制作提出了極高的要求。
2、傳統(tǒng)上,根據(jù)醫(yī)療相關的描述信息生成視頻依賴于人工編輯或簡單的文本轉(zhuǎn)視頻技術,但這種方法在處理醫(yī)療文本時往往面臨巨大挑戰(zhàn)。醫(yī)療文本中的專業(yè)術語多且含義精確,非專業(yè)人士難以準確理解其深層含義,這直接導致了視頻制作過程中信息解讀的偏差。此外,醫(yī)療信息的內(nèi)容復雜多變,包括疾病診斷、治療方案、手術步驟等多個方面,信息的準確傳達需要高度的專業(yè)性和細致性,稍有差池就可能誤導觀眾,影響醫(yī)療知識的正確傳播和醫(yī)療信息查詢的有效性。
技術實現(xiàn)思路
1、本技術實施例的目的在于提出一種視頻序列生成方法、裝置、計算機設備及存儲介質(zhì),以解決無法根據(jù)輸入的文本信息來準確生成與文本信息內(nèi)容相符的有效視頻序列的問題。
2、為了解決上述技術問題,本技術實施例提供一種視頻序列生成方法,采用了如下所述的技術方案:
3、獲取文本關鍵信息,根據(jù)所述文本關鍵信息獲取對應的場景元素,并根據(jù)所述場景元素和所述文本關鍵信息生成文本描述信息;
4、提取所述文本描述信息的空間位置關系信息,根據(jù)所述場景元素和所述空間位置關系信息構建初始虛擬場景;
5、提取所述文本描述信息的重點內(nèi)容信息,根據(jù)所述重點內(nèi)容信息動態(tài)調(diào)整虛擬攝像參數(shù),得到有效虛擬攝像參數(shù);
6、根據(jù)所述有效虛擬攝像參數(shù)將所述初始虛擬場景轉(zhuǎn)換為視頻序列;
7、判斷所述視頻序列是否滿足預設質(zhì)量閾值要求;
8、若所述視頻序列不滿足所述預設質(zhì)量閾值要求,則從所述視頻序列中提取圖像缺陷信息,并根據(jù)所述圖像缺陷信息調(diào)整所述虛擬攝像參數(shù),得到調(diào)整虛擬攝像參數(shù),根據(jù)所述調(diào)整虛擬攝像參數(shù)將所述初始虛擬場景轉(zhuǎn)換為調(diào)整視頻序列,再判斷所述調(diào)整視頻序列是否滿足所述預設質(zhì)量閾值要求,直至所述調(diào)整視頻序列滿足所述預設質(zhì)量閾值要求;
9、提取文本關鍵信息的深層關鍵信息,根據(jù)所述深層關鍵信息從預構建的場景元素庫中查找對應的深層場景元素,并將所述深層場景元素集成至所述調(diào)整視頻序列中,得到有效視頻序列。
10、進一步的,所述獲取文本關鍵信息,根據(jù)所述文本關鍵信息獲取對應的場景元素,并根據(jù)所述場景元素和所述文本關鍵信息生成文本描述信息的步驟,具體包括:
11、獲取輸入文本信息,對所述輸入文本信息進行分詞處理,得到文本分詞結(jié)果;
12、根據(jù)文本分詞結(jié)果對所述輸入文本信息進行詞性標注和命名實體識別,并從所述輸入文本信息中提取所述文本關鍵信息;
13、根據(jù)所述文本關鍵信息在預構建的場景元素庫中進行相似度匹配,得到所述場景元素;
14、將所述場景元素和所述文本關鍵信息融合處理,得到所述文本描述信息。
15、進一步的,所述提取所述文本描述信息的空間位置關系信息,根據(jù)所述場景元素和所述空間位置關系信息構建初始虛擬場景的步驟,具體包括:
16、對所述文本描述信息進行第一語言處理,提取場景元素信息和所述空間位置關系信息;
17、根據(jù)所述場景元素信息構建所述場景元素之間的語義關聯(lián)網(wǎng)絡;
18、根據(jù)所述空間位置關系信息計算所述場景元素在虛擬場景的三維坐標位置信息;
19、根據(jù)所述語義關聯(lián)網(wǎng)絡和所述三維坐標位置信息生成場景布局方案;
20、根據(jù)所述場景布局方案和所述場景元素信息構建所述初始虛擬場景。
21、進一步的,所述提取所述文本描述信息的重點內(nèi)容信息,根據(jù)所述重點內(nèi)容信息動態(tài)調(diào)整虛擬攝像參數(shù),得到有效虛擬攝像參數(shù)的步驟,具體包括:
22、對所述文本描述信息進行第二語言處理,提取所述重點內(nèi)容信息;
23、根據(jù)所述重點內(nèi)容信息在所述初始虛擬場景中確定場景關注區(qū)域;
24、基于所述場景關注區(qū)域調(diào)整所述初始虛擬場景對應的虛擬攝像參數(shù),得到所述有效虛擬攝像參數(shù)。
25、進一步的,所述根據(jù)所述有效虛擬攝像參數(shù)將所述初始虛擬場景轉(zhuǎn)換為視頻序列的步驟,具體包括:
26、獲取所述有效虛擬攝像參數(shù),根據(jù)所述有效虛擬攝像參數(shù)在預設虛擬場景中設置虛擬攝像機,并調(diào)整所述虛擬攝像機的視角對準所述初始虛擬場景;
27、基于光線追蹤算法對所述初始虛擬場景進行光線傳播模擬,得到像素點光照信息;
28、根據(jù)所述像素點光照信息在所述初始虛擬場景中進行紋理圖像映射,生成光照紋理圖像;
29、根據(jù)所述光照紋理圖像渲染所述虛擬攝像機對應的二維圖像幀,并對渲染后的二維圖像幀進行編碼,生成所述視頻序列。
30、進一步的,所述判斷所述視頻序列是否滿足預設質(zhì)量閾值要求的步驟,具體包括:
31、對所述視頻序列進行片段劃分,得到視頻幀片段;
32、對所述視頻幀片段進行關鍵幀提取,得到視頻關鍵幀;
33、將所述視頻關鍵幀輸入至預訓練的神經(jīng)網(wǎng)絡模型進行質(zhì)量評估,得到視頻質(zhì)量評分;
34、將所述視頻質(zhì)量評分和預設質(zhì)量評分閾值進行對比。
35、進一步的,所述提取文本關鍵信息的深層關鍵信息,根據(jù)所述深層關鍵信息從預構建的場景元素庫中查找對應的深層場景元素,并將所述深層場景元素集成至所述調(diào)整視頻序列中,得到有效視頻序列的步驟,具體包括:
36、獲取所述調(diào)整視頻序列,并從所述調(diào)整視頻序列中提取調(diào)整場景信息;
37、將所述調(diào)整場景信息和所述文本關鍵信息進行匹配,并提取匹配到的信息,得到所述深層關鍵信息,其中,所述深層關鍵信息包括人物動作信息、表情信息、場景變換信息;
38、根據(jù)所述人物動作信息、所述表情信息、所述場景變換信息在所述場景元素庫中進行匹配查找,得到所述深層場景元素;
39、將所述深層場景元素和所述視頻序列進行對比,確定所述深層場景元素在所述調(diào)整視頻序列的插入位置和插入時間點;
40、根據(jù)所述插入位置和所述插入時間點將所述深層場景元素逐幀插入至所述調(diào)整視頻序列,得到所述有效視頻序列。
41、為了解決上述技術問題,本技術實施例還提供一種視頻序列生成裝置,采用了如下所述的技術方案:
42、信息獲取模塊,用于獲取文本關鍵信息,根據(jù)所述文本關鍵信息獲取對應的場景元素,并根據(jù)所述場景元素和所述文本關鍵信息生成文本描述信息;
43、場景構建模塊,用于提取所述文本描述信息的空間位置關系信息,根據(jù)所述場景元素和所述空間位置關系信息構建初始虛擬場景;
44、參數(shù)調(diào)整模塊,用于提取所述文本描述信息的重點內(nèi)容信息,根據(jù)所述重點內(nèi)容信息動態(tài)調(diào)整虛擬攝像參數(shù),得到有效虛擬攝像參數(shù);
45、序列轉(zhuǎn)換模塊,用于根據(jù)所述有效虛擬攝像參數(shù)將所述初始虛擬場景轉(zhuǎn)換為視頻序列;
46、質(zhì)量判斷模塊,用于判斷所述視頻序列是否滿足預設質(zhì)量閾值要求;
47、調(diào)整處理模塊,用于若所述視頻序列不滿足所述預設質(zhì)量閾值要求,則從所述視頻序列中提取圖像缺陷信息,并根據(jù)所述圖像缺陷信息調(diào)整所述虛擬攝像參數(shù),得到調(diào)整虛擬攝像參數(shù),根據(jù)所述調(diào)整虛擬攝像參數(shù)將所述初始虛擬場景轉(zhuǎn)換為調(diào)整視頻序列,再判斷所述調(diào)整視頻序列是否滿足所述預設質(zhì)量閾值要求,直至所述調(diào)整視頻序列滿足所述預設質(zhì)量閾值要求;
48、視頻生成模塊,用于提取文本關鍵信息的深層關鍵信息,根據(jù)所述深層關鍵信息從預構建的場景元素庫中查找對應的深層場景元素,并將所述深層場景元素集成至所述調(diào)整視頻序列中,得到有效視頻序列。
49、為了解決上述技術問題,本技術實施例還提供一種計算機設備,采用了如下所述的技術方案:
50、一種計算機設備,包括存儲器和處理器,所述存儲器中存儲有計算機可讀指令,所述處理器執(zhí)行所述計算機可讀指令時實現(xiàn)如以上任一項所述的視頻序列生成方法的步驟。
51、為了解決上述技術問題,本技術實施例還提供一種計算機可讀存儲介質(zhì),采用了如下所述的技術方案:
52、一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)上存儲有計算機可讀指令,所述計算機可讀指令被處理器執(zhí)行時實現(xiàn)如以上任一項所述的視頻序列生成方法的步驟。
53、與現(xiàn)有技術相比,本技術實施例主要有以下有益效果:本實施例通過獲取文本關鍵信息,根據(jù)所述文本關鍵信息獲取對應的場景元素,并根據(jù)所述場景元素和所述文本關鍵信息生成文本描述信息;提取所述文本描述信息的空間位置關系信息,根據(jù)所述場景元素和所述空間位置關系信息構建初始虛擬場景;提取所述文本描述信息的重點內(nèi)容信息,根據(jù)所述重點內(nèi)容信息動態(tài)調(diào)整虛擬攝像參數(shù),得到有效虛擬攝像參數(shù);根據(jù)所述有效虛擬攝像參數(shù)將所述初始虛擬場景轉(zhuǎn)換為視頻序列;判斷所述視頻序列是否滿足預設質(zhì)量閾值要求;若所述視頻序列不滿足所述預設質(zhì)量閾值要求,則從所述視頻序列中提取圖像缺陷信息,并根據(jù)所述圖像缺陷信息調(diào)整所述虛擬攝像參數(shù),得到調(diào)整虛擬攝像參數(shù),根據(jù)所述調(diào)整虛擬攝像參數(shù)將所述初始虛擬場景轉(zhuǎn)換為調(diào)整視頻序列,再判斷所述調(diào)整視頻序列是否滿足所述預設質(zhì)量閾值要求,直至所述調(diào)整視頻序列滿足所述預設質(zhì)量閾值要求;提取文本關鍵信息的深層關鍵信息,根據(jù)所述深層關鍵信息從預構建的場景元素庫中查找對應的深層場景元素,并將所述深層場景元素集成至所述調(diào)整視頻序列中,得到有效視頻序列。從而有效根據(jù)輸入的文本信息來準確生成與文本信息內(nèi)容相符的有效視頻序列。