本發(fā)明涉及計(jì)算機(jī)，尤其涉及一種基于擴(kuò)散模型的室內(nèi)設(shè)計(jì)渲染圖生成方法與裝置。
背景技術(shù)：
：：1、在現(xiàn)代室內(nèi)設(shè)計(jì)領(lǐng)域，毛坯房設(shè)計(jì)一直是一個(gè)重要且具有挑戰(zhàn)性的課題。毛坯房的設(shè)計(jì)需要考慮到空間布局、功能規(guī)劃、風(fēng)格搭配等多個(gè)方面，而傳統(tǒng)的設(shè)計(jì)方法往往依賴于設(shè)計(jì)師的經(jīng)驗(yàn)和手工繪制，既耗時(shí)又費(fèi)力。同時(shí)，隨著消費(fèi)者對(duì)個(gè)性化和高品質(zhì)室內(nèi)環(huán)境的需求不斷增加，設(shè)計(jì)師面臨著更大的壓力和挑戰(zhàn)，如何高效地生成高質(zhì)量的室內(nèi)設(shè)計(jì)渲染圖成為業(yè)內(nèi)急需解決的問題。隨著人工智能和深度學(xué)習(xí)技術(shù)的快速發(fā)展，計(jì)算機(jī)視覺在圖像生成和圖像編輯領(lǐng)域取得了顯著的進(jìn)展。其中，stable?diffusion模型作為一種先進(jìn)的擴(kuò)散模型，通過逐步去噪的過程生成高質(zhì)量圖像，在許多圖像生成任務(wù)中表現(xiàn)出色。然而，僅依賴于預(yù)訓(xùn)練的stable?diffusion模型進(jìn)行毛坯房室內(nèi)設(shè)計(jì)渲染，仍然面臨一些局限，如無(wú)法精確控制圖像中的具體元素和風(fēng)格。技術(shù)實(shí)現(xiàn)思路1、本發(fā)明實(shí)施例的主要目的在于提出一種基于擴(kuò)散模型的室內(nèi)設(shè)計(jì)渲染圖生成方法與裝置，能夠提升室內(nèi)設(shè)計(jì)渲染圖的生成效果和實(shí)用性。2、為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例的一方面提出了一種基于擴(kuò)散模型的室內(nèi)設(shè)計(jì)渲染圖生成方法，包括以下步驟：3、收集歷史室內(nèi)設(shè)計(jì)裝修渲染圖的數(shù)據(jù)并進(jìn)行風(fēng)格分類，分別微調(diào)出各個(gè)風(fēng)格的lora適配器；4、輸入待裝修的室內(nèi)毛坯圖像，提取所述室內(nèi)毛坯圖像的canny算子特征和深度圖像特征，所述canny算子特征和深度圖像特征用于作為后續(xù)渲染圖生成的控制條件；5、利用圖像分割模型識(shí)別出所述室內(nèi)毛坯圖像中的固定結(jié)構(gòu)，標(biāo)記出掩膜數(shù)據(jù)；6、利用預(yù)訓(xùn)練的stable?diffusion模型，結(jié)合controlnet和stable?inpainting工作流，輸入所述控制條件、所述掩膜數(shù)據(jù)以及prompt，生成貼合室內(nèi)結(jié)構(gòu)的裝修渲染圖；7、根據(jù)所述lora適配器設(shè)置可選裝修風(fēng)格，根據(jù)風(fēng)格選項(xiàng)在工作流中插入lora調(diào)整渲染圖風(fēng)格；8、設(shè)置并調(diào)整超參數(shù)，確保渲染圖的結(jié)構(gòu)布局與所述室內(nèi)毛胚圖像一致并提升渲染圖的細(xì)節(jié)信息和畫質(zhì)。9、在一些實(shí)施例中，所述收集歷史室內(nèi)設(shè)計(jì)裝修渲染圖數(shù)據(jù)并進(jìn)行風(fēng)格分類，分別微調(diào)出各個(gè)風(fēng)格的lora適配器，包括以下步驟：10、將所述歷史室內(nèi)設(shè)計(jì)裝修渲染圖按照產(chǎn)品和設(shè)計(jì)風(fēng)格進(jìn)行分類，得到各個(gè)風(fēng)格系列的風(fēng)格數(shù)據(jù)，所述設(shè)計(jì)風(fēng)格包括田園風(fēng)格、新中式風(fēng)格、地中海風(fēng)格；11、在風(fēng)格數(shù)據(jù)內(nèi)按照戶型的空間類型進(jìn)行細(xì)分，所述空間類型包括臥室、客廳、廚房、浴室；12、以風(fēng)格和房型為單位，微調(diào)得到對(duì)應(yīng)“風(fēng)格_房型”的lora適配器。13、在一些實(shí)施例中，所述以風(fēng)格和房型為單位，微調(diào)得到對(duì)應(yīng)“風(fēng)格_房型”的lora適配器，包括以下步驟：14、將數(shù)據(jù)劃分訓(xùn)練集和驗(yàn)證集，并加載stable?diffusion的預(yù)訓(xùn)練模型；15、在stable?diffusion模型的u-net部分的卷積層和自注意力層中插入lora適配器；16、初始化lora適配器中的兩個(gè)低秩矩陣，并設(shè)置縮放因子；17、對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行迭代訓(xùn)練，模型選用mse作為損失函數(shù)，采用adam優(yōu)化器，初始學(xué)習(xí)率為0.0001，采用遇險(xiǎn)下降的學(xué)習(xí)率衰減方法，batch?size設(shè)置為16，梯度累計(jì)步數(shù)為1，總共訓(xùn)練1000輪次；18、使用驗(yàn)證集進(jìn)行性能評(píng)估，調(diào)整模型參數(shù)，以保證模型的泛化能力；19、保存微調(diào)好的lora適配器，并建立對(duì)應(yīng)的管理和使用機(jī)制。20、在一些實(shí)施例中，所述輸入待裝修的室內(nèi)毛坯圖像，提取所述室內(nèi)毛坯圖像的canny算子特征和深度圖像特征，具體為：21、輸入待裝修的室內(nèi)毛坯圖像，利用canny算子提取圖像的邊緣特征，作為空間結(jié)構(gòu)的第一控制條件；22、利用dpt-hybrid-midas模型估計(jì)輸入圖像的深度特征，得到空間內(nèi)的第二控制條件；23、保存所述第一控制條件和所述第二控制條件，并進(jìn)行可視化顯示。24、在一些實(shí)施例中，所述利用圖像分割模型識(shí)別出所述室內(nèi)毛坯圖像中的固定結(jié)構(gòu)，標(biāo)記出掩膜數(shù)據(jù)，包括以下步驟：25、利用sam模型識(shí)別待裝修的室內(nèi)毛坯圖像，自動(dòng)分割出固定結(jié)構(gòu)的位置和大小，所述固定結(jié)構(gòu)包括門、窗；26、對(duì)于分割出的掩膜數(shù)據(jù)進(jìn)行后處理操作，得到掩膜數(shù)據(jù)，記為mask并保存mask，所述后處理操作包括腐蝕和膨脹。27、在一些實(shí)施例中，所述利用預(yù)訓(xùn)練的stable?diffusion模型，結(jié)合controlnet和stable?inpainting工作流，輸入所述控制條件、所述掩膜數(shù)據(jù)以及prompt，生成貼合室內(nèi)結(jié)構(gòu)的裝修渲染圖，包括以下步驟：28、載入預(yù)訓(xùn)練的stable?diffusion模型并插入controlnet分支和stableinpainting分支；29、加載控制條件，將控制條件做加法后輸入到controlnet的depth模型中；30、加載所述掩膜數(shù)據(jù)，將所述掩膜數(shù)據(jù)輸入到stable?inpainting分支；31、輸入室內(nèi)設(shè)計(jì)相關(guān)的描述作為prompt正向文本提示詞，以及負(fù)向提示詞，設(shè)置生成步數(shù)和分辨率；32、啟動(dòng)模型生成渲染圖，展示生成的渲染圖。33、在一些實(shí)施例中，所述根據(jù)所述lora適配器設(shè)置可選裝修風(fēng)格，根據(jù)風(fēng)格選項(xiàng)在工作流中插入lora調(diào)整渲染圖風(fēng)格，具體為：34、提供可選裝修風(fēng)格和房間功能類型供用戶選擇，在生成的裝修渲染圖的基礎(chǔ)上改變整體的裝修風(fēng)格；35、在stable?diffusion模型的unet中插入風(fēng)格和房間類型對(duì)應(yīng)的lora適配器，改變裝修渲染圖的設(shè)計(jì)風(fēng)格并進(jìn)行前端展示。36、在一些實(shí)施例中，所述設(shè)置并調(diào)整超參數(shù)，確保渲染圖的結(jié)構(gòu)布局與所述室內(nèi)毛胚圖像一致并提升渲染圖的細(xì)節(jié)信息和畫質(zhì)，具體為：37、根據(jù)渲染圖設(shè)置控制強(qiáng)度參數(shù)和控制早停參數(shù)；38、根據(jù)所述控制強(qiáng)度參數(shù)控制渲染圖的布局貼合程度，并根據(jù)控制早停參數(shù)控制模型的細(xì)節(jié)特征和畫質(zhì)。39、本發(fā)明實(shí)施例的另一方面還提供了一種基于擴(kuò)散模型的室內(nèi)設(shè)計(jì)渲染圖生成裝置，包括：40、第一模塊，用于收集歷史室內(nèi)設(shè)計(jì)裝修渲染圖的數(shù)據(jù)并進(jìn)行風(fēng)格分類，分別微調(diào)出各個(gè)風(fēng)格的lora適配器；41、第二模塊，用于輸入待裝修的室內(nèi)毛坯圖像，提取所述室內(nèi)毛坯圖像的canny算子特征和深度圖像特征，所述canny算子特征和深度圖像特征用于作為后續(xù)渲染圖生成的控制條件；42、第三模塊，用于利用圖像分割模型識(shí)別出所述室內(nèi)毛坯圖像中的固定結(jié)構(gòu)，標(biāo)記出掩膜數(shù)據(jù)；43、第四模塊，用于利用預(yù)訓(xùn)練的stable?diffusion模型，結(jié)合controlnet和stableinpainting工作流，輸入所述控制條件、所述掩膜數(shù)據(jù)以及prompt，生成貼合室內(nèi)結(jié)構(gòu)的裝修渲染圖；44、第五模塊，用于根據(jù)所述lora適配器設(shè)置可選裝修風(fēng)格，根據(jù)風(fēng)格選項(xiàng)在工作流中插入lora調(diào)整渲染圖風(fēng)格；45、第六模塊，用于設(shè)置并調(diào)整超參數(shù)，確保渲染圖的結(jié)構(gòu)布局與所述室內(nèi)毛胚圖像一致并提升渲染圖的細(xì)節(jié)信息和畫質(zhì)。46、本發(fā)明實(shí)施例的另一方面還提供了一種電子設(shè)備，包括處理器以及存儲(chǔ)器；47、所述存儲(chǔ)器用于存儲(chǔ)程序；48、所述處理器執(zhí)行所述程序?qū)崿F(xiàn)如前面所述的方法為實(shí)現(xiàn)上述目的。49、為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例的另一方面提出了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)前面所述的方法。50、本發(fā)明實(shí)施例還公開了一種計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序，該計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序包括計(jì)算機(jī)指令，該計(jì)算機(jī)指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中。計(jì)算機(jī)設(shè)備的處理器可以從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)讀取該計(jì)算機(jī)指令，處理器執(zhí)行該計(jì)算機(jī)指令，使得該計(jì)算機(jī)設(shè)備執(zhí)行前面的方法。51、本發(fā)明實(shí)施例至少包括以下有益效果：本發(fā)明提供一種基于擴(kuò)散模型的室內(nèi)設(shè)計(jì)渲染圖生成方法與裝置,本發(fā)明收集歷史室內(nèi)設(shè)計(jì)裝修渲染圖的數(shù)據(jù)并進(jìn)行風(fēng)格分類，分別微調(diào)出各個(gè)風(fēng)格的lora適配器；輸入待裝修的室內(nèi)毛坯圖像，提取所述室內(nèi)毛坯圖像的canny算子特征和深度圖像特征，所述canny算子特征和深度圖像特征用于作為后續(xù)渲染圖生成的控制條件；利用圖像分割模型識(shí)別出所述室內(nèi)毛坯圖像中的固定結(jié)構(gòu)，標(biāo)記出掩膜數(shù)據(jù)；利用預(yù)訓(xùn)練的stable?diffusion模型，結(jié)合controlnet和stable?inpainting工作流，輸入所述控制條件、所述掩膜數(shù)據(jù)以及prompt，生成貼合室內(nèi)結(jié)構(gòu)的裝修渲染圖；根據(jù)所述lora適配器設(shè)置可選裝修風(fēng)格，根據(jù)風(fēng)格選項(xiàng)在工作流中插入lora調(diào)整渲染圖風(fēng)格；設(shè)置并調(diào)整超參數(shù)，確保渲染圖的結(jié)構(gòu)布局與所述室內(nèi)毛胚圖像一致并提升渲染圖的細(xì)節(jié)信息和畫質(zhì)。本發(fā)明能夠提升室內(nèi)設(shè)計(jì)渲染圖的生成效果和實(shí)用性。當(dāng)前第1頁(yè)12當(dāng)前第1頁(yè)12