《AIGC應(yīng)用實戰(zhàn)：寫作、繪圖、視頻制作、直播》課件 第五章 Stable Diffusion的使用方法

的第五章：StableDiffusion的使用方法《AIGC應(yīng)用實戰(zhàn)：寫作、繪圖、視頻制作、直播》

目錄CONTENTS5.1SDWebUI和基本功能StableDiffusion繪圖實操5.2.學(xué)習(xí)目標(biāo)【知識目標(biāo)】學(xué)習(xí)StableDiffusion的基本操作、提示詞的使用技巧。了解AI繪圖的多樣化應(yīng)用場景?！灸芰δ繕?biāo)】熟悉StableDiffusion的工具與平臺。應(yīng)用AI繪圖工具進(jìn)行藝術(shù)創(chuàng)作并應(yīng)用于商業(yè)實戰(zhàn)中。【素質(zhì)目標(biāo)】探索AI繪圖的創(chuàng)新應(yīng)用。提升創(chuàng)意思維能力。提升文化理解、審美與表達(dá)等方面的能力。本章導(dǎo)讀SDWebUI和基本功能PART5.101SD生圖，第一步需要先選好大模型，第二步選好微調(diào)模型。SDWebUI選擇大模型的選項，如圖所示，即CHECKPOINT。單擊“基礎(chǔ)算法”右側(cè)的箭頭，在下拉選項中，有多個模型可供選擇。大模型與微調(diào)模型5.1.1基本概念和對應(yīng)功能模塊本章使用“哩布哩布”提供的云端部署的SDWebUI來做演示01大模型與微調(diào)模型常見的微調(diào)模型有Embedding模型、LoRa模型、Hypernetwork模型、VAE模型，但它們在SDWebUI中，分布較散亂。我們常用到的是LoRa模型，如圖，位于SDWebUI中間，單擊“模型”，可以看到這里的“LoRa”中有兩個畫“中秋”海報的LoRa模型，如果創(chuàng)作者是首次使用，“LoRa”可能是空白的，這時我們只需到“哩布哩布”的首頁去挑選喜歡的LoRa模型并點星標(biāo)收藏，就能收藏到自己的“星標(biāo)模型”中。5.1.1基本概念和對應(yīng)功能模塊本章使用“哩布哩布”提供的云端部署的SDWebUI來做演示正向提示詞與負(fù)向提示詞02正向提示詞就是填寫想要在畫面中出現(xiàn)的內(nèi)容，負(fù)向提示詞就是填寫避免在畫面中出現(xiàn)的內(nèi)容。比如想畫一個美麗的女孩，需在正向提示詞中填入“一個女孩，美麗的臉”，在負(fù)向提示詞中則需要填入“丑陋的，低質(zhì)量的”5.1.1基本概念和對應(yīng)功能模塊本章使用“哩布哩布”提供的云端部署的SDWebUI來做演示正向提示詞與負(fù)向提示詞025.1.1基本概念和對應(yīng)功能模塊本章使用“哩布哩布”提供的云端部署的SDWebUI來做演示在SDWebUI負(fù)向提示詞框中，已經(jīng)默認(rèn)填寫了一些通用的負(fù)向提示詞，另外，單擊“提示詞”左側(cè)藍(lán)色小箭頭，可以彈出提示詞詞庫，也可以幫助我們快速撰寫提示詞。其他常用且晦澀難懂的參數(shù)有，“采樣方法”“迭代步數(shù)”“提示詞引導(dǎo)系數(shù)”“隨機(jī)數(shù)子”“ControlNet”，在SDWebUI中的位置如圖所示，一些創(chuàng)作者會在分享自己的生圖模型的同時，標(biāo)注這些參數(shù)供其他創(chuàng)作者參考。掌握這些參數(shù)有助于我們更好地操控AI繪圖工具。其他常用參數(shù)035.1.1基本概念和對應(yīng)功能模塊本章使用“哩布哩布”提供的云端部署的SDWebUI來做演示“文生圖”模塊如圖所示，主要通過大模型、微調(diào)模型的選擇，以及撰寫正向提示詞、負(fù)向提示詞來生成圖像。1．“文生圖”模塊大部分內(nèi)容與“文生圖”的一致，但在SDWebUI中部多了可上傳圖像的空白位置。在使用“圖生圖”模塊時，除了選擇大模型、微調(diào)模型并撰寫提示詞外，還需要上傳一張?zhí)崆皽?zhǔn)備好的圖片，作為參考圖，讓AI更好地理解創(chuàng)作者的意圖，引導(dǎo)人工智能完成圖像繪制?！皥D生圖”模塊下，還嵌套強(qiáng)大的功能模塊：“涂鴉”“局部重繪”“涂鴉重繪”“重繪蒙版”。2．“圖生圖”模塊5.1.2生圖功能模塊涂鴉亂涂即可變成畫作，AI能識別畫筆的顏色和形狀，在“涂鴉”區(qū)域上傳一張白紙，單擊“涂鴉”區(qū)右側(cè)圓形（即畫筆），用藍(lán)筆在白紙上隨便畫幾筆，沒有任何提示詞，AI就能創(chuàng)作出藍(lán)色小飛機(jī)局部重繪針對圖像不滿意的地方，或者有瑕疵、錯漏的地方，進(jìn)行局部的重新繪制。涂鴉重繪用顏色和形狀給AI做繪畫的引導(dǎo)，跟“涂鴉”的功能類似，但是沒有“涂鴉”無中生有的能力強(qiáng)。在“涂鴉”區(qū)域上傳一張美女圖片，單擊“涂鴉”區(qū)域右側(cè)圓形，在美女臉上畫出黑色區(qū)域，沒有寫任何提示詞，單擊“開始生圖”，美女就戴上了黑色口罩。這個功能適合用于給人物的衣服、頭發(fā)換顏色等。5.1.2生圖功能模塊重繪蒙版主要作用是限定AI重新繪制圖像的位置，AI會在創(chuàng)作者通過蒙版指定的繪畫區(qū)域內(nèi)繪畫?！胺赐啤保櫭剂x，就是從圖像反推提示詞。當(dāng)創(chuàng)作者不知道怎么描述圖像時，先找一張類似的圖像，提交給SD進(jìn)行提示詞反推，即可看到圖像的提示詞的寫法?！胺赐啤庇?種方式可以實現(xiàn)：“CLIP反推”“DeepBooru反推”“WD1.4標(biāo)簽器”反推。5.1.3“反推”功能模塊PowerPointDesignStableDiffusion繪圖實操PART5.2模型廣場上的LoRa微調(diào)模型及示例圖片的詳細(xì)參數(shù)，類似刺繡畫框的效果非常好，我們單擊圖像，即可彈出生圖的相關(guān)信息，要仔細(xì)閱讀這些信息，這些信息相當(dāng)于廚師燒出好菜后公布出的菜譜。5.2.1文生圖選擇大模型“majicMIXrealistic麥橘寫實-v7”，LoRa微調(diào)模型選擇“畫中人”，僅這2步就已經(jīng)能模仿到“相同的菜譜”了，而“VAE”“采樣方式”“高清放大算法”這些不必全盤照搬。SD圖片的寬度和高度默認(rèn)是512px*512px，即方形圖，這是SD最常用的圖片大小，且我們要生成的圖片，是在方形圖上畫了一個圓形畫框，因此該圖片的寬高比不需做調(diào)整。5.2.1文生圖根據(jù)公式，繪圖提示詞=主體+調(diào)性+構(gòu)圖+風(fēng)格參考+細(xì)節(jié)參數(shù)，我們想要“主體”與“構(gòu)圖”是一個女孩站姿全身照，因此，我們在正向提示詞中，填入“一個女孩，全身，站立，大師作品，高質(zhì)量”，單擊提示詞框右側(cè)的“翻譯成英文”，譯為“1girl,fullbody,standing,masterpiece,bestquality”，負(fù)向提示詞使用默認(rèn)提示詞，“采樣方法”“迭代步數(shù)”“提示詞引導(dǎo)系數(shù)”均為默認(rèn)值，單擊“開始生圖”。5.2.1文生圖如果對圖片不滿意，可以單擊“開始生圖”再次生圖。從已經(jīng)生成的畫面來看，該LoRa微調(diào)模型獨(dú)有的“刺繡畫框”效果已經(jīng)實現(xiàn)了，但問題在于面部出現(xiàn)畸形，圖片也不夠高清，所以，我們應(yīng)當(dāng)針對這兩個問題，對參數(shù)進(jìn)行調(diào)整，在“生圖”參數(shù)中找到“面部修復(fù)”和“高分辨率修復(fù)”這兩個選項并勾選上，其他參數(shù)仍然不變，重新生成圖像，對比效果5.2.1文生圖兩次生成圖像的對比，與左邊第一次生成的圖像比，右邊第二次生成的圖像不僅更高清，服飾的細(xì)節(jié)更精致，而且面部五官也更端正。這就是對SD實現(xiàn)精準(zhǔn)控制的效果。單擊已生成的圖像，即可下載該圖像。還可以在“圖庫”中，找到我們所有生成過的圖像并下載，5.2.1文生圖進(jìn)入“圖生圖”模式，首先搭配好大模型和微調(diào)模型，大模型可選擇動漫插畫模型，LoRa微調(diào)模型選擇Q版手繪，隨后撰寫提示詞，根據(jù)公式，繪圖提示詞=主體+調(diào)性+構(gòu)圖+風(fēng)格參考+細(xì)節(jié)參數(shù)，正向提示詞可寫為“不同的表情符號角色有著不同的情感，動態(tài)姿勢，粗體漫畫線條”。負(fù)向提示詞除了默認(rèn)詞外，還可以加上“水印”即watermark，因為很多小漫畫上會印有出品方的水印，AI也常會學(xué)著畫水印，我們可以要求它不要畫。我們將英文提示詞提交給SD，同時，在“圖生圖”上傳一張表情包的參考圖像。把新生成的圖像長寬比調(diào)至和參考圖的一樣大。單擊“寬度”“高度”右側(cè)的L形尺按鈕，即可把參考圖的長寬尺寸復(fù)制給想要生成圖像。5.2.2圖生圖有的表情包里有3只手，有的手指比例不太協(xié)調(diào)，我們可以多生成幾次，挑選滿意的圖像，也可以單擊“局部重繪”，將已經(jīng)生成的圖像上傳到局部重繪框內(nèi)上傳的圖片右側(cè)4個小按鈕，分別是“刪除圖像”“畫筆”“橡皮”“撤銷上一步”。單擊第二個即“畫筆”按鈕，可以調(diào)整畫筆的粗細(xì)。隨后在圖像上，用黑色畫筆涂抹需要重繪的位置。局部重繪時，不需要改提示詞，保留原提示詞或空白提示詞都可以，然后單擊“開始生圖”單擊已生成圖像，檢查無誤后可以下載，也可以單擊下方藍(lán)色“下載”按鈕直接下載。這套表情包，每張都是開心的表情，大概率是因為我們選用的這個LoRa微調(diào)模型學(xué)習(xí)到的數(shù)據(jù)集中都是開心的表情，如果我們想要生氣、大哭的表情，可以嘗試用兩種方式去獲得，一是調(diào)整提示詞的描述內(nèi)容，二是換一個LoRa微調(diào)模型。5.2.2圖生圖將需要上色的黑白設(shè)計草圖放“WD1.4標(biāo)簽器”中，倒推出它的提示詞，閾值（Threshold）設(shè)置成0.05，單擊“Sendtotxt2img”手繪上色自動跳轉(zhuǎn)到“文生圖”頁面，反推出來的提示詞也已經(jīng)填寫到正向提示詞框里，我們選擇跟這幅圖像風(fēng)格匹配的大模型與LoRa微調(diào)模型，可選擇麥橘寫實大模型與Q版手繪LoRa微調(diào)模型組合，生成圖像尺寸調(diào)至與設(shè)計草圖的相同勾選“啟用”“完美像素”“允許預(yù)覽”，ControlType選擇“Lineart（線稿）”。在下方“預(yù)處理器”位置，選擇“invert（白底黑線反色）”，單擊右側(cè)“運(yùn)行&預(yù)覽”，就會獲得一張類似照片底片的黑底白設(shè)計草圖。單擊“開始生圖”。0103025.2.3ControlNet的應(yīng)用首先選擇大模型和LoRa微調(diào)模型：大模型建議使用寫實模型“realisticVisionV40”；LoRa模型選擇“室內(nèi)設(shè)計-現(xiàn)代風(fēng)格”，要注意該模型的介紹是否提到有觸發(fā)詞，本模型的觸發(fā)詞是“modernstyle”，需將該觸發(fā)詞填入正向提示詞文本框中。裝修毛坯房在“文生圖”模式下，勾選“啟用”“完美像素”“允許預(yù)覽”，ControlType選擇“MLSD（直線）”，從ControlNet上傳毛坯房照片。在預(yù)處理器中，先單擊“運(yùn)行&預(yù)覽”，找一張效果不錯的室內(nèi)裝修風(fēng)格圖片，倒推提示詞，根據(jù)自己的喜好自由發(fā)揮，并加上LoRa微調(diào)模型的觸發(fā)詞。畫面尺寸與原圖尺寸保持一致。同時，開啟“高分辨率修復(fù)”，“重繪幅度”調(diào)低至0.35，即要求SD按照我們上傳的毛坯房照片來畫裝修圖0103025.2.3ControlNet的應(yīng)用本章小結(jié)本章主要介紹了StableDiffusion的使用方法，包括其工作頁面和基本功能、繪圖實操以及ControlNet的應(yīng)用。首先，詳細(xì)講解了SDWebUI的界面布局和功能模塊，如大模