《AIGC應(yīng)用實(shí)戰(zhàn)：寫作、繪圖、視頻制作、直播》-課件 第五章 Stable Diffusion的使用方法；第六章 AI視頻制作

的第五章：StableDiffusion的使用方法《AIGC應(yīng)用實(shí)戰(zhàn)：寫作、繪圖、視頻制作、直播》

目錄CONTENTS5.1SDWebUI和基本功能StableDiffusion繪圖實(shí)操5.2.學(xué)習(xí)目標(biāo)【知識(shí)目標(biāo)】學(xué)習(xí)StableDiffusion的基本操作、提示詞的使用技巧。了解AI繪圖的多樣化應(yīng)用場(chǎng)景?！灸芰δ繕?biāo)】熟悉StableDiffusion的工具與平臺(tái)。應(yīng)用AI繪圖工具進(jìn)行藝術(shù)創(chuàng)作并應(yīng)用于商業(yè)實(shí)戰(zhàn)中?！舅刭|(zhì)目標(biāo)】探索AI繪圖的創(chuàng)新應(yīng)用。提升創(chuàng)意思維能力。提升文化理解、審美與表達(dá)等方面的能力。本章導(dǎo)讀SDWebUI和基本功能PART5.101SD生圖，第一步需要先選好大模型，第二步選好微調(diào)模型。SDWebUI選擇大模型的選項(xiàng)，如圖所示，即CHECKPOINT。單擊“基礎(chǔ)算法”右側(cè)的箭頭，在下拉選項(xiàng)中，有多個(gè)模型可供選擇。大模型與微調(diào)模型5.1.1基本概念和對(duì)應(yīng)功能模塊本章使用“哩布哩布”提供的云端部署的SDWebUI來(lái)做演示01大模型與微調(diào)模型常見(jiàn)的微調(diào)模型有Embedding模型、LoRa模型、Hypernetwork模型、VAE模型，但它們?cè)赟DWebUI中，分布較散亂。我們常用到的是LoRa模型，如圖，位于SDWebUI中間，單擊“模型”，可以看到這里的“LoRa”中有兩個(gè)畫(huà)“中秋”海報(bào)的LoRa模型，如果創(chuàng)作者是首次使用，“LoRa”可能是空白的，這時(shí)我們只需到“哩布哩布”的首頁(yè)去挑選喜歡的LoRa模型并點(diǎn)星標(biāo)收藏，就能收藏到自己的“星標(biāo)模型”中。5.1.1基本概念和對(duì)應(yīng)功能模塊本章使用“哩布哩布”提供的云端部署的SDWebUI來(lái)做演示正向提示詞與負(fù)向提示詞02正向提示詞就是填寫想要在畫(huà)面中出現(xiàn)的內(nèi)容，負(fù)向提示詞就是填寫避免在畫(huà)面中出現(xiàn)的內(nèi)容。比如想畫(huà)一個(gè)美麗的女孩，需在正向提示詞中填入“一個(gè)女孩，美麗的臉”，在負(fù)向提示詞中則需要填入“丑陋的，低質(zhì)量的”5.1.1基本概念和對(duì)應(yīng)功能模塊本章使用“哩布哩布”提供的云端部署的SDWebUI來(lái)做演示正向提示詞與負(fù)向提示詞025.1.1基本概念和對(duì)應(yīng)功能模塊本章使用“哩布哩布”提供的云端部署的SDWebUI來(lái)做演示在SDWebUI負(fù)向提示詞框中，已經(jīng)默認(rèn)填寫了一些通用的負(fù)向提示詞，另外，單擊“提示詞”左側(cè)藍(lán)色小箭頭，可以彈出提示詞詞庫(kù)，也可以幫助我們快速撰寫提示詞。其他常用且晦澀難懂的參數(shù)有，“采樣方法”“迭代步數(shù)”“提示詞引導(dǎo)系數(shù)”“隨機(jī)數(shù)子”“ControlNet”，在SDWebUI中的位置如圖所示，一些創(chuàng)作者會(huì)在分享自己的生圖模型的同時(shí)，標(biāo)注這些參數(shù)供其他創(chuàng)作者參考。掌握這些參數(shù)有助于我們更好地操控AI繪圖工具。其他常用參數(shù)035.1.1基本概念和對(duì)應(yīng)功能模塊本章使用“哩布哩布”提供的云端部署的SDWebUI來(lái)做演示“文生圖”模塊如圖所示，主要通過(guò)大模型、微調(diào)模型的選擇，以及撰寫正向提示詞、負(fù)向提示詞來(lái)生成圖像。1．“文生圖”模塊大部分內(nèi)容與“文生圖”的一致，但在SDWebUI中部多了可上傳圖像的空白位置。在使用“圖生圖”模塊時(shí)，除了選擇大模型、微調(diào)模型并撰寫提示詞外，還需要上傳一張?zhí)崆皽?zhǔn)備好的圖片，作為參考圖，讓AI更好地理解創(chuàng)作者的意圖，引導(dǎo)人工智能完成圖像繪制?！皥D生圖”模塊下，還嵌套強(qiáng)大的功能模塊：“涂鴉”“局部重繪”“涂鴉重繪”“重繪蒙版”。2．“圖生圖”模塊5.1.2生圖功能模塊涂鴉亂涂即可變成畫(huà)作，AI能識(shí)別畫(huà)筆的顏色和形狀，在“涂鴉”區(qū)域上傳一張白紙，單擊“涂鴉”區(qū)右側(cè)圓形（即畫(huà)筆），用藍(lán)筆在白紙上隨便畫(huà)幾筆，沒(méi)有任何提示詞，AI就能創(chuàng)作出藍(lán)色小飛機(jī)局部重繪針對(duì)圖像不滿意的地方，或者有瑕疵、錯(cuò)漏的地方，進(jìn)行局部的重新繪制。涂鴉重繪用顏色和形狀給AI做繪畫(huà)的引導(dǎo)，跟“涂鴉”的功能類似，但是沒(méi)有“涂鴉”無(wú)中生有的能力強(qiáng)。在“涂鴉”區(qū)域上傳一張美女圖片，單擊“涂鴉”區(qū)域右側(cè)圓形，在美女臉上畫(huà)出黑色區(qū)域，沒(méi)有寫任何提示詞，單擊“開(kāi)始生圖”，美女就戴上了黑色口罩。這個(gè)功能適合用于給人物的衣服、頭發(fā)換顏色等。5.1.2生圖功能模塊重繪蒙版主要作用是限定AI重新繪制圖像的位置，AI會(huì)在創(chuàng)作者通過(guò)蒙版指定的繪畫(huà)區(qū)域內(nèi)繪畫(huà)?！胺赐啤保櫭剂x，就是從圖像反推提示詞。當(dāng)創(chuàng)作者不知道怎么描述圖像時(shí)，先找一張類似的圖像，提交給SD進(jìn)行提示詞反推，即可看到圖像的提示詞的寫法?！胺赐啤庇?種方式可以實(shí)現(xiàn)：“CLIP反推”“DeepBooru反推”“WD1.4標(biāo)簽器”反推。5.1.3“反推”功能模塊PowerPointDesignStableDiffusion繪圖實(shí)操PART5.2模型廣場(chǎng)上的LoRa微調(diào)模型及示例圖片的詳細(xì)參數(shù)，類似刺繡畫(huà)框的效果非常好，我們單擊圖像，即可彈出生圖的相關(guān)信息，要仔細(xì)閱讀這些信息，這些信息相當(dāng)于廚師燒出好菜后公布出的菜譜。5.2.1文生圖選擇大模型“majicMIXrealistic麥橘寫實(shí)-v7”，LoRa微調(diào)模型選擇“畫(huà)中人”，僅這2步就已經(jīng)能模仿到“相同的菜譜”了，而“VAE”“采樣方式”“高清放大算法”這些不必全盤照搬。SD圖片的寬度和高度默認(rèn)是512px*512px，即方形圖，這是SD最常用的圖片大小，且我們要生成的圖片，是在方形圖上畫(huà)了一個(gè)圓形畫(huà)框，因此該圖片的寬高比不需做調(diào)整。5.2.1文生圖根據(jù)公式，繪圖提示詞=主體+調(diào)性+構(gòu)圖+風(fēng)格參考+細(xì)節(jié)參數(shù)，我們想要“主體”與“構(gòu)圖”是一個(gè)女孩站姿全身照，因此，我們?cè)谡蛱崾驹~中，填入“一個(gè)女孩，全身，站立，大師作品，高質(zhì)量”，單擊提示詞框右側(cè)的“翻譯成英文”，譯為“1girl,fullbody,standing,masterpiece,bestquality”，負(fù)向提示詞使用默認(rèn)提示詞，“采樣方法”“迭代步數(shù)”“提示詞引導(dǎo)系數(shù)”均為默認(rèn)值，單擊“開(kāi)始生圖”。5.2.1文生圖如果對(duì)圖片不滿意，可以單擊“開(kāi)始生圖”再次生圖。從已經(jīng)生成的畫(huà)面來(lái)看，該LoRa微調(diào)模型獨(dú)有的“刺繡畫(huà)框”效果已經(jīng)實(shí)現(xiàn)了，但問(wèn)題在于面部出現(xiàn)畸形，圖片也不夠高清，所以，我們應(yīng)當(dāng)針對(duì)這兩個(gè)問(wèn)題，對(duì)參數(shù)進(jìn)行調(diào)整，在“生圖”參數(shù)中找到“面部修復(fù)”和“高分辨率修復(fù)”這兩個(gè)選項(xiàng)并勾選上，其他參數(shù)仍然不變，重新生成圖像，對(duì)比效果5.2.1文生圖兩次生成圖像的對(duì)比，與左邊第一次生成的圖像比，右邊第二次生成的圖像不僅更高清，服飾的細(xì)節(jié)更精致，而且面部五官也更端正。這就是對(duì)SD實(shí)現(xiàn)精準(zhǔn)控制的效果。單擊已生成的圖像，即可下載該圖像。還可以在“圖庫(kù)”中，找到我們所有生成過(guò)的圖像并下載，5.2.1文生圖進(jìn)入“圖生圖”模式，首先搭配好大模型和微調(diào)模型，大模型可選擇動(dòng)漫插畫(huà)模型，LoRa微調(diào)模型選擇Q版手繪，隨后撰寫提示詞，根據(jù)公式，繪圖提示詞=主體+調(diào)性+構(gòu)圖+風(fēng)格參考+細(xì)節(jié)參數(shù)，正向提示詞可寫為“不同的表情符號(hào)角色有著不同的情感，動(dòng)態(tài)姿勢(shì)，粗體漫畫(huà)線條”。負(fù)向提示詞除了默認(rèn)詞外，還可以加上“水印”即watermark，因?yàn)楹芏嘈÷?huà)上會(huì)印有出品方的水印，AI也常會(huì)學(xué)著畫(huà)水印，我們可以要求它不要畫(huà)。我們將英文提示詞提交給SD，同時(shí)，在“圖生圖”上傳一張表情包的參考圖像。把新生成的圖像長(zhǎng)寬比調(diào)至和參考圖的一樣大。單擊“寬度”“高度”右側(cè)的L形尺按鈕，即可把參考圖的長(zhǎng)寬尺寸復(fù)制給想要生成圖像。5.2.2圖生圖有的表情包里有3只手，有的手指比例不太協(xié)調(diào)，我們可以多生成幾次，挑選滿意的圖像，也可以單擊“局部重繪”，將已經(jīng)生成的圖像上傳到局部重繪框內(nèi)上傳的圖片右側(cè)4個(gè)小按鈕，分別是“刪除圖像”“畫(huà)筆”“橡皮”“撤銷上一步”。單擊第二個(gè)即“畫(huà)筆”按鈕，可以調(diào)整畫(huà)筆的粗細(xì)。隨后在圖像上，用黑色畫(huà)筆涂抹需要重繪的位置。局部重繪時(shí)，不需要改提示詞，保留原提示詞或空白提示詞都可以，然后單擊“開(kāi)始生圖”單擊已生成圖像，檢查無(wú)誤后可以下載，也可以單擊下方藍(lán)色“下載”按鈕直接下載。這套表情包，每張都是開(kāi)心的表情，大概率是因?yàn)槲覀冞x用的這個(gè)LoRa微調(diào)模型學(xué)習(xí)到的數(shù)據(jù)集中都是開(kāi)心的表情，如果我們想要生氣、大哭的表情，可以嘗試用兩種方式去獲得，一是調(diào)整提示詞的描述內(nèi)容，二是換一個(gè)LoRa微調(diào)模型。5.2.2圖生圖將需要上色的黑白設(shè)計(jì)草圖放“WD1.4標(biāo)簽器”中，倒推出它的提示詞，閾值（Threshold）設(shè)置成0.05，單擊“Sendtotxt2img”手繪上色自動(dòng)跳轉(zhuǎn)到“文生圖”頁(yè)面，反推出來(lái)的提示詞也已經(jīng)填寫到正向提示詞框里，我們選擇跟這幅圖像風(fēng)格匹配的大模型與LoRa微調(diào)模型，可選擇麥橘寫實(shí)大模型與Q版手繪LoRa微調(diào)模型組合，生成圖像尺寸調(diào)至與設(shè)計(jì)草圖的相同勾選“啟用”“完美像素”“允許預(yù)覽”，ControlType選擇“Lineart（線稿）”。在下方“預(yù)處理器”位置，選擇“invert（白底黑線反色）”，單擊右側(cè)“運(yùn)行&預(yù)覽”，就會(huì)獲得一張類似照片底片的黑底白設(shè)計(jì)草圖。單擊“開(kāi)始生圖”。0103025.2.3ControlNet的應(yīng)用首先選擇大模型和LoRa微調(diào)模型：大模型建議使用寫實(shí)模型“realisticVisionV40”；LoRa模型選擇“室內(nèi)設(shè)計(jì)-現(xiàn)代風(fēng)格”，要注意該模型的介紹是否提到有觸發(fā)詞，本模型的觸發(fā)詞是“modernstyle”，需將該觸發(fā)詞填入正向提示詞文本框中。裝修毛坯房在“文生圖”模式下，勾選“啟用”“完美像素”“允許預(yù)覽”，ControlType選擇“MLSD（直線）”，從ControlNet上傳毛坯房照片。在預(yù)處理器中，先單擊“運(yùn)行&預(yù)覽”，找一張效果不錯(cuò)的室內(nèi)裝修風(fēng)格圖片，倒推提示詞，根據(jù)自己的喜好自由發(fā)揮，并加上LoRa微調(diào)模型的觸發(fā)詞。畫(huà)面尺寸與原圖尺寸保持一致。同時(shí)，開(kāi)啟“高分辨率修復(fù)”，“重繪幅度”調(diào)低至0.35，即要求SD按照我們上傳的毛坯房照片來(lái)畫(huà)裝修圖0103025.2.3ControlNet的應(yīng)用本章小結(jié)本章主要介紹了StableDiffusion的使用方法，包括其工作頁(yè)面和基本功能、繪圖實(shí)操以及ControlNet的應(yīng)用。首先，詳細(xì)講解了SDWebUI的界面布局和功能模塊，如大模型與微調(diào)模型的選擇、正向與負(fù)向提示詞的使用，以及其他常用參數(shù)的設(shè)置。接著，通過(guò)具體的文生圖和圖生圖操作步驟，展示了如何利用StableDiffusion生成高質(zhì)量的圖像，并介紹了“反推”功能如何幫助新手降低撰寫提示詞的難度。最后，深入探討了ControlNet在手繪上色和裝修毛坯房等場(chǎng)景中的應(yīng)用，展示了其在圖像生成中的高度控制能力。通過(guò)本章的學(xué)習(xí)，讀者可以掌握StableDiffusion的基本操作，并能夠?qū)⑵鋺?yīng)用于實(shí)際的圖像創(chuàng)作中。謝謝大家的第六章：AI視頻制作《AIGC應(yīng)用實(shí)戰(zhàn)：寫作、繪圖、視頻制作、直播》

目錄CONTENTS6.1AI視頻制作概述AI視頻制作的應(yīng)用工具6.2.AI視頻制作工具的使用技巧6.3.學(xué)習(xí)目標(biāo)【知識(shí)目標(biāo)】理解AI視頻制作的基本概念，了解行業(yè)應(yīng)用概況。掌握AI視頻制作的方法?！灸芰δ繕?biāo)】掌握AI視頻制作的平臺(tái)與工具。利用AI視頻制作工具完成商業(yè)實(shí)戰(zhàn)任務(wù)，創(chuàng)作出高質(zhì)量的作品。【素質(zhì)目標(biāo)】培養(yǎng)創(chuàng)新性的思維，能夠利用AIGC技術(shù)創(chuàng)造出獨(dú)特的視頻畫(huà)面。通過(guò)與AI協(xié)同作業(yè)，提高藝術(shù)修養(yǎng)、審美水平。本章導(dǎo)讀AI視頻制作概述PART6.1AI視頻制作指的是運(yùn)用人工智能技術(shù)，自動(dòng)生成或輔助生成視頻內(nèi)容。Sora能夠依據(jù)文字指令自動(dòng)生成長(zhǎng)達(dá)1min的較高質(zhì)量的視頻。我國(guó)多個(gè)科技企業(yè)自主研發(fā)的視頻生成產(chǎn)品也加速上線和技術(shù)迭代，例如，通義萬(wàn)相、Vidu、可靈、即夢(mèng)等多個(gè)視頻大模型產(chǎn)品向公眾開(kāi)放。6.1.1AI視頻制作的基本概念使用AI制作視頻，不僅可以大幅縮短視頻制作周期，降低制作成本，還可以突破場(chǎng)地、演員、燈光、妝造、道具等客觀條件的限制，使業(yè)余的創(chuàng)作者也能動(dòng)手創(chuàng)作。AI視頻的優(yōu)點(diǎn)但仍然存在一些技術(shù)上的限制和挑戰(zhàn)，如生成視頻的逼真度、自然度、銜接度等。同時(shí)，AI視頻制作需要大量的視頻數(shù)據(jù)來(lái)訓(xùn)練模型，如果AI視頻制作平臺(tái)的視頻數(shù)據(jù)數(shù)量不夠充足，或不具備較小眾領(lǐng)域的數(shù)據(jù)，生成后的視頻將略顯單調(diào)與缺乏真實(shí)性。AI視頻制作涉及大量的數(shù)據(jù)處理和存儲(chǔ)，這可能引發(fā)隱私和安全問(wèn)題。AI視頻的缺點(diǎn)6.1.2AI視頻制作的技術(shù)特點(diǎn)AI視頻截圖PowerPointDesignAI視頻制作的應(yīng)用工具PART6.201度加度加主要是為短視頻創(chuàng)作者、內(nèi)容生產(chǎn)者和企業(yè)營(yíng)銷團(tuán)隊(duì)提供高效、智能的視頻創(chuàng)作工具。捕捉全網(wǎng)熱點(diǎn)和生成新聞標(biāo)題，幫助創(chuàng)作者實(shí)時(shí)跟蹤熱點(diǎn)和選擇熱點(diǎn)話題；智能文案寫作，幫助創(chuàng)作者完成基礎(chǔ)的短視頻文案；智能剪輯，主要是為文案自動(dòng)匹配視頻素材、字幕、配音和音樂(lè)。6.2.1一鍵成片AI工具——度加01度加如果創(chuàng)作者選擇“選擇文章成片”，基于度加與百度的百家號(hào)自媒體平臺(tái)無(wú)縫對(duì)接的優(yōu)勢(shì)，創(chuàng)作者就可以選擇將自己曾在百家號(hào)上發(fā)布過(guò)的圖文內(nèi)容，一鍵轉(zhuǎn)成視頻。如果創(chuàng)作者選擇“輸入文案成片”，度加將捕捉全網(wǎng)實(shí)時(shí)熱點(diǎn)并一鍵生成短視頻文案，完成文案的寫作后，創(chuàng)作者可以單擊右下角藍(lán)色的“一鍵成片”，AI就能夠快速識(shí)別文案中的關(guān)鍵信息，并準(zhǔn)確匹配相應(yīng)的視頻素材，智能推薦合適的剪輯、配音和配樂(lè)，極大地簡(jiǎn)化視頻制作流程。6.2.1一鍵成片AI工具——度加剪映02在剪映中，用戶可以利用AI功能快速生成視頻，通過(guò)選擇主題或輸入文字描述，讓剪映的AI系統(tǒng)智能匹配和選擇適合的視頻素材、音樂(lè)、特效等。用戶還可以利用剪映的語(yǔ)音轉(zhuǎn)文字功能，將語(yǔ)音內(nèi)容自動(dòng)轉(zhuǎn)換為字幕，提高視頻的可訪問(wèn)性和可理解性，這使得視頻制作流程大大簡(jiǎn)化，能幫助用戶更高效地創(chuàng)作。6.2.2嵌入AI功能的剪輯軟件——剪映可靈支持生成最長(zhǎng)2min、30f/s的1080P分辨率的電影級(jí)視頻，可實(shí)現(xiàn)從頭腦風(fēng)暴到可發(fā)布作品的“一鍵轉(zhuǎn)化”；能實(shí)現(xiàn)復(fù)雜運(yùn)動(dòng)模擬，生成較大幅度且合理的視頻內(nèi)容；支持圖生視頻、續(xù)寫及表情身體驅(qū)動(dòng)等功能，將靜態(tài)圖像轉(zhuǎn)為動(dòng)態(tài)視頻，并延續(xù)視頻內(nèi)容。用戶可上傳音頻內(nèi)容，完美同步至可靈生成的人物視頻，實(shí)現(xiàn)在音樂(lè)、配音等多種場(chǎng)景下角色的自然“說(shuō)話”與“唱歌”?？伸`還為創(chuàng)作者提供了社區(qū)，用戶能夠上傳自己的作品，參與分享交流，甚至獲得激勵(lì)?？伸`036.2.3視頻生成工具——可靈AI視頻制作工具的使用技巧PART6.3使用文本生成視頻，用戶首先選好模型，設(shè)置所要生成視頻的尺寸，隨后在文本框內(nèi)輸入提示詞來(lái)描述自己想要的圖像效果，AI會(huì)根據(jù)提示詞生成相應(yīng)的視頻。這一過(guò)程具有很大的隨機(jī)性，生成的視頻可能不完全符合用戶的需求。當(dāng)AI生成的視頻達(dá)不到用戶需求時(shí)，常規(guī)應(yīng)對(duì)方案是再次生成，用戶可以對(duì)提示詞進(jìn)行細(xì)微的調(diào)整再重新生成，也可以不對(duì)提示詞做任何改動(dòng)，直接讓AI重新生成視頻，最終挑選一段最滿意的視頻。6.3.1AI視頻生成的方法1．文生視頻用戶首先為AI提供一張參考圖，同時(shí)給AI輸入提示詞。AI基本遵照用戶上傳的參考圖生成視頻，僅為人物加入動(dòng)作或背