《人工智能與機(jī)器學(xué)習(xí)》課件-LoRA與高階Clip

Checkpoint&LoraCheckpoint防止數(shù)據(jù)丟失：在長時間訓(xùn)練過程中，意外中斷（如斷電、系統(tǒng)崩潰等）可能導(dǎo)致訓(xùn)練進(jìn)度丟失。

使用檢查點可以防止這種情況，因為您可以從最后一個保存的檢查點繼續(xù)訓(xùn)練。遷移學(xué)習(xí)：通過加載預(yù)訓(xùn)練模型的檢查點，您可以進(jìn)行遷移學(xué)習(xí)，從而在新的數(shù)據(jù)集或任務(wù)上微調(diào)模型。保存好的檢查點可以用于模型評估和推理，而不需要每次都從頭開始訓(xùn)練模型。模型評估和推理檢查點允許您在不同訓(xùn)練階段檢查模型的性能，以確定最佳的訓(xùn)練參數(shù)和方法。調(diào)試和優(yōu)化Checkpoint大模型Checkpoint是深度學(xué)習(xí)中常用的一個術(shù)語，用于描述在每次訓(xùn)練后保存模型參數(shù)（權(quán)重）的慣例。類似于游戲中保存關(guān)卡的功能，Checkpoint允許我們在訓(xùn)練過程中保存模型的狀態(tài)，以便之后可以加載這些保存的參數(shù)并繼續(xù)訓(xùn)練或進(jìn)行推理。Checkpoint&LoraCheckpoint大模型Checkpoint像地基或主廚高湯（基礎(chǔ)支撐）

：提供圖像生成的核心能力（如SD1.5/SDXL），決定整體風(fēng)格和畫質(zhì)，如同建筑的地基或高湯的底味。LoRA則像濾鏡或特效插件（局部調(diào)校）

：基于Checkpoint進(jìn)行微調(diào)，僅修改部分參數(shù)（如低秩矩陣），實現(xiàn)特定風(fēng)格（如動漫、水墨）或細(xì)節(jié)優(yōu)化（如發(fā)絲質(zhì)感），類似手機(jī)拍照時疊加的濾鏡或Photoshop的調(diào)整層。lora模型Lora輸入條件混合：將兩個文本提示（如“寫實風(fēng)景”和“卡通風(fēng)格”）的嵌入向量按比例混合，strength參數(shù)決定兩者的權(quán)重。例如，strength=0.3表示更偏向第二個條件（卡通風(fēng)格）。strength_model想要讓Lora模型生效，除了合理的權(quán)重之外，還要在正向提示詞中使用觸發(fā)詞觸發(fā)詞*Prompt提示詞使用(prompt:權(quán)重)如：(1car:1.1)使用{選擇1|選擇2|選擇3|...}可以讓ComfyUI隨機(jī)選擇一個prompt參與生圖流程如：{red|blue|green}則會從其中選擇一個顏色選中prompt后鍵盤Ctrl+Up↑（方向鍵上）

可提升對應(yīng)prompt0.05權(quán)重反之鍵盤Ctrl+Down↓（方向鍵下）

3、增加權(quán)重快捷鍵你可以使用(prompt)的方式讓提示詞權(quán)重提升為原來的1.1倍如：(1car)2、通過英文括號()加權(quán)ComfyUIprompt技巧prompt書寫有什么技巧？要如何寫AI繪圖的prompt1、通過英文括號并注明權(quán)重4、隨機(jī)調(diào)用prompt內(nèi)容*Prompt提示詞Highlydetailed增加畫面精細(xì)度，展現(xiàn)更多細(xì)節(jié)Professional調(diào)整色彩對比度與細(xì)節(jié)層次，顯著提升圖片的專業(yè)感Highresolutionscan高精度掃描，使照片具有復(fù)古質(zhì)感，增添年代氣息HDR,UHD,64K提升照片質(zhì)量，增強(qiáng)動態(tài)范圍（HDR）、超高分辨率（UHD，包括4K、8K和64K）VividColors強(qiáng)化顏色鮮艷度，為圖像注入生動活力Studiolighting

添加專業(yè)演播室燈光效果，為圖像賦予豐富紋理Comfy基礎(chǔ)的clip編碼方式，自寫提示詞或反推提示詞使用A1111適配WebUI提示詞權(quán)重插值方式，抄WebUI的提示詞時使用（StableDiffusionWebUI的作者名字是AUTOMATIC1111，簡稱A1111）*Prompt提示詞實訓(xùn)項目：1、選擇你喜歡的Checkpoint模型，搭建基礎(chǔ)工作流，K采樣器的相關(guān)推薦