AI繪畫突然爆火?快速體驗二次元畫師NovelAI(diffusion)
發(fā)布日期:2022/11/24 11:09:57 瀏覽量:
0 寫在前面
機器學習強基計劃聚焦深度和廣度,加深對機器學習模型的理解與應(yīng)用?!吧睢痹谠敿毻茖惴P捅澈蟮臄?shù)學原理;“廣”在分析多個機器學習模型:決策樹、支持向量機、貝葉斯與馬爾科夫決策、強化學習等。
話不多說,先看看AI繪畫的效果

接下來帶大家體驗一下二次元畫師novelAI
1 diffusion vs GAN
所謂擴散算法diffusion是指先將一幅畫面逐步加入噪點,一直到整個畫面都變成白噪聲。記錄這個過程,然后逆轉(zhuǎn)過來給AI學習。
AI看到的是什么?一個全是噪點的畫面如何一點點變清晰直到變成一幅畫,AI通過學習這個逐步去噪點的過程來學會作畫。
diffusion和之前大火的GAN模型相比,有什么優(yōu)勢呢?用OpenAI的一篇論文內(nèi)容來講,用diffusion生成的圖像質(zhì)量明顯優(yōu)于GAN模型;而且與GAN不同,diffusion不用在鞍點問題上糾結(jié)——涉及穩(wěn)定性問題,只需要去最小化一個標準的凸交叉熵損失即可,這樣就大大簡化了模型訓練過程中,數(shù)據(jù)處理的難度。
總結(jié)來說,目前的訓練技術(shù)讓diffusion直接跨越了GAN領(lǐng)域調(diào)模型的階段,而是直接可以用來做下游任務(wù),是一個新的數(shù)學范式在圖像領(lǐng)域應(yīng)用的實例。
2 NovelAI
NovelAI是基于人工智能的繪畫創(chuàng)作輔助工具,單純訓練就使用了數(shù)千個網(wǎng)站的數(shù)十億張圖片。NovelAI是一個商業(yè)化的網(wǎng)站,繪畫是需要付費的,然而這次其商業(yè)模型疑似流出,不管是小白還是畫師都能體驗一次AI創(chuàng)作的樂趣。這次流出的模型是stable-diffusion-webui,也就是第一節(jié)介紹的擴散算法。

3 AI繪畫環(huán)境搭建
主要分為以下步驟:
創(chuàng)建Python3.10的虛擬環(huán)境

conda create -n ai_draw python=3.10
1
虛擬環(huán)境相關(guān)操作請參考:Anaconda安裝與Python虛擬環(huán)境配置保姆級圖文教程(附速查字典)
在虛擬環(huán)境中安裝Pytorch
這步比較涉及顯卡相關(guān)的配置,比較復(fù)雜,請參考:最新CUDA/cuDNN與Pytorch保姆級圖文安裝教程(速查字典版)
下載模型stable-diffusion-webui

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
1
安裝依賴庫
首先進入虛擬環(huán)境

conda activate ai_draw
1
接著進入stable-diffusion-webui根目錄運行

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
1
采用清華源可以更快完成安裝

下載模型和權(quán)重文件
模型文件model.cpkt:model.cpkt,權(quán)重文件GFPGANv1.4.pth:GFPGANv1.4.pth,模型文件移動到這個目錄stable-diffusion-webui-master\models\Stable-diffusion,權(quán)重文件留在根目錄即可,最后的文件組織如圖所示


根目錄運行啟動文件

python launch.py
1
期間會下載一些新的依賴,有可能超時報錯,多啟動幾次即可
4 體驗AI創(chuàng)作
通過第三節(jié)的配置,成功后即可在終端看到

開放了一個本地端口,在瀏覽器中輸入即可

接下來測試最簡單的文本生成圖像功能:
輸入正面標簽:
NSFW,anime fine details portrait of a white haired girl ,black eyes,wearing hoodie on the city street background, close-up view, anime masterpiece,4k, sharp high quality anime, artstation Prhololive, uruha_rushia, 1girl, bangs, bare shoulders, red eyes, blue dress, blue green hair,blue sleeves, blush, bow, breasts, chick, collarbone, detached collar, detached sleeves, double bun, eyebrows visible through hair,frills, hair orhament, medium hair, off-shoulder dress 1girl looking_at_viewer upper_body, too many flowers,kyoto animation, bishojo, bare_shoulders black sleeves yellow_eyes emeraldblue_hair, sailor_collar and neckerchief, detached_sleeves frilled_shirt_collar frills grey_shirt headset heart long_hairsleeveless shirt twintails verv long hair wide sleeves highres 2girl, two bishojo snuggled up selfie, with white marble glowing skin and perfect symmetrical pretty face with blush cheeks and glaring eyes wearing a school uniform,golden hour lighting, strong rim light, intense shadowse , Ernst Thoms
1
輸入反面標簽:
lowres, bad anatomy, bad hands, text,error, missing fngers,extra digt ,fewer digits,cropped, wort quality ,low quality,normal quality, jpeg artifacts,signature,watermark, username, blurry, bad feet
1
設(shè)置采樣步長sampling step為28
配置CFG Scale為12
點擊Generate
當然這里還有img2img等豐富的功能,讀者可自行測試
————————————————
版權(quán)聲明:本文為CSDN博主「Mr.Winter`」的原創(chuàng)文章,遵循CC 4.0 BY-SA版權(quán)協(xié)議,轉(zhuǎn)載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/FRIGIDWINTER/article/details/127471600
馬上咨詢: 如果您有業(yè)務(wù)方面的問題或者需求,歡迎您咨詢!我們帶來的不僅僅是技術(shù),還有行業(yè)經(jīng)驗積累。
QQ: 39764417/308460098 Phone: 13 9800 1 9844 / 135 6887 9550 聯(lián)系人:石先生/雷先生