AI僅用32張圖“偷學(xué)”迪士尼插畫師畫風(fēng)!工程師:別總拿維權(quán)說(shuō)事
發(fā)布日期:2023/2/1 14:48:50 瀏覽量:
轉(zhuǎn)自網(wǎng)易新聞量子位
金磊 明敏 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
如有侵權(quán)請(qǐng)聯(lián)系我們刪除
學(xué)廢一位人類插畫師,AI只用了32張作品。
故事的主人公叫做Hollie Mengert(霍姐),她自打2011年從藝校畢業(yè)以來(lái)就從事著插畫相關(guān)工作。
11年來(lái)的打拼,也讓霍姐在插畫上有了自己獨(dú)樹一幟的風(fēng)格。
然鵝……
有天霍姐一覺(jué)醒來(lái)卻收到朋友的來(lái)信:“姐~你現(xiàn)在成人家AI的模型了”。
于是乎,毫不知情的霍姐便去Reddit上看了看到底是咋回事,結(jié)果——
有位小哥搞了個(gè)AI,只用了霍姐32張作品訓(xùn)練,就能模仿她的風(fēng)格作畫!

△左:霍姐作品;右:AI作品
好了,這下子大家都能用這個(gè)AI,畫出霍姐風(fēng)格的插畫了。
而且更“致命”的是,給AI輸入的提示詞必須帶上“holliemengert artstyle”(霍姐風(fēng))……
(多冒昧啊……)
這波操作也是直接讓網(wǎng)友炸了鍋,紛紛留言為霍姐抱不平:
人家還活著呢……

你可把這位姐妹坑慘了。

然后隨著這事的逐漸發(fā)酵,細(xì)節(jié)也逐漸浮出了水面。
2.5小時(shí)煉出新模型,成本不到15塊
事情最初只是一位來(lái)自加拿大的工程師Ogbogu Kalu(卡哥),出于個(gè)人愛(ài)好做了個(gè)插畫AI。
看著效果還不錯(cuò),他就把模型發(fā)到了Reddit上,結(jié)果一下子火了!

不少網(wǎng)友看了直呼:這是巨作!
本以為需要成千上萬(wàn)張圖才能訓(xùn)練出好的效果,沒(méi)想到這么點(diǎn)兒也可以。

而且訓(xùn)練成本也很低,卡哥說(shuō)自己做這個(gè)模型,只是在云端租了GPU、花2個(gè)半小時(shí)就搞定了。
折算成本不到2美元(人民幣約15塊)。
不過(guò),卡哥當(dāng)時(shí)做出這個(gè)AI也實(shí)屬意外,在此之前他并不了解霍姐的作品。選擇這一風(fēng)格,只是因?yàn)樗趲蛣e的網(wǎng)友微調(diào)模型,那位網(wǎng)友給出的風(fēng)格和霍姐畫風(fēng)相似。
通過(guò)改進(jìn)數(shù)據(jù)集,他一晚上便弄出了一個(gè)效果更好的新模型,命名為“hollie-mengert-artstyle”。并把代碼也放了出來(lái),人人都能免費(fèi)試玩。
他用到的AI,主要是Stable Diffusion和DreamBooth。
后者是模仿風(fēng)格精髓的關(guān)鍵。
這是谷歌在今年8月發(fā)布的新AI。它只需3-5張圖片,再加上文字表述,就能讓指定物體遷移到其他場(chǎng)景或風(fēng)格中去。

和Dall-E 2、Imagen等最大的不同是,DreamBooth能對(duì)選定對(duì)象忠實(shí)還原。
具體方法是給物體加上“特殊標(biāo)識(shí)符”。
原本圖像生成模型收到的指令只是一類物體,例如[cat]、[dog]等,但現(xiàn)在DreamBooth會(huì)在這類物體前加上一個(gè)特殊標(biāo)識(shí)符,變成[V][物體類別]。
以下圖為例,將用戶上傳的三張狗子照片和相應(yīng)的類名(如“狗”)作為輸入信息,得到一個(gè)經(jīng)過(guò)微調(diào)的文本-圖像擴(kuò)散模型。
該擴(kuò)散模型用“a [V] dog”來(lái)特指用戶上傳圖片中的狗子,再把其帶入文字描述中,生成特定的圖像,其中[V]就是那個(gè)特殊標(biāo)識(shí)符。

而且這種方法不局限于某個(gè)模型,Dall-E 2、Stable Diffusion等調(diào)整后也能實(shí)現(xiàn)如上效果。
比如之前亞馬遜工程師就發(fā)布過(guò)一個(gè)DreamBooth-Stable-Diffusion。
Hugging Face上這類模型超級(jí)多,各種風(fēng)格都有,如迪士尼、賽博朋克等等。

卡哥的模型也屬于其中之一。
實(shí)際上,把DreamBooth用在Stable Diffusion不算難,油管就有現(xiàn)成教程。

有人用30張圖微調(diào)模型,全程不到20分鐘,并且效果是杠杠好,他的照片可以毫不違和地融入到各種風(fēng)格中去。

(不過(guò)芝麻街這個(gè)很難判斷效果到底好不好doge)
“原作與此無(wú)關(guān)”
畢竟這事在圈里被討論得甚是火熱,一位叫Andy Baio的吃瓜網(wǎng)友,就直接找到了兩位當(dāng)事人聊了聊。
首先,霍姐談了談她的看法:
我得知這件事情的第一反應(yīng),就是覺(jué)得我名字出現(xiàn)在這個(gè)工具里,有被冒犯到。
我對(duì)這件事情一無(wú)所知,也沒(méi)人征求過(guò)我的意見。
即便他過(guò)來(lái)問(wèn)我“是否可以這么做”,我也不會(huì)答應(yīng)的。
霍姐認(rèn)為,給AI訓(xùn)練所用到的圖像就涉及到了版權(quán)問(wèn)題。
因?yàn)楫?dāng)初她是和迪士尼等客戶有合作,沒(méi)有客戶的允許,霍姐自己都不能隨意在網(wǎng)上傳播插畫。

除此之外,霍姐還認(rèn)為這個(gè)AI模型跟她的名字掛鉤,但并不能完全展現(xiàn)她插畫風(fēng)格的獨(dú)到之處:
作為一名藝術(shù)家,我覺(jué)得讓我特別自豪的地方,就是作品能有真實(shí)的表達(dá)、吸睛的設(shè)計(jì),并且人物能夠產(chǎn)生共鳴。
但AI生成的插畫,就挺難做到這些點(diǎn)的。

然后霍姐更細(xì)致的對(duì)這個(gè)觀點(diǎn)做展開:
我覺(jué)得AI可以模仿筆刷的紋理和渲染、選擇一些顏色和形狀,但這并不代表就能勝任一個(gè)值得被雇傭的插畫家或設(shè)計(jì)師。
因?yàn)殇秩?、筆觸和顏色等,都是藝術(shù)最表層的部分。我認(rèn)為人們最終會(huì)與藝術(shù)聯(lián)系在一起,是因?yàn)橐粋€(gè)可愛(ài)或讓人產(chǎn)生共鳴的角色。
總而言之,霍姐個(gè)人覺(jué)得AI生成的作品跟自己的藝術(shù)水平還是有很大的距離感。
但讓她非常無(wú)奈的是,自己的名字確確實(shí)實(shí)就跟AI“捆綁”到了一起,成了工具的一部分。
那么站在工程師的角度,又如何看待這件事呢?
Andy Baio也找到了卡哥聊了聊:
我認(rèn)為AI的訓(xùn)練和圖片的使用都是合法的,即便這事鬧到法庭也很可能被判為“合理”,因?yàn)槟闶菦](méi)法給一種畫風(fēng)申請(qǐng)版權(quán)的。
100TB的訓(xùn)練數(shù)據(jù)壓縮成一個(gè)4GB的模型,AI作畫的方式也不能算“縫合”,更像是從生動(dòng)記憶中提取并創(chuàng)新。
而且這是技術(shù)發(fā)展不可避免的事情,像Adobe在PhotoShop里搞AI工具,微軟也在自家設(shè)計(jì)套件里添加了圖像生成器。
那這就意味著藝術(shù)家們對(duì)自己的作品就沒(méi)有發(fā)言權(quán)了嗎?Andy Baio繼續(xù)追問(wèn)道。
卡哥對(duì)此表示:
我覺(jué)得現(xiàn)在很多的反對(duì)意見是無(wú)解了AI的運(yùn)作方式。
AI生成的內(nèi)容并不是基于藝術(shù)家作品的拼貼,而是創(chuàng)造了全新的圖像,這是一種變革。
對(duì)AI不夠了解的人沒(méi)有真正意義上的發(fā)言權(quán)。
不過(guò)后來(lái),卡哥還是把Hugging Face上模型的名字,從最初的Hollie-mengert-artstyle,改成了更為通用的Illustration-Diffusion。
并且還特意補(bǔ)充、強(qiáng)調(diào)了一句:
Hollie與此無(wú)關(guān)。
而在此數(shù)天之后,卡哥又發(fā)布了一個(gè)新模型。
這次他所采用的是另一位藝術(shù)家James Daly III的40張作品來(lái)訓(xùn)練:

△左:James Daly III作品;右:AI生成作品
那么對(duì)于這件事,你怎么看呢?
[1]https://waxy.org/2022/11/invasive-diffusion-how-one-unwilling-illustrator-found-herself-turned-into-an-ai-model/
[2]https://www.reddit.com/r/StableDiffusion/comments/yaquby/2d_illustration_styles_are_scarce_on_stable/
[3]https://news.ycombinator.com/item?id=33422990
[4]https://huggingface.co/ogkalu/Illustration-Diffusion
馬上咨詢: 如果您有業(yè)務(wù)方面的問(wèn)題或者需求,歡迎您咨詢!我們帶來(lái)的不僅僅是技術(shù),還有行業(yè)經(jīng)驗(yàn)積累。
QQ: 39764417/308460098 Phone: 13 9800 1 9844 / 135 6887 9550 聯(lián)系人:石先生/雷先生