全是假的!拟真绘画模型闲鱼在售,大批AI账号现身社交平台

SD指南1年前 (2023)发布 一起用AI
395 0 0

3月21日,数张美国前总统特朗普“被捕”照片在互联网上流传。尽管相关图片很快被认出是AI作品,但仍引发大量网友关注和传播。南都大数据研究院发现,特朗普并非AI绘画技术的唯一相关者,事实上,多个基于真人形象训练而成的AI模型早在网上流传。在国内,已有人在闲鱼平台兜售相关模型及其训练服务,小红书上甚至已有账号利用AI生成图像假扮真人。

AI实测:

30秒即可生成拟真图像

凭借媲美真实照片的质感、高度接近真人的样貌,这几张由AI生成的美国前总统特朗普被捕照片在互联网上引发热议。在网民追问下,作者承认其使用了AI绘画模型Midjourney来生成这些图片。不少网友惊讶于AI强大的生成能力,并开始担忧相关技术被用于造谣传谣的可能性。

全是假的!拟真绘画模型闲鱼在售,大批AI账号现身社交平台

3月21日,有人在网上发布由AI生成的美国前总统特朗普被捕照片。

生成类似的拟真图片门槛有多低?答案可能是:你家的电脑就行。

南都大数据研究院监测发现,在Midjourney吸引大批网民目光的同时,另一个名为Stable Diffusion的AI绘画模型已悄然走红。据介绍,该模型可在普通家用电脑运行,并通过叠加不同子模型,生成不同风格的图像,其中就包括模拟真实照片风格。

Stable Diffusion是否真如宣传所言般强大?南都研究员从网络渠道取得一份模型整合包。实测发现,该模型在南都研究员的个人电脑上确实成功运行。根据教程指引,南都研究员尝试向AI提出了几个作图关键词(像照片般逼真、基于物理渲染、一个女生、戴眼镜、连帽衫、看向镜头、城市景观),等待约30秒后,AI便生成了一张质量颇高且符合关键词要求的拟真图像。

南都研究员使用Stable Diffusion生成的AI图像。

这款Stable Diffusion模型来自哪里?南都研究员检索发现,这是一款由创业公司stability.ai于2022年8月发布的AI绘画模型,目前已更新至2.0版本。

与DALL-E、Midjourney等其他AI绘画模型相比,Stable Diffusion的一大特色是代码开源,这意味着第三方开发者也可免费使用该模型,或在其基础上增添内容。在开源项目托管平台GitHub上,已有超700个与Stable Diffusion相关的代码项目。

在众多开发者的合力支持下,Stable Diffusion快速迭代,对运行设备的要求不断下降。如今已实现在普通家用电脑、甚至iPhone上也能运行。

超低门槛:

40张照片即可练出真人模型

在AI训练方面,Stable Diffusion也接近实现零门槛。有开发者在Stable Diffusion的基础上加入了一项模型微调技术——LoRA(Low-Rank Adaptation)。在该技术的支持下,用户只需准备少量图片素材,即可训练出一个LoRA模型,并生成与素材内容高度相似的图像。

实践证明,这项LoRA技术运用在真人模型训练上效果相当显著。在社交平台上,已有网友分享利用自己照片训练而成的LoRA模型。从网友反馈的训练结果可以看到,只需投入约40张照片作为素材,AI就能生成一个高度接近真人样貌的模型。

有网友分享利用自己照片训练而成的LoRA模型。

暗藏风险:

已有艺人被制成模型并生成虚假图片

当然,使用AI为自己打造一个“赛博分身”,从训练素材到练成模型,相关数据全部由自己掌控,安全风险或可控;但如果有人私下收集你的照片再拿去训练,情况就不一样了。

南都研究员深入调查发现,在国外某AI模型分享网站上,已有人将基于真人形象训练而成的模型上传并允许其他用户下载。该网站数据显示,多个真人模型的下载量已经过万。

刘亦菲、杨超越、新垣结衣、盖尔·加朵……大量基于国内外知名艺人形象训练而成的模型正在网上公开传播。

此外,通过stability.ai公开的说明文档以及Github上的代码说明,南都研究员发现,虽然该AI模型名为Stable Diffusion(稳定扩散),但其道德感一点也不“稳定”。由于其开源性质,开发者无法对Stable Diffusion作出任何有效的内容生成限制和过滤。用户只需在对AI输入指令时强调黄色或暴力等关键词,AI就会完全服从并生成对应图像。

事实上,不少用户已经发现该项缺陷。在前文所述的模型分享网站,南都研究员发现了多张以知名艺人形象为基础生成的不雅图片。

除Stable Diffusion外,另一款AI绘画模型Midjourney的道德限制同样可被绕开,进而生成大量“假新闻图片”。

据南都大数据研究院监测,基于Midjourney生成的“特朗普被捕”虚假图片在社交平台流传后,很快有其他网民察觉到AI绘画模型这一“新功能”,开始利用该模型针对不同政治人物创作各种“假新闻”。

陆续有其他网民利用AI绘画模型创作不同主题的“假新闻图片”。

在线暗访:

大量卖家在闲鱼兜售AI绘画模型

南都研究员还发现,已有国内网民不满足于利用AI模型制图“整活”,开始尝试“技术变现”。

在闲鱼平台上,南都研究员发现大量卖家在公开兜售Stable Diffusion模型,其介绍页面大多配有高度接近真人照片的图像,并声称可提供详细使用教程,“包教包会”。

全是假的!拟真绘画模型闲鱼在售,大批AI账号现身社交平台

闲鱼上出现大批AI绘画模型商品。

深入了解发现,闲鱼上甚至还有卖家提供LoRA模型代训练服务,其中多名卖家表示可训练真人模型。在问及会否存在侵权等法律风险时,有卖家表示“不要往外发,自己私下玩玩就好”。更有卖家向南都研究员展示自己拥有的大量LoRA模型。

买卖双方真的能保证模型只是“私下玩玩”吗?从模型分享网站上出现的大量真人模型不难看出,事实显然并非如此。

全是假的!拟真绘画模型闲鱼在售,大批AI账号现身社交平台

闲鱼上,多名卖家声称可提供真人模型训练服务。

真假难辨:

国内社交平台出现不少AI账号

在模型网站上,所有用户都知道图像是由AI生成;假新闻稍一查证也能辨明真伪。但回到一般社交平台,如果有账号经常发布自拍照,且在评论区积极互动沟通,你是否还能分清真假?

通过大规模检索,南都研究员在小红书等国内社交平台上发现不少利用AI生成图像假扮真人的账号。在这些账号的评论区中,尽管有部分网友辨认并指出图像为AI生成,但有更多网友已误认为图像是真人出镜。

小红书上已出现不少被指利用AI生成图像假扮真人的账号。

补救措施:

技术爱好者尝试纠正社区氛围

面对AI模型带来的安全风险,以及已经出现的滥用趋势,开发者如何应对?是否还有补救措施?南都研究员发现,越来越多技术爱好者留意到AI拟真图像传播愈演愈烈的趋势,正积极尝试纠正社区氛围,避免更多人走上歪路。

ChilloutMix是一款由日本开发者制作的、基于Stable Diffusion训练而成的模型,因为在生成东亚女性样貌上表现出色而大受青睐,多个真人模型正是在其基础上衍生。由于网上流传的真人模型越来越多,开发者一度将该模型下架。后来,该模型版权被转移至模型分享网站运营方,并声明禁止将模型用于训练基于明星、公众人物肖像的风格模型。

随后,多名模型制作者也在个人页面中补充声明,要求用户不将模型用于不当用途。多名用户也在评论区留言,希望共同营造良好社区氛围。有网民明确指出:制作真人模型不能展现你对偶像的喜爱,反而是在侮辱、物化你的偶像。也有网民提醒,网上已经出现利用真人模型进行诈骗的案例,希望制作者将模型下架,避免AI技术沦为犯罪温床。

全是假的!拟真绘画模型闲鱼在售,大批AI账号现身社交平台

某真人模型留言区内,多名网民指出不应训练真实人物。

不过,其中一名模型制作者向南都研究员承认,受限于Stable Diffusion极其脆弱的道德限制,这些声明只是一种提醒,无法起到真正的约束作用,“防君子不防小人”。要从根源上阻断这一趋势,只能期待监管部门和开发者有所作为。

南都研究员留意到,在stability.ai新推出的Stable Diffusion Reimagine工具中,已经加入了一个新的过滤器,用于阻止不适当的请求。

调查过程中,也有多名技术爱好者向南都研究员表示,AI技术研发的初衷是进一步为人类工作生活提供便利,而非打造又一个违法工具,希望监管部门能及时治理相关滥用情况,切断违法链条,还AI社区一个良好氛围。

针对AI技术出现的滥用风险和部分开发者所发表声明,有法律界人士向南都研究员表示,无论是否营利,只要是未经肖像权人同意,擅自利用真人素材进行AI训练,该行为都已侵犯对方肖像权;此外,若网民明知图片由AI生成,仍将图片用侮辱、诽谤等方式进行传播,则涉嫌侵犯对方名誉权。

有法律界人士认为,应该慎谈“技术中立”:“做一件事情之前谁都知道自己为什么去做”“AI技术的滥用其实也不难应对,很多违法行为都已有适用条文,只要及时依法处罚存在的违法犯罪行为,就能够有效地防范AI技术的滥用。”

面对AI技术出现的滥用风险,国内监管部门有何举措?南都大数据研究院将持续跟踪了解。

出品:南都大数据研究院 数据安全治理与发展研究课题组

采写:南都研究员李伟锋 实习生 陈嘉宝 余欣贤 吴静仪

© 版权声明

相关文章