3月21日，数张美国前总统特朗普“被捕”照片在互联网上流传。尽管相关图片很快被认出是AI作品，但仍引发大量网友关注和传播。南都大数据研究院发现，特朗普并非AI绘画技术的唯一相关者，事实上，多个基于真人形象训练而成的AI模型早在网上流传。在国内，已有人在闲鱼平台兜售相关模型及其训练服务，小红书上甚至已有账号利用AI生成图像假扮真人。
AI实测：
30秒即可生成拟真图像
凭借媲美真实照片的质感、高度接近真人的样貌，这几张由AI生成的美国前总统特朗普被捕照片在互联网上引发热议。在网民追问下，作者承认其使用了AI绘画模型Midjourney来生成这些图片。不少网友惊讶于AI强大的生成能力，并开始担忧相关技术被用于造谣传谣的可能性。
3月21日，有人在网上发布由AI生成的美国前总统特朗普被捕照片。
生成类似的拟真图片门槛有多低？答案可能是：你家的电脑就行。
南都大数据研究院监测发现，在Midjourney吸引大批网民目光的同时，另一个名为Stable Diffusion的AI绘画模型已悄然走红。据介绍，该模型可在普通家用电脑运行，并通过叠加不同子模型，生成不同风格的图像，其中就包括模拟真实照片风格。
Stable Diffusion是否真如宣传所言般强大？南都研究员从网络渠道取得一份模型整合包。实测发现，该模型在南都研究员的个人电脑上确实成功运行。根据教程指引，南都研究员尝试向AI提出了几个作图关键词（像照片般逼真、基于物理渲染、一个女生、戴眼镜、连帽衫、看向镜头、城市景观），等待约30秒后，AI便生成了一张质量颇高且符合关键词要求的拟真图像。
南都研究员使用Stable Diffusion生成的AI图像。
这款Stable Diffusion模型来自哪里？南都研究员检索发现，这是一款由创业公司stability.ai于2022年8月发布的AI绘画模型，目前已更新至2.0版本。
与DALL-E、Midjourney等其他AI绘画模型相比，Stable Diffusion的一大特色是代码开源，这意味着第三方开发者也可免费使用该模型，或在其基础上增添内容。在开源项目托管平台GitHub上，已有超700个与Stable Diffusion相关的代码项目。
在众多开发者的合力支持下，Stable Diffusion快速迭代，对运行设备的要求不断下降。如今已实现在普通家用电脑、甚至iPhone上也能运行。
超低门槛：
40张照片即可练出真人模型
在AI训练方面，Stable Diffusion也接近实现零门槛。有开发者在Stable Diffusion的基础上加入了一项模型微调技术——LoRA（Low-Rank Adaptation）。在该技术的支持下，用户只需准备少量图片素材，即可训练出一个LoRA模型，并生成与素材内容高度相似的图像。
实践证明，这项LoRA技术运用在真人模型训练上效果相当显著。在社交平台上，已有网友分享利用自己照片训练而成的LoRA模型。从网友反馈的训练结果可以看到，只需投入约40张照片作为素材，AI就能生成一个高度接近真人样貌的模型。
有网友分享利用自己照片训练而成的LoRA模型。
暗藏风险：
已有艺人被制成模型并生成虚假图片
当然，使用AI为自己打造一个“赛博分身”，从训练素材到练成模型，相关数据全部由自己掌控，安全风险或可控；但如果有人私下收集你的照片再拿去训练，情况就不一样了。
南都研究员深入调查发现，在国外某AI模型分享网站上，已有人将基于真人形象训练而成的模型上传并允许其他用户下载。该网站数据显示，多个真人模型的下载量已经过万。
刘亦菲、杨超越、新垣结衣、盖尔·加朵……大量基于国内外知名艺人形象训练而成的模型正在网上公开传播。
此外，通过stability.ai公开的说明文档以及Github上的代码说明，南都研究员发现，虽然该AI模型名为Stable Diffusion（稳定扩散），但其道德感一点也不“稳定”。由于其开源性质，开发者无法对Stable Diffusion作出任何有效的内容生成限制和过滤。用户只需在对AI输入指令时强调黄色或暴力等关键词，AI就会完全服从并生成对应图像。
事实上，不少用户已经发现该项缺陷。在前文所述的模型分享网站，南都研究员发现了多张以知名艺人形象为基础生成的不雅图片。
除Stable Diffusion外，另一款AI绘画模型Midjourney的道德限制同样可被绕开，进而生成大量“假新闻图片”。
据南都大数据研究院监测，基于Midjourney生成的“特朗普被捕”虚假图片在社交平台流传后，很快有其他网民察觉到AI绘画模型这一“新功能”，开始利用该模型针对不同政治人物创作各种“假新闻”。
陆续有其他网民利用AI绘画模型创作不同主题的“假新闻图片”。
在线暗访：
大量卖家在闲鱼兜售AI绘画模型
南都研究员还发现，已有国内网民不满足于利用AI模型制图“整活”，开始尝试“技术变现”。
在闲鱼平台上，南都研究员发现大量卖家在公开兜售Stable Diffusion模型，其介绍页面大多配有高度接近真人照片的图像，并声称可提供详细使用教程，“包教包会”。
闲鱼上出现大批AI绘画模型商品。
深入了解发现，闲鱼上甚至还有卖家提供LoRA模型代训练服务，其中多名卖家表示可训练真人模型。在问及会否存在侵权等法律风险时，有卖家表示“不要往外发，自己私下玩玩就好”。更有卖家向南都研究员展示自己拥有的大量LoRA模型。
买卖双方真的能保证模型只是“私下玩玩”吗？从模型分享网站上出现的大量真人模型不难看出，事实显然并非如此。
闲鱼上，多名卖家声称可提供真人模型训练服务。
真假难辨：
国内社交平台出现不少AI账号
在模型网站上，所有用户都知道图像是由AI生成；假新闻稍一查证也能辨明真伪。但回到一般社交平台，如果有账号经常发布自拍照，且在评论区积极互动沟通，你是否还能分清真假？
通过大规模检索，南都研究员在小红书等国内社交平台上发现不少利用AI生成图像假扮真人的账号。在这些账号的评论区中，尽管有部分网友辨认并指出图像为AI生成，但有更多网友已误认为图像是真人出镜。
小红书上已出现不少被指利用AI生成图像假扮真人的账号。
补救措施：
技术爱好者尝试纠正社区氛围
面对AI模型带来的安全风险，以及已经出现的滥用趋势，开发者如何应对？是否还有补救措施？南都研究员发现，越来越多技术爱好者留意到AI拟真图像传播愈演愈烈的趋势，正积极尝试纠正社区氛围，避免更多人走上歪路。
ChilloutMix是一款由日本开发者制作的、基于Stable Diffusion训练而成的模型，因为在生成东亚女性样貌上表现出色而大受青睐，多个真人模型正是在其基础上衍生。由于网上流传的真人模型越来越多，开发者一度将该模型下架。后来，该模型版权被转移至模型分享网站运营方，并声明禁止将模型用于训练基于明星、公众人物肖像的风格模型。
随后，多名模型制作者也在个人页面中补充声明，要求用户不将模型用于不当用途。多名用户也在评论区留言，希望共同营造良好社区氛围。有网民明确指出：制作真人模型不能展现你对偶像的喜爱，反而是在侮辱、物化你的偶像。也有网民提醒，网上已经出现利用真人模型进行诈骗的案例，希望制作者将模型下架，避免AI技术沦为犯罪温床。
某真人模型留言区内，多名网民指出不应训练真实人物。
不过，其中一名模型制作者向南都研究员承认，受限于Stable Diffusion极其脆弱的道德限制，这些声明只是一种提醒，无法起到真正的约束作用，“防君子不防小人”。要从根源上阻断这一趋势，只能期待监管部门和开发者有所作为。
南都研究员留意到，在stability.ai新推出的Stable Diffusion Reimagine工具中，已经加入了一个新的过滤器，用于阻止不适当的请求。
调查过程中，也有多名技术爱好者向南都研究员表示，AI技术研发的初衷是进一步为人类工作生活提供便利，而非打造又一个违法工具，希望监管部门能及时治理相关滥用情况，切断违法链条，还AI社区一个良好氛围。
针对AI技术出现的滥用风险和部分开发者所发表声明，有法律界人士向南都研究员表示，无论是否营利，只要是未经肖像权人同意，擅自利用真人素材进行AI训练，该行为都已侵犯对方肖像权；此外，若网民明知图片由AI生成，仍将图片用侮辱、诽谤等方式进行传播，则涉嫌侵犯对方名誉权。
有法律界人士认为，应该慎谈“技术中立”：“做一件事情之前谁都知道自己为什么去做”“AI技术的滥用其实也不难应对，很多违法行为都已有适用条文，只要及时依法处罚存在的违法犯罪行为，就能够有效地防范AI技术的滥用。”
面对AI技术出现的滥用风险，国内监管部门有何举措？南都大数据研究院将持续跟踪了解。
出品：南都大数据研究院 数据安全治理与发展研究课题组
采写：南都研究员李伟锋 实习生 陈嘉宝 余欣贤 吴静仪
相关文章
