我们开发了第一款中英双语ChatGPT检测器,还有…

ChatGPT编程12个月前发布 一起用AI
313 0 0

2023-01-18 更新:

我们的paper:How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection,现已可在Arxiv上访问!

How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection

数据集、模型均已开源,请大家关注我们的项目 :GitHub – Hello-SimpleAI/chatgpt-comparison-detection: Human ChatGPT Comparison Corpus (HC3), Detectors, and more!

我们提出了首个「人类-ChatGPT 问答对比语料集」,也是最早开发ChatGPT检测器的团队,过去四十天我们熬了很多夜,除了艰难的数据收集过程,还做了大量人工测评(图灵测试,有用性测试等)、语言学分析以及各种类型的检测器的开发。作为一个纯纯的中国学生团队(非清北复交,甚至一开始素不相识),我们一开始是觉得我们难以完成最初的设想的,但经过40天的奋战,我们最初想做的基本都做到了,所以容许我为我们团队感到自豪!感谢并肩作战的好兄弟们!❤️❤️

—下面是原文—

那一夜…

2022年11月30号,OpenAI推出了ChatGPT,给NLP届乃至各行各业的人带来了巨大的惊喜和惊吓[1];2022年12月5号,由于受到ChatGPT的冲击,Stack Overflow宣布禁止用户在平台上发布由ChatGPT生成的内容[2];2022年12月8号,我夜不能寐,作为一个普普通通NLP研究者,被ChatGPT冲击到自我怀疑,不断反问自己在ChatGPT时代还能做些什么研究。思来想去,我觉得在ChatGPT如此强大的情况下,我们非常需要一个ChatGPT检测器,来判断一段内容是否是ChatGPT生成的……

当晚我很晚才睡着,但是第二天一大早就醒了,兴冲冲得跟几个好友讨论了这个事儿,经过一番讨论,我们觉得这是个有价值的事儿,值得一做!接着我们在一个更大的群里(孤勇AI研究者群hhh),对这个话题展开了热烈讨论。当天晚上,我们便组建了一个由海内外6所高校或企业的博士生/工程师组成的8人团队,为了一个共同的目标:

“ 开发一套ChatGPT检测工具,同时收集第一手宝贵的人类-ChatGPT对比数据集,来助力相关学术研究。

这一天是2022年12月9日,是ChatGPT推出的第10天。我们一帮普普通通的国内AI孤勇者们,就这样踏上了一段充满未知和挑战的旅程。

我们开发了第一款中英双语ChatGPT检测器,还有...

在我们立项之后,也有有业界大佬提出类似的想法,例如一流科技创始人袁老师

12月11日提到“我觉得一个迫在眉睫的需要研究的问题是,怎么区分真实由人类生成的文本和chatGPT生成的文本?”

另外,12月21日,清华大学也开始招募志愿者来收集ChatGPT的中文数据;而在国外,根据最近的新闻,普林斯顿大学也有团队在做类似的事情,并于1月3日提出了一个demo (即最近很火的GPTZero)。

相比之下,我们可能是最早开始这方面研究的团队了,但是一直很低调而忙碌地在收集数据、分析、训练模型….(其实应该学习人家普林斯顿大学团队,不管东西做了多少,先放出一个Demo….哎,少不更事啊!)

虽然风头被抢了,但我们团队一开始的初衷就不是蹭热度,而是为社区做出一些真正的贡献,ChatGPT检测器只是我们计划的一部分,我们计划:

收集一批有价值的人类和 ChatGPT 对比的中英双语问答语料,这对于我们研究人类和大型语言模型(LLM)很重要,可以帮助我们研究LLM的特点、跟人类的差距、未来LLM改进的方向;对大量的人机对比语料进行细致的分析,并进行多方面的人工评测,探究人类和ChatGPT分别具有什么有趣的潜在的模式。这些探索将有助于思考LLM未来应去往何方;最后,基于对比数据集以及语料分析,开发应对不同场景的一系列检测模型,这些模型可帮助普通用户和UGC平台来**识别、监管AIGC (AI Generated Content)**。

项目进展

今天,距离我们立项,已经过去了大约一个月。

一个月,我们的私有仓库进行了 166 次 commits,大家基本每天都在为之奋斗:

今天,我们已经收集了中英文的 3-4 万个问题和近 10 万条「人类-ChatGPT 对比」回答语料,涵盖了开放域、计算机科学、金融、医疗、法律、心理等多个领域。这批语料集从各个领域,反映了人类专家和 ChatGPT 在面对同一个问题时会有怎么不同的回答;

我们对这批对比语料进行了大量的特征分析,发现了很多有趣的结论,相关的人工测评也正在紧锣密鼓的进行,基于这个语料库和相关分析,我们开发了三种使用不同算法、针对不同场景的 ChatGPT 检测模型(都支持中文和英文,已经上线 Hugging Face Spaces):

问答版,输入问题和回答,使用预训练模型分类器判断回答内容是 ChatGPT 生成还是人类撰写,访问链接:chatgpt-detector-qa 单文本版,判断任意文本是 ChatGPT 生成还是人类撰写,技术与(1)相同,访问链接: chatgpt-detector-single 语言学特征版,基于一些计算语言学特征,使用机器学习建模进行检测,访问链接: chatgpt-detector-ling

我们开发了第一款中英双语ChatGPT检测器,还有...

我们近期的计划如下:

EventsDatesProject Launch / 项目启动2022-12-09 ✅Comparison Data Collection / 对比数据收集2022-12-11 to Now ‍♀️Release ChatGPT Detector (Demo) / 检测器 Demo 发布2023-01-11 ✅Models Release / 模型开源Coming in a week Comparison Corpus Release / 语料集开源Coming in a week Research Paper / 研究论文发布Coming in a week ……

欢迎大家关注我们的项目主页:https://github.com/Hello-SimpleAI/chatgpt-comparison-detection

我们将于大约一周内开源代码、模型和语料集,希望得到大家的宝贵反馈!

ChatGPT 检测器展示:

下面,我们使用我们的检测器,对多个平台的内容以及ChatGPT相应的生成内容,进行检测,包括

英文:

Wikipedia概念解释Quora开放问答

中文:

百度百科概念解释知乎开放问答

Wikipedia

GPT系列模型都在Wikipedia语料上进行了充分的训练,这导致GPT系列模型会生成跟WIkipedia风格十分类似的文本,因此Wikipedia语料十分考验检测器的能力,下面我们随机找一个概念,分别检测人类专家的解释和ChatGPT的解释:

我们开发了第一款中英双语ChatGPT检测器,还有...

预测正确!(我们同时测了GPTZero,发现其预测错误。GPTZero主要使用文本困惑度以及句子间的困惑度变化来进行预测,一般人类的句子间困惑度差异会较大,而AI生成的内容则较小,而对于WIkipedia这种十分规范的文体,可能句子间的困惑度差异也较小,因此可能导致GPTZero判断错误)

Quora

我们开发了第一款中英双语ChatGPT检测器,还有...

百度百科

知乎

知乎上,我们选取了问题“如何评价OpenAI的超级对话模型ChatGPT”,并测试了周博磊老师

的回答和ChatGPT自己的回答:

最后,希望大家关注我们项目:

我们开发了第一款中英双语ChatGPT检测器,还有...
ChatGPT-Comparison-Detection Projectgithub.com/Hello-SimpleAI/chatgpt-comparison-detection

我们也邀请广大朋友一起来调戏我们的检测器,如果能为我们提供一下预测错误的Bad Cases,那就太感激了!

我们的开源代码、模型和语料集,将会和我们的研究论文一并在近期公布,届时再进一步跟朋友们进行交流。

鉴于 OpenAI 的“不Open”,以及 AIGC 对当下学界的冲击和社会的潜在风险,我们希望能和更多志同道合的朋友,一起为开放的学术研究做贡献!❤️❤️

相关链接:

[1] ChatGPT: https://openai.com/blog/chatgpt/[2] Stack Overflow禁用 ChatGPT: https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned[3]GPTZero: http://gptzero.me/

© 版权声明

相关文章