12月1日，总部位于旧金山的人工智能研究机构openAI发布了自然语言生成模型ChatGPT,一个可以基于用户输入文本，自动生成回答的人工智能。也就是人工智能，这个机器人凭借着赶超人类的自然对话程度以及逆天的学识，问世不到一周便吸引了超过100万用户。迅速成为了各大社交网络的当红炸子鸡。网友们不仅用它来夸奖自己，讲笑话，讲相声续写故事。甚至成为你的嘴替，不论是回答的自然程度还是口吻，都已经非常的接近真人的水平。当然你还可以用它来完成一些实际的日常工作。比如查询概念、查询菜谱、查询代码、问编程问题。那这种快问快答得只管交护方式，远超大部分搜索引擎。
除此之外，你还可以用它来代写各种文稿。比如代写产品文档、检讨书、年终总结、代写招聘宣讲会策划、自我介绍、求职信、入职欢迎信和辞职信。可以说是从应聘到入职到解雇一条龙服务全包，而且你如果仔细看每一条机器人的回复，几乎都是有板有眼。
不仅语言能力超群，编程开发能力也非常无敌。你可以让他解释复杂的代码逻辑。或者找到某一段代码的bug。甚至有网友直接用他开发一款Unity游戏。
这种超群的编程能力，让著名的编程社区stackoverflow上，出现越来越多ChatGPT的回答。导致社区不得不在第一时间屏蔽这种回答方式。被ChatGPT各方面出色的效果反复震惊了之后，很多人开始感叹自己的职业岌岌可危。所以ChatGPT为什么会有出色的表现？他的聊天能力、文学能力、编程能力到底有多强？他会取代搜索引擎吗？真的像很多人说的那样，许多职业即将消失。AI即将战胜人类吗？
接下来按照这几个方面来和大家简单谈谈：1、ChatGPT到底是什么？2、为什么这么厉害？3对我们生活的影响。
4、它的局限性和风险。
一、ChatGPT到底是什么？
ChatGPT是一款通用的自然语言生成模型。其中GPT是generative pretrained transformer的简称（生成型预训练变化模型）。这个模型被互联网巨大的语料库训练后，它就可以根据你输入的文字内容，来生成对应的文字回答，也就是常见的聊天问答模式。
语言模型的工作方式，是对语言文本进行概率模型。用来预测下一段输出内容的概率。形式上非常类似我们小时候玩的文字接龙游戏。比如输入的内容是你好，模型就会在可能的结果中选出概率最高的那一个，用来生成下一部分的内容。
而这一次，之所以有能够如此强烈的反响。很大程度上，是因为它在语言能力上的显著提升。从网友们的直观反馈上来看，ChatGPT相比其他的聊天机器人，主要在这样几个方面上进步明显。首先，它对于用户实际意图的理解有了明显的提升。以前用过类似的聊天机器人，或者自动客服的朋友应该经常遇到机器兜圈子，甚至答非所问的情况。而ChatGPT在这方面有了显著的提升。大家实际体验之后感受会非常的明显，其次是非常强的上下文衔接能力。你不仅能够问它一个问题，而且可以通过不断追加提问的方式，让它不断改进回答的内容，最终达到用户想要的理想效果。然后是对知识和逻辑的理解能力。当你遇到某个问题，它不仅只是给一个完整的回答，同时你对这个问题的各种细节追问它都能回答出来。比如我问如何做炸鸡，它会给一个详细的菜谱，然后我继续追问关于蒜和黄油的种类甚至品牌，它都能有逻辑的回答出来。另一方面，这种兼容大量知识，同时富含逻辑的能力，就非常的适合编程。因此，可以看到非常多的关于ChatGPT如何解释、修改甚至生成完整代码的例子。
所以，我们如果要量化这种提升，他到底达到了什么程度呢？目前还没有ChatGPT 的公开论文，但是非常明确的是，ChatGPT 和OpenAI今年1月份发布的2另一个模型instruct GPT是非常接近的姊妹关系。我们要看清楚ChatGPT为什么可以做到如此出色的效果，就需要把视角稍微拉远一些。看一看这款模型近几年的发展历史。从衍进关系上看，CatGPT 是OpenAI的另外一款模型instruct GPT的姊妹版。也就是基于instruct GPT做了一些调整，而instruct GPT的上一代是GPT3，再往上一代是GPT2，再往上是GPT再往前就是google那篇关于transformer的著名论文。需要提一下的是，同样是基于transformer结构，还有Google自家的BERT架构，以及对应的分支，所以我们可以得到一个这样的分支图。
这里我没法对每一篇论文做分析，但是想提到一些比较有趣的决定和突破。首先同样是transformer架构上分支出来BERT和GPT的一大不同，来自于他们transformer具体结构的区别，BERT使用的是transformer的encoder组件，而encoder组件在计算某个位置时会关注它左右两侧的信息，也就是文章的上下文。而GPT使用的是transfomer decoder组件。decoder组件在计算某个位置时，只关注它左侧的信息，也就是文章的上文。我们如果用一个通俗的比喻就是，BERT在结构上对上下文得到理解会更强。更适合嵌入式的表达，也就是完形填空式的表达。而GPT在结构上更适合只有上文，完全不知道下文的任务。而聊天恰好就是这样的场景。
而另外一个有趣的突破，来自于模型量级上的提升。
从GPT到GPT2再到3，OpenAI 将模型参数从1.17亿提升到15亿然后进一步提升到了1750亿个。以至于GPT3比以前同类型的语言模型参数量增加了10倍以上。训练数据量也从GPT的5GB增加到了45TB。OpenAI没有追求模型在特定类型任务上的表现，而是不断地增强模型地泛化能力。所以语言模型地泛化能力，也就是回答各种没有见过问题地能力。当然这也就对训练数据量和参数个数上提出了更高地要求。伴随着巨大参数量的是巨大的训练成本，GPT3的训练费用高达1200万美元。
（数据资料来源于网络）
相关文章
