ChatGPT的打造,核心绕不过算法、数据、算力三要素。
![打造中国版ChatGPT需要什么条件?](https://17yongai-1300108438.cos.ap-beijing.myqcloud.com/ftp/uploads/2023-04-03/1680515874266.png?imageMogr2/format/webp)
算力是支撑背后大语言模型训练的硬件基础;数据,影响模型能力强弱甚至生成质量的关键;算法则包括模型架构和优化方法,决定着模型的核心技能。
如果说前两者算力和数据是资本资源积累,毕竟训练一个1750亿参数的GPT-3就得花费460万美元;那么算法是ChatGPT区别于其他的独到之处。
作为一个对话式AI,ChatGPT所具备的技能包括多语言文本生成、具备大量世界知识、零样本生成、代码理解和生成、对话能力等。
更概括地来说,其强大之处在于同时具备知识、推理和沟通能力——
也是实现认知智能必备的几项能力。
首先是知识能力。为了让ChatGPT既具备应用数据能力、又能生成符合人类要求的答案,要求它能具备大量世界知识和基础常识,且符合人类输出要求。
这背后不仅离不开ChatGPT“底座”大语言模型的参数量和算法架构,更离不开极高的数据质量。
值得注意的是,ChatGPT比其他AI模型生成质量高的原因,在于它更了解人类的“雷区”,包括回答中立客观、不输出违规内容、不回答认知范围之外的问题等。
严格来说,这不仅需要各行业通用的高质量数据,而且还需要经过大量数据清洗和人工标注。
这种方法被命名为基于人类反馈的强化学习(RLHF),需要经过大量各行各业的人工标注,仅凭模型自身无法达到这样的效果。
随后是推理能力。这包括理解并生成代码等技能,让模型能像人一样,一步步思考并推算目标结果。
这里面考验的又不仅仅是代码和语言数据量,同样还强调模型的零样本生成能力和复杂推理能力。
具体而言,零样本生成指的是模型完成没见过的新任务的能力,而代码生成更是考验模型根据任务目标,一步步推理生成最终结果的能力。
最后便是沟通能力,即多语言文本生成、对话能力等。
ChatGPT之所以在沟通能力上有所进步,是因为它能学会基于之前的对话内容生成新输出,而并非局限于当前对话中、导致无法理解代词或暗含前文信息点的词。
这背后除了要求模型在预训练时的语言文本具有多样性,还必须增加如指令学习在内的任务,确保模型能更好地听懂人类对话中的要求,并准确合理地实现。
综上来看,ChatGPT在各方面都提出了不低的要求,国内玩家要想打造这样的模型,就必须在NLP乃至认知智能相关的算法上,实现深厚积淀。