ChatGPT的打造，核心绕不过算法、数据、算力三要素。
算力是支撑背后大语言模型训练的硬件基础；数据，影响模型能力强弱甚至生成质量的关键；算法则包括模型架构和优化方法，决定着模型的核心技能。
如果说前两者算力和数据是资本资源积累，毕竟训练一个1750亿参数的GPT-3就得花费460万美元；那么算法是ChatGPT区别于其他的独到之处。
作为一个对话式AI，ChatGPT所具备的技能包括多语言文本生成、具备大量世界知识、零样本生成、代码理解和生成、对话能力等。
更概括地来说，其强大之处在于同时具备知识、推理和沟通能力——
也是实现认知智能必备的几项能力。
首先是知识能力。为了让ChatGPT既具备应用数据能力、又能生成符合人类要求的答案，要求它能具备大量世界知识和基础常识，且符合人类输出要求。
这背后不仅离不开ChatGPT“底座”大语言模型的参数量和算法架构，更离不开极高的数据质量。
值得注意的是，ChatGPT比其他AI模型生成质量高的原因，在于它更了解人类的“雷区”，包括回答中立客观、不输出违规内容、不回答认知范围之外的问题等。
严格来说，这不仅需要各行业通用的高质量数据，而且还需要经过大量数据清洗和人工标注。
这种方法被命名为基于人类反馈的强化学习（RLHF），需要经过大量各行各业的人工标注，仅凭模型自身无法达到这样的效果。
随后是推理能力。这包括理解并生成代码等技能，让模型能像人一样，一步步思考并推算目标结果。
这里面考验的又不仅仅是代码和语言数据量，同样还强调模型的零样本生成能力和复杂推理能力。
具体而言，零样本生成指的是模型完成没见过的新任务的能力，而代码生成更是考验模型根据任务目标，一步步推理生成最终结果的能力。
最后便是沟通能力，即多语言文本生成、对话能力等。
ChatGPT之所以在沟通能力上有所进步，是因为它能学会基于之前的对话内容生成新输出，而并非局限于当前对话中、导致无法理解代词或暗含前文信息点的词。
这背后除了要求模型在预训练时的语言文本具有多样性，还必须增加如指令学习在内的任务，确保模型能更好地听懂人类对话中的要求，并准确合理地实现。
综上来看，ChatGPT在各方面都提出了不低的要求，国内玩家要想打造这样的模型，就必须在NLP乃至认知智能相关的算法上，实现深厚积淀。
相关文章
