ChatGPT

ChatGPT不是从网络中获取数据进行问题的回答，本质是一种文字接龙游戏，会从随机区域中获取概率最大的数字进行拼凑

• 训练：可以比喻为你在考试前的疯狂复习，将知识装入大脑中
• 测试：可以比喻为你在考试，根据题目进行回答

ChatGPT的关键技术：预训练（Pre-train)

自督导式学习 基石模型

网络的每一段文字都可以进行训练，教机器做文字接龙

• 2018年的GPT-1 => Model 117M个参数
• 2019年的GPT-2 => Model 1542M个参数
• 2020年的GPT-3 => Model 175B个参数 训练资料Data 570GB

GPT-> （预训练 自督导式学习） -> ChatGPT

人工就是督导式学习，不用人工产生的资料就是自督导式学习

• 督导式学习：需要提供出正确的答案
• 增强式学习：只要👍和👎，给答案进行反馈对/错即可

研究方向

• 如何更准确提出需求
• 如何修正GPT的错误答案
• 如何检验，区分出GPT和人工的文字

社会化发展方向

• 依靠网络数据进行学习
• GPT提供问题，人工给出答案（只需要少量答案就可以很好修正GPT的答案，主要是让GPT明白人们想要什么答案）