当前位置:首页>组织风采

清华团队推出对话机器人ChatGLM 会中英双语 能问答对话

2023-03-2410:55:08 |

【深圳商报讯】(记者 涂竞玉)近日,在GPT-4发布的同一天,清华大学顶尖的NLP团队也公开了自研的类ChatGPT大模型——中英双语对话模型ChatGLM-6B,这是一个初具问答和对话功能的千亿中英语言模型,并针对中文进行了优化。需要注意的是,目前ChatGLM每轮对话最多只可以进行5个来回,每次最多输入1000字。

据官方介绍,ChatGLM参考了ChatGPT的设计思路,在千亿基座模型GLM-130B中注入了代码预训练,通过监督微调等技术来实现与人类意图对齐。

ChatGLM官方博客中提到,该模型基于General Language Model(GLM)架构,具有62亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署。ChatGLM-6B使用了和ChatGLM相同的技术,针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62亿参数的ChatGLM-6B虽然规模不及千亿模型,但大大降低了推理成本,提升了效率,并且已经能生成相当符合人类偏好的回答。

具体来说,ChatGLM-6B具备充分的中英双语预训练、优化的模型架构和大小、较低的部署门槛、更长的序列长度、人类意图对齐训练等特点,因此,ChatGLM-6B 具备了一定条件下较好的对话与问答能力。与此同时,ChatGLM-6B也存在模型容量较小、可能会产生有害说明或有偏见的内容、较弱的多轮对话能力、英文能力不足、易被误导等缺陷。

问起它和ChatGPT的区别时,它表示:“我和ChatGPT都是基于人工智能技术的语言模型,但我们在设计和应用场景上有所不同。ChatGPT是由OpenAl开发的,旨在与人类进行对话的大规模语言模型,其应用场景主要是回答人类的问题或者提供信息;而我是清华大学KEG实验室和智谱AI公司于2023年共同训练的语言模型GLM-130B,主要用于中文问答、提供建议和支持等日常交互场景。”

该团队称,一直在探索、尝试和努力。虽然GLM系列模型取得了部分成绩,但距离国际顶尖大模型研究和产品(比如OpenAI的ChatGPT及下一代GPT模型)还有明显差距。“中国大模型研究在原创算法、AI芯片和产业上的追赶与突破,需要大家一起努力,更需要对下一代AI人才的培养与锻炼。”


用户注册 忘记密码

用户注册 已有账号,去登录

所填用户名已被注册,请更换

所填邮箱已被注册,请更换

忘记密码 已有账号,去登录

所填邮箱尚未注册,立即注册