最新中文大模型测评：百川智能 Baichuan 3 国内第一

4 月 30 日消息，从百川大模型官方公众号获悉，今日国内大模型评测机构 SuperCLUE 发布了《中文大模型基准测评 2024 年度 4 月报告》，报告选取国内外具有代表性的 32 个大模型 4 月份的版本，通过多维度综合性测评，对国内外大模型发展现状进行观察与思考。报告显示，百川智能的 Baichuan 3 在国内大模型中排名第一，智谱 GLM-4、通义千问 2.1、文心一言 4.0、Moonshot (Kimi) 等大模型位列其后。从全球范围来看，国外同行的 GPT-4、Claude3 得分更胜一筹。n5528资讯网——每日最新资讯28at.com

n5528资讯网——每日最新资讯28at.com

SuperCLUE 是国内通用大模型综合性测评基准，其前身是第三方中文语言理解测评基准 CLUE（The Chinese Language Understanding Evaluation）。不同于传统测评通过选择题形式的测评，SuperCLUE 纳入了开放主观问题的测评。通过多维度多视角多层次的评测体系以及对话的形式，模拟大模型应用场景，真实有效的考察模型生成能力。同时，SuperCLUE 通过构建多轮对话场景，更深层次考察大模型在真实多轮对话场景的应用效果，对大模型的上下文、记忆、对话能力全方位评测。n5528资讯网——每日最新资讯28at.com

据介绍，SuperCLUE 本次测评由十大基础任务组成，包括逻辑推理、代码、语言理解、长文本、角色扮演等，题目为多轮开放式简答题。评测集共 2194 题。n5528资讯网——每日最新资讯28at.com

测试结果显示，Baichuan3 的文科、理科能力均衡。在知识百科能力上 Baichuan 3 以 82 分的成绩超越了 GPT-4-Turbo，在所有 32 个参与评测的国内外大模型中排名第一。而在代表了大模型智力的“逻辑推理”能力上以 68.60 的成绩超越 Claude3-Opus，也力压一众国内大模型拔得头筹。此外，在计算、代码、工具使用能力上 Baichuan 3 表现同样不俗，均排名国内前三。n5528资讯网——每日最新资讯28at.com

n5528资讯网——每日最新资讯28at.com

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-4192-0.html最新中文大模型测评：百川智能 Baichuan 3 国内第一

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 高通骁龙 X Elite X Plus 战舰成型，赋能 AI PC 时代千帆竞渡

下一篇： OpenAI 增强内容合作，签署使用英国《金融时报》资料库训练 AI 模型