高考遮掩种种学科及题型，同期因其开考前的“绝密性”开云体育(中国)官方网站，被视作中国最具巨擘的磨练之一。这一面向东谈主类瞎想的高难度抽象性测试，现时盛大被商酌者用于覆按大模子的智能水平。
在前不久高考已毕后，上海东谈主工智能施行室旗下司南评测体系OpenCompass考取了7个大模子进行高考“语数外”全卷智商测试。6月19日， OpenCompass发布了首个大模子高考全卷评测末端。
语数外三科加起来的满分为420分，这次高考测试末端表露，阿里通义千问2-72B排行第一，为303分，OpenAI的GPT-4o排行第二，得分296分，上海东谈主工智能施行室的书生·浦语2.0排行第三，三个大模子的得分率均逾越70%。来自法国大模子初创公司的Mistral排行末尾。
这次测试的模子隔离来自阿里巴巴、零一万物、智谱AI、上海东谈主工智能施行室、法国Mistral的开源模子，以及来自OpenAI的闭源模子GPT-4o。施行室示意，因无法笃定闭源模子的更新时期，为公谈起见，这次评测莫得纳入商用闭源模子，仅引入GPT-4o动作评测参考。这次礼聘参与高考的“考生”均在高考前（2024年4月-6月）开源，幸免了“刷题风险”。
从末端来看，大模子的语文、英语磨练水平盛大可以，但数学皆不足格，最高分也唯有75分，来自书生·浦语2.0，其次是GPT-4o，得分73分。语文最高分是通义千问，英语最高分是GPT-4o。
在数学方面大模子还有很大的提高空间。数学关乎复杂推理联系智商，这是大模子盛大濒临的清苦，亦然大模子在金融、工业等条件可靠的场景落地需要的要道智商。
上海东谈主工智能施行室领军科学家林达华此前在采访中对第一财经先容，复杂推理关系到落地讹诈时大模子的可靠性，例如在金融这么的场景下不行在数字上有过失，会对数学上的可靠性有较高的条件。另外跟着大模子干与商用，若要分析一家公司的财报，以至是工业界限要去分析一些时期文档，这时数学方面的打算智商就会成为一个壁垒。
“现时好多大模子的讹诈场景是客服、聊天等等，在聊天场景一册郑重瞎掰八谈影响不太大，但它很难在十分严肃的交易局势去落地。”林达华此前示意。
关于这次测试细节，上海东谈主工智能施行室先容，评测继承世界新课标I卷，“语数外”三科全卷测试，包括客不雅题与主不雅题。收获由具备高考评卷训诲的淳厚匿名东谈主工判分，阅卷运转前，阅卷西宾未被陈说答卷均由模子生成，使阅卷西宾彻底以面对信得过考生的圭臬评判回话成果。
值得留神的是，大模子犯失误的方法和东谈主类考生有相反，从抓行上来看阅卷淳厚们不彻底相宜给大模子评分，因此存在有题目误判的可能。施行室示意，每个题目皆邀请了至少三位淳厚评阅取中分，团队对分差较大的题目还进行了再次审核，靠近高考信得过阅卷圭臬。
施行室示意，在打分前，淳厚们并未被陈说谜底由大模子生成，但由于有的模子会存在彻底不睬解题意导致乱答、相通生成、回话更像领会而非解答的问题，淳厚们在阅卷经由中基本皆会和团队说明这些情况是否是平素情况，团队会条件淳厚将离谱的失误班师视为答题失误，领会类型的回话以是否包含正确解题经由动作独一准则。
在完成通盘大模子答卷的评卷责任后，阅卷西宾被陈说所评“考生”的信得过身份为大模子。商酌东谈主员同期邀请各科西宾对大模子进展进行了全体分析，为模子智商提高战略提供参考。
语文方面，淳厚们觉得，模子的当代文阅读一语气智商盛大较强，然则不同模子的文言文阅读一语气智商差距较大。大模子作文更像问答题，天然有针对性但缺少修饰，着实不存在东谈主类考生皆会使用例如论证、援用论证、名东谈主名言和东谈主物素材等手法 。大批模子无法一语气“本色”“喻体”“暗喻”等语文办法。言语中的一些“潜台词”，大模子尚无法彻底一语气。
在数学试卷上，淳厚们发现，大模子的主不雅题回话相对凌乱，且经由具有蛊卦性，以至出现经由失误但得到正确谜底的情况。大模子的公式顾忌智商较强，然则无法在解题经由中纯真援用。
英语则全体进展细腻，但部分模子由于不相宜题型，在七选五、完形填空等题型得分率较低。大模子英语作文盛大存在因超出字数规章而扣分的情况，而东谈主类考生多因为字数不够扣分。
此外，一些淳厚提倡，由于一齐回话莫得卷面，是以在作文的评判上会存在1-2分的过失。
举报 第一财经告白和谐，请点击这里此内容为第一财经原创，文章权归第一财经通盘。未经第一财经籍面授权，不得以任何方法加以使用，包括转载、摘编、复制或树立镜像。第一财经保留讲究侵权者法律包袱的权益。 如需取得授权请商酌第一财经版权部：021-22002972或021-22002335；banquan@yicai.com。 文章作家
刘晓洁
联系阅读
OpenAI CEO谈AI：中国将有独到的大模子，大众10-20个大模子能“存活”奥尔特曼在对话中瞻望，中国将会领有我方独到的大言语模子，与世界其他地区的模子不同。
06-17 12:21
蔡崇信“预言”微软和Open AI异日可能分谈扬镳：AI和云麇集很弘远“微软和Open AI是两家孤立的公司，现时树立了细致的和谐，但孤立也意味着他们异日可能会分谈扬镳。”
06-16 17:02
谷歌工程师品评OpenAI，称其减速AGI商酌进展5到10年肖莱品评 OpenAI 激勉了对大言语模子的炒作，使得其他潜在的 AGI 商酌界限被疏远。
06-12 16:53
苹果Siri“换脑”接入ChatGPT，发布新功能后苹果股价却跌了1.91%苹果强调了接入大模子后的阴私保护，但马斯克对此示意质疑。
06-11 07:34
AI周报| 英伟达市值整夜涨了“一个英特尔”；OpenAI、Google 职工发布公开信训诲AI风险斯坦福AI神态作家对抄袭中国大模子致歉；英伟达推出芯片迭代时期表开云体育(中国)官方网站。
06-09 13:51 一财最热 点击关闭