学术研究 学术研究
儒学动态
专家观点
项目成果
研讨动态
分中心建设 分中心建设
分中心活动
传播普及 传播普及
交流互鉴 交流互鉴
尼山金年会|金字招牌|官网首页·文明论坛
机关党建 机关党建
廉洁文化建设
金年会|金字招牌|官网首页·文明建设
学术期刊 学术期刊
《孔子研究》
《中国儒学年鉴》
儒学名家 儒学名家

【汽车之家】分不清9.11和9.9大小,暴露大模型逻辑推理能力短板

来源:金年会|金字招牌|官网首页  更新时间:2024-09-17 03:59:30

 

▲某款大模型关于“9.11和9.9两个数字哪个更大”的回答。图/某款大模型截图


一道小学数学题,大小大模成功难倒了超过一半的暴露板大模型。近日,型逻据第一财经报道,辑推经测试,理能力短汽车之家在“9.11和9.9两个数字哪个更大”这个基础的清和数学题上,国内外12个大模型之中只有4个答对了,大小大模剩下8个全都回答错误。暴露板在答错者中,型逻还包括了知名的辑推ChatGPT-4o。


数学相关的理能力短逻辑推理能力一直是当下大模型的短板。但一道小学生级别的清和数学题,却成了各家标榜成为“生产力升级”的大小大模大模型面前的绊脚石,这在公众舆论之中引发了不小争议。暴露板究其原因,是近期公众对于“大模型无所不能”的传统认知与大模型当下仍处在测试探索期的现实之间产生了冲突。


实际上种种迹象显示,大模型当前在纯数学问题上的天眼查真实能力应该就处在小学水平的区间。2023年底,OpenAI(美国人工智能研究公司)内部曾被曝光有一个代码为Q的“绝密大项目”,该项目正是致力于解决大模型在数学运算能力上的问题。


这一项目被曝光后在行业内引发了激烈争论。马斯克曾公开表示,“该项目对人类造成了威胁”。但经媒体报道,这样一个“威胁人类”的项目,其真实的虎扑纯数学逻辑运算能力只是小学生水平。


今年高考期间,有媒体同样用高考数学题“考验”了大模型,参与测试的7个大模型在高考数学上全部“不及格”,最高分也只有75分。


综合上述大模型真实的数学能力来看,这并不能理解为大模型有了高考数学75分的水平。更为准确的理解是,大模型是一个“不怎么懂数学运算、但懂得大量搜索文字资料分析”的主体,而75分是其可以通过资料搜集比对分析所能取得的最好成绩。


从这个角度看,外界认为大模型是“文科生”似乎也不算是一种偏见。当前用户可以感知到的大模型,是基于海量文本的相关性进行训练分析,从而达到文本生成的人类平均水平。


但是,除了文本的分析和生成之外,人类对信息的搜集分析处理中最重要的是推理能力,包括了逻辑推理、认知推理等。


数学运算是典型的逻辑推理能力。即根据前提条件给出符合逻辑或潜在逻辑关系的结论,而数学运算是用精确的语言和符号进行纯逻辑的推演,因此,如此理解的话,更能直观地感受到大模型的逻辑推理能力。


逻辑推理被认为是当前大模型最难攻克的一道关卡。而除了逻辑推理之外,对有限的碎片信息进行不断重组、搜寻以找到信息全貌等,类似于传统侦探推理小说所呈现的“碎片信息拼凑分析”,也在大模型当前的能力范围之外。


逻辑推理对于大模型的未来发展为什么重要?从应用场景上看,推理能力意味着可靠性和适配性的问题。


目前,大模型所展现的应用场景主要局限在资料分析、内容生成等领域,而在涉及数字分析、逻辑推演等行业领域,大模型的想象空间依然有限。很难想象,一个难以判断小数点后数字大小的大模型,能够在工业生产制造、金融计算等领域有广泛应用前景。


因此,国内外的大模型企业已经开始有意识地探索“如何训练大模型在特定条件下的推理能力”。此前所提及的OpenAI的内部项目,这几天也传出了新消息,该项目旨在提高大模型的“自主浏览和深度研究”能力,目前已经确认更名为“草莓”,并在行业内引发了进一步的讨论。


从消费者的角度看,如果希望大模型能够在数理分析、逻辑推理等领域成为有效助手,或许还有赖于大模型在推理训练上的下一阶段突破。但或许更值得思考的问题是:当大模型掌握了推理能力,那么,距离进一步攻破人类的思维活动或许就真的不远了。一些人对此有所担忧,人类真的做好准备了吗?


撰稿 / 王晓凯(媒体人)

编辑 / 马小龙

校对 / 杨利