近日开yun体育网，我国“深度求索”公司发布的具备深度想考和推理才气的开源大模子DeepSeek-R1受到了全寰球的眷注。

在DeepSeek-R1之前，好意思国OpenAI公司的GPT-o1，Athropic公司的Claude，Google公司的Gemini，都堪称具备了深度想考和推理才气。这些模子在专科东谈主士和吃瓜网友的丰富多采的测试中，发扬的确是惊采绝艳。

非常引起咱们兴味的，是Google的专用模子AlphaGeometry在公认高难度的海外奥林匹克数学竞赛中取得了28/42的收获，取得银牌。学生时期咱们也战役过奥数，深知能在此类海外奥赛中获银牌的选手，无一不是从小就体现出极度数学天资，且一齐戮力教练的高东谈主。八成达到这个水平的AI，称其为具备了浩大的想考才气并不外分。

自打那之后，咱们就一直好奇，这些浩大的AI，它们的物理水平又如何？是不所以后就毋庸招询查生和博士后了？

1月17日，中国科学院物理地点江苏省溧阳市举办了“天目杯”表面物理竞赛。咱们命题组完成了这份试卷的出题使命。七谈题除一谈外，都不是从现成的题库或考题中改编节选的，咱们三个对这套试卷比较安静，以为它既不像传统闇练题相似盯着个别常识点考，也不像高中竞赛题相似需要许多妙技和熟练度，而更像内容科研中遭逢的具体期间问题。

竞赛前的某天，咱们和几个一又友一皆吃饭，其中一位AI的重度用户知谈了咱们出了这份题，就问有莫得测试过AI的发扬？咱们以为这个提议很有兴趣，于是决定在竞赛后，测试几个有代表性的大模子。

所谓来得早不如来得巧。1月20日，当咱们刚规模竞赛回到北京，正赶上DeepSeek-R1发布引爆了AI圈，它当然成了咱们测试的首选模子。此外咱们测试的模子还包括：OpenAI发布的GPT-o1，Anthropic发布的Claude-sonnet。底下是咱们测试的方式：

1.通盘测试由8段对话完成。

2.第一段对话的问题是“开场白”：打法需要完成的任务，问题的口头，提交谜底的口头等。通过AI的回应东谈主工阐述其斡旋。

3.交替发送全部7谈题标的题干，在收到回应后发送下一谈题，中间无东谈主工响应宗旨。

4.每谈题标的题干由笔墨描绘和图片描绘两部分构成（第三、五、七题无图）。

5.图片描绘是纯文本方式，描绘的文本全部生成自GPT-4o，经东谈主工校对。

6.每个大模子所拿到的笔墨材料是皆备换取的。

上述经由后，关于每个大模子咱们取得了7段tex文本，对应于7谈问题的解答。以下是咱们遴荐的阅卷方式：

1.东谈主工退换tex文本至不错用Overleaf器用编译，网罗编译出的PDF文献行为答卷。

2.将4个模子的7谈问题的解答远离发送给7位阅卷东谈主构成的阅卷组。

3.阅卷组与“天目杯”竞赛的阅卷组皆备换取，且每位阅卷东谈主负责的题目也换取。例如：阅卷东谈主A负责统共东谈主类和AI答卷中的第一题；阅卷东谈主B负责统共东谈主类和AI答卷中的第二题，等等。

4.阅卷组汇总统共题目得分。

成果如何呢？请看下表。

成果点评：

1.DeepSeek-R1发扬最佳。基础题（前三题分数拿满），第六题还得到了东谈主类选手中未见到的满分，第七题得分较低似乎是因为未能斡旋题干中“评释”的含义，只是重述了待评释的论断，无法得分。检验其想考经由，是存在不错给经由分的武艺的，但终末的谜底中这些武艺都莫得体现。

2.GPT-o1总分与DeepSeek进出无几。在基础题（二题、三题）中有野心荒谬导致的失分。比拟于DeepSeek，o1的答卷更接近于东谈主类的作风，因此以评释题为主终末一题得分稍高。

3.Claude-sonnet可谓“马失前蹄”，在前两题中连出昏招打了0分，但后续发扬跟o1极度接近，连扣分点都是访佛的。

4.要是将AI的收获与东谈主类收获比拟较，则DeepSeek-R1不错干预前三名（获特优奖），但与东谈主类的最高分125分仍有较大差距；GPT-o1干预前五名（获特优奖），Claude-sonnet前十名（获优秀奖）。

终末想聊几句阅卷的主不雅感念。领先是AI的想路是确切好，基本上莫得无法下手的题，以致许多时分一下子就能找到正确的想路。但跟东谈主类不同的是，它们在有正确的想路后，会在一些很浮浅的荒谬内部打转。比如通过看R1的第七题想考经由，就发现它一早就知谈要用简正坐标来作念，能猜测这一步的考生简直100%求解出了正确的简正坐标（一个浮浅的矩阵对角化汉典），关联词R1似乎是在反复的测度和试错，到终末也莫得得到简正坐标的抒发式。还有等于统共的AI似乎都不睬解一个“严实”的评释究竟意味着如何的条目，似乎认为能在面容上凑出谜底，就算是评释了。AI如同东谈主类，也会出现许多“或然”荒谬。比如在认确切统一测试前，咱们擅自尝试过屡次，许多时分Claude-sonnet不错正确解出第一题的谜底，但认真测试的那次它就偏巧作念错了。出于严谨，咱们也许应该对归拢谈题测试屡次然后取平均，但真实是有点吃力……

开yun体育网