近日，北京智源研究院举办大模型评测发布会，发布并解读国内外140余个开源和商业闭源的措辞及多模态大模型全方位能力评测结果。
同时，北京智源研究院院长王仲远见告《科创板日报》，本次评测，研究院首次联合了北京海淀教委进行大模型K12学科测试，对付理解当下大模型发展有非常强的辅导意义，也是与以往的各种大模型评测最紧张的差异。
《科创板日报》把稳到，评测比拟显示，模型在综合学科能力上与北京海淀学平生均水平仍有差距。
文生***评测前三名：OpenAI Sora、Runway、爱诗科技
北京智源人工智能研究院是人工智能领域的新型研发机构，于2018年11月，在科技部和北京市支持下，联合北京人工智能领域上风单位共建。去年6月，智源发布悟道3.0大模型系列，宣告进入全面开源的新阶段
《科创板日报》理解到，本次智源评测，分别从主不雅观、客不雅观两个维度稽核了措辞模型的大略理解、知识利用、推理能力、数学能力、代码能力、任务办理、安全与代价不雅观七大能力；针对多模态模型则紧张评估了多模态理解和天生能力。
据先容，在中文语境下，海内头部措辞模型的综合表现已靠近国际一流水平，但存在能力发展不屈衡的情形。在多模态理解图文问答任务上，开闭源模型平分秋色，国产模型表现突出。国产多模态模型在中文语境下的文生图能力与国际一流水平差距较小。多模态模型的文生***能力上，比拟各家公布的演示***长度和质量，Sora有明显上风，其他开放评测的文生***模型中，爱诗科技旗下国产模型PixVerse表现精良。
措辞模型主不雅观评测结果显示，在中文语境下，字节跳动豆包Skylark2、OpenAI GPT-4位居第一、第二，国产大模型更懂中国用户。在措辞模型客不雅观评测中，OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均进入措辞模型主客不雅观评测前五。
多模态理解模型客不雅观评测结果显示，图文问答方面，阿里巴巴通义Qwen-vl-max与上海人工智能实验室InternVL-Chat-V1.5先后领先于OpenAI GPT-4，LLaVA-Next-Yi-34B和上海人工智能实验室Intern-XComposer2-VL-7B紧随其后。
多模态天生模型文生图评测结果显示，OpenAI DALL-E3位列第一，智谱华章CogView3、Meta-Imagine分居第二、第三，百度文心一格、字节跳动doubao-Image次之。多模态天生模型文生***评测结果显示，OpenAI Sora、Runway、PixVerse、Pika、腾讯VideoCrafter-V2位列前五。
由此可见，在文生***领域，OpenAI Sora仍旧霸占第一，那么，国内外文生***之间的差距有多大？海内大模型何时能追平？
王仲远回应《科创板日报》称，目前海内对付多模态理解、多模态天生模型的评测尚处早期。评测方法、评测标准体系、评测技能会随着大模型发展速率进行不断迭代，这次测评结果仅代表当下。
“多模态模型的发展还处在非常初期的阶段，还不能代表中美多模态模型的真实差距。这个差距有可能短期之内会被拉大。此外，现在多模态模型评测的任务还比较单一，比如，只稽核了图文理解和问答，文生图、文生***也只是从天生的质量的有限维度进行评价“。王仲远称
关于多模态模型的未来发展，王仲远进一步表示，真正的多模态模型离不开措辞模型，并且未来和措辞模型的界线会越来越模糊，终极有可能领悟成一个模型，由于人类便是一套多模态的理解和天生机制的凑集体。这意味着，如果将来的多模态模型没有很高的知识水平、理解和创作能力，在未来就有可能被淘汰。当下文生图、文生***还处在美学、图文同等的层面，未来可能要重点稽核的是其天下模型的能力，即其能否捕捉住天下的运行规律，能否真的去理解天下背后的科学事理、数理逻辑等，以是对大模型的评测也须要快速迭代。
首次进行大模型K12学科测试
当前，大模型的发展具备了通用性，在逻辑推理能力上有显著提升，日趋靠近人脑的特色。
因此，在北京海淀区教委支持下，智源研究院联合与海淀区西席学习学校对齐学生测验办法，稽核大模型与人类学生的学科水平差异，个中，答案不唯一的主不雅观题，由海淀西席亲自评卷。
智源评测创造，模型在综合学科能力上与海淀学平生均水平仍有差距，普遍存在文强理弱的情形，并且对图表的理解能力不敷，大模型未来有很大的提升空间。
北京市海淀区西席学习学校校长姚守梅解读大模型K12学科测试结果时指出，在语文、历史等人文学科的考试中，模型欠缺对笔墨背后的文化内涵以及家国情怀的理解。面对历史地理综合题时，模型并不能像人类考生一样有效识别学科属性。相较于大略的英语题，模型反而更善于繁芜的英语题。解理科题目时，模型会涌现以超出年级知识范围外的方法解题的情形。当涌现无法理解的考题时，模型依然存在明显的“幻觉”。
投资界普遍认为，目前有三个最核心的AI+行业，一是医疗，二是金融，三是游戏。由于这三个行业公域数据量不大，都具备私域化的数据，能够基于私有化来支配。
那么，本次智源联合教诲机构进行大模型K12学科测试，是否认为教诲大模型是一个很好的赛道？
王仲远对《科创板日报》表示，大模型K12学科测试是为了评测大模型跨学科的能力，并不是为教诲行业做事。AI+金融行业稽核大模型的语文能力，医疗则须要大模型对数学、化学等学科的理解能力，而K12则是上述所有学科的综合。当K12来稽核大模型时，反而可以检测出其在哪些行业里具有潜力，比如某些模型在数理化上很强，那就可以判断出其能够为材料学、医疗等行业供应很好的做事。
