1/0
赞!科大讯飞这个“聪明”的大模型在多项评测中获得第一!
上海长宁2023-09-04 19:20:06

近日,新华社研究院中国企业发展研究中心、《麻省理工科技评论》中国分别发布大模型评测报告,讯飞星火认知大模型均以总分第一的成绩荣登国产主流大模型测评榜榜首。

图片

根据新华社研究院中国企业发展研究中心发布的《人工智能大模型体验报告2.0》(简称《报告》),讯飞星火以总分1013分位列本次国产主流大模型测评榜首位,在四大评测维度中的智商能力和工具提效两个维度获得第一。

图片

四大评测维度分别为基础能力、智商能力、情商能力、工具提效。在智商能力方面,课题组分别从常识知识(20%)、逻辑能力(50%)和专业知识(30%)方面对大模型进行考量,讯飞星火排名第一。在工作提效方面,课题组重点在工具提效(50%)和生成创新(50%)方面进行考量,讯飞星火以350分排名第一并遥遥领先,《报告》认为,讯飞星火认知大模型拥有跨领域的知识和语言理解能力,能够基于自然对话方式理解与执行任务。从海量数据和大规模知识中持续进化,实现从提出、规划到解决问题的全流程闭环。

图片

无独有偶,《麻省理工科技评论》中国发布的大模型评测报告显示,在8个一级大类的600道题目的测试和盲评中,讯飞星火认知大模型V2.0在6个大类中得分率排名第一,以 81.5 分(百分制计)的成绩在本次评测中登顶,荣获“最聪明”的国产大模型称号。

大模型评测综合得分率

本次评测使用的测试集包含600道题目,覆盖了语言专项、数学专项、理科综合、文科综合、逻辑思维、编程能力、综合知识、安全性共8个一级大类。讯飞星火在编程能力、理科综合、逻辑思维、数学专项、语言专项和综合知识这6个一级大类中得分率排名第一,在此次评测中表现十分全面,尤其是在代码生成、数学能力、理科与逻辑等方面优势明显,是本次“最聪明的理科生”。

据了解,科大讯飞为应对国产大模型的涌现,在讯飞星火认知大模型的立项、发布和迭代升级的各个阶段,都进行了紧锣密鼓的推进工作。5月6日,发布讯飞星火认知大模型及其在教育、办公、汽车、数字员工等领域的应用落地;6月9日,突破开放式问答,并在数学能力和多轮对话能力上迭代升级;8月15日,科大讯飞发布“讯飞星火认知大模型V2.0版本”,此次最大的升级在于代码能力和多模态能力的大幅提升;10月24日,将全面对标ChatGPT,中文超越、英文相当,明年上半年对标GPT-4。

图片

科大讯飞上海总部是科大讯飞的区域总部之一,于2021年正式入驻位于长宁临空园区的中山国际广场。上海总部围绕1+X战略布局,深化“1”个科大讯飞上海人工智能研究院和“X”个创新业务场景,助力上海城市数字化转型。其中,讯飞上海人工智能研究院重点聚焦多语种核心技术研发。目前上海研究院多语种技术已覆盖全球60种语言语音合成、69种语言语音识别和168种语言机器翻译,覆盖全球50亿人口,成功解决华为手机等产品在海外市场因语音交互卡脖子的问题。

选稿:蒋昕婕
知识产权、免责声明以及媒体合作联系
继续了解
知识产权声明

【知识产权声明】

除本司(指上海东方网股份有限公司)另行声明外,本司网页及客户端产品(以下简称“本网”),包括但不限于东方新闻、翱翔、东方头条等,所涉及的任何资料(包括但不限于文字、图标、图片、照片、音频、视频、图表、色彩组合、版面设计、商标、商号、域名等)的知识产权均属本司和资料提供者所有。未经本司书面许可,任何人不得复制、转载、摘编、修改、链接、镜像或以其他任何方式非法使用东方网的上述内容。对于有上述行为者,本司将保留追究其法律责任的权利。

东方网、东方新闻、翱翔,以上均为本司享有权利之合法商标,未经本司书面授权,任何单位或个人不得使用上述商标,或将上述商标用作网站、媒体名称等。

【免责声明】

1、凡本网注明来源“东方网”或“东方新闻”或带有东方网LOGO、水印的所有内容,包括但不限于文字、图片、音频视频,版权均属本司所有,任何媒体、网站或其他任何形式的法律实体和个人未经本司书面授权均不得转载、链接或以其他方式复制传播。与我司签订有关协议或已经获得本司书面授权许可的媒体、网站或其他任何形式的法律实体和个人,应在授权范围内使用,且必须注明来源“东方网”。其目的在于传递更多信息,并不意味着本司赞同其观点或认可其内容的真实性。如果其他媒体、网站或其他任何形式的法律实体和个人使用,必须保留本司注明的“稿件来源”,并自负全部法律责任。如擅自篡改为“稿件来源:东方网”,本司将依法追究责任。

2、擅自使用东方网名义转载不规范来源的信息、版权不明的资讯,或盗用东方网名义发布信息,设立媒体账号等,本司将依法追究其法律责任。

3、鉴于本网发布主体、发布稿件来源广泛,数量较多,如因作者联系方式不详或其他原因未能及时与著作权拥有者取得联系,或著作权人发现本网转载了其拥有著作权的作品时,请主动来函、来电与本司联系,或与本司授权的中国文字著作权协会联系,提供相关证明材料,我方将及时处理。
中国文字著作权协会联系方式:
联系人:赵洪波 唐亚静
地 址:北京西城区珠市口西大街120号太丰惠中大厦1027-1036室
联系电话:010-65978917
邮 箱:wenzhuxie@126.com

4、本网所有声明以及其修改权、更新权及最终解释权均属本司所有。

【媒体合作】

本司为尊重保护著作权,鼓励有益于社会主义精神文明、物质文明建设的作品的创作和传播,促进互联网良性发展,本着平等互惠、资源共享的原则,诚邀各类媒体、网站、单位、个人与本网建立友好的合作关系。
媒体合作、内容转载请联系
联系人:杨老师
联系电话:021-22899781