1/2
喜马拉雅珠峰语音生成技术实现5秒极速克隆 亮相云栖大会
东方网2023-10-31 16:46:16

聚集全球科技和数字领域的精英,共同探讨云计算和人工智能的未来发展趋势,2023云栖大会于2023年10月31日至11月2日举行。喜马拉雅将在本次大会上展示其最新的自研语音技术成果,包括喜马拉雅珠峰语音生成式大模型和第二代智能语音交互系统,为参会者展示AIGC与文娱音频产业深度融合的最新成果。

据悉,喜马拉雅珠峰语音生成式大模型是一项创新性技术,具备快速实现语音音色和风格定制的能力。这一技术支持丰富场景下的音色实时转换,为声音赋予了创造性的”变声"能力,宛如给声音涂上不同的“画皮”。此前,喜马拉雅珠峰实验室团队已通过AIGC方式创作了超过3.7万部有声书专辑,而AIGC作品的每日播放时长已超过250万小时。

据喜马拉雅首席科学家、珠峰实验室负责人卢恒介绍,“喜马拉雅语音生成式大模型目前已经取得了显著的突破,在音色定制方面实现了5秒内的‘极速克隆’声音。通过极少量的数据,该模型能够克隆出具有90%相似度的基本音色,并在短短的10秒内快速生成定制音频。未来,这项技术在短视频创作、数字人配音、人机交互对话、名人IP复刻等领域有望发挥出巨大的潜在价值,有效解决商业场景中的沟通需求痛点。”

喜马拉雅珠峰实验室资深产品专家吕睿韬现场介绍到:该语音大模型采用基于语音向量和语义标记的新型语音编解码器,其中语音向量包含用于高保真语音重建的声学细节,而语义标记(LLM)则侧重于语言建模的语音的语言内容,最终实现高效生成最富有语言表现力和最高保真度的语音(对话)内容。应用场景上,该语音大模型可应用于语音内容生成、口语对话、语音音色实时转换、说话风格迁移、语音到语音跨语种翻译、说话人匿名化等各种任务。

记者了解到,喜马拉雅还将在云栖大会上展示其第二代智能语音交互系统,这一系统以阿里云的“通义千问”大模型为基础,以喜马拉雅儿童形象代言人“波波”为中心,增强了他的自然连贯对话能力,凸显了“波波”这一IP形象的特征。该智能语音交互系统已通过喜马拉雅儿童APP和喜马拉雅提供服务,波波球为家庭亲子用户提供陪伴对话功能。

作者:熊芳雨
知识产权、免责声明以及媒体合作联系
继续了解
知识产权声明

【知识产权声明】

除本司(指上海东方网股份有限公司)另行声明外,本司网页及客户端产品(以下简称“本网”),包括但不限于东方新闻、翱翔、东方头条等,所涉及的任何资料(包括但不限于文字、图标、图片、照片、音频、视频、图表、色彩组合、版面设计、商标、商号、域名等)的知识产权均属本司和资料提供者所有。未经本司书面许可,任何人不得复制、转载、摘编、修改、链接、镜像或以其他任何方式非法使用东方网的上述内容。对于有上述行为者,本司将保留追究其法律责任的权利。

东方网、东方新闻、翱翔,以上均为本司享有权利之合法商标,未经本司书面授权,任何单位或个人不得使用上述商标,或将上述商标用作网站、媒体名称等。

【免责声明】

1、凡本网注明来源“东方网”或“东方新闻”或带有东方网LOGO、水印的所有内容,包括但不限于文字、图片、音频视频,版权均属本司所有,任何媒体、网站或其他任何形式的法律实体和个人未经本司书面授权均不得转载、链接或以其他方式复制传播。与我司签订有关协议或已经获得本司书面授权许可的媒体、网站或其他任何形式的法律实体和个人,应在授权范围内使用,且必须注明来源“东方网”。其目的在于传递更多信息,并不意味着本司赞同其观点或认可其内容的真实性。如果其他媒体、网站或其他任何形式的法律实体和个人使用,必须保留本司注明的“稿件来源”,并自负全部法律责任。如擅自篡改为“稿件来源:东方网”,本司将依法追究责任。

2、擅自使用东方网名义转载不规范来源的信息、版权不明的资讯,或盗用东方网名义发布信息,设立媒体账号等,本司将依法追究其法律责任。

3、鉴于本网发布主体、发布稿件来源广泛,数量较多,如因作者联系方式不详或其他原因未能及时与著作权拥有者取得联系,或著作权人发现本网转载了其拥有著作权的作品时,请主动来函、来电与本司联系,或与本司授权的中国文字著作权协会联系,提供相关证明材料,我方将及时处理。
中国文字著作权协会联系方式:
联系人:赵洪波 唐亚静
地 址:北京西城区珠市口西大街120号太丰惠中大厦1027-1036室
联系电话:010-65978917
邮 箱:wenzhuxie@126.com

4、本网所有声明以及其修改权、更新权及最终解释权均属本司所有。

【媒体合作】

本司为尊重保护著作权,鼓励有益于社会主义精神文明、物质文明建设的作品的创作和传播,促进互联网良性发展,本着平等互惠、资源共享的原则,诚邀各类媒体、网站、单位、个人与本网建立友好的合作关系。
媒体合作、内容转载请联系
联系人:杨老师
联系电话:021-22899781