AI应用将怎样驱动模子鼎新？

作家｜王世昕‍‍‍

剪辑｜王博‍‍‍‍‍‍

若是给你一次与十年后我方对话的契机，你会思问些什么？

在火山引擎冬季Force原能源大会的现场，你就能获取这么一个契机：只需站在电话前，按下按钮，对着发话器提问，然后再按下按钮收尾灌音，恭候几秒钟，你眼前的电话就会响起，发话器那头便将传来你十年后的声息，这个“十年后的你”将躬行请问你刚刚淡薄的问题，并与你伸开一场时空对话。

已毕这一科幻场景的不是时光机，而是豆包语音大模子。2024年12月18日，火山引擎冬季Force原能源大会AI应用专场上，字节突出语音产研阐扬东谈主叶顺平防止先容了豆包语音交互的全新才气，其中的大模子声息复刻时期，恰是撑合手“跨时空对话”玩法的中枢时期。通过豆包语音大模子的超强语音复刻才气，通过一句语音输入，大模子就能够快速、高质料复现你的音色与话语面貌，同期还会在声息中加上一些“沧桑感”，一个十年后的“你”就这么在模子中降生了。

只是几个月时分里，国产模子就依然不错已毕如斯意旨的玩法，这不禁让咱们关于AI应用有了更多的遐思。

关于模子厂商们来说，从“卷模子”到“卷应用”的重点振荡正在切实的发生着。跟着大模子才气的显耀普及，AI原生应用在特定垂直鸿沟的落地日益增加，访佛于移动互联网期间App的迅猛发展，大模子的竞争也初始向应用层面蔓延，罕见是在互动文娱、营销服务等面向消耗者的C端场景中，AI正在激发一场变革，这对模子的才气淡薄了新的条目。

与“百模大战”时期不同，模子发展的逻辑依然在发生变化。关于主流厂商而言，普及模子才气依然是中枢任务，但重点不再是单纯的限制蔓延或参数竞争，而是将模子的确融入到实质应用场景中，并在实质应用中不停优化和普及模子的性能。

在2024年火山引擎冬季Force原能源大会上，「甲子光年」也察觉到了行业正在发生的变化。恰当市集趋势，火山引擎依然初始布局AI应用鸿沟，并合手续围绕具体应用场景普及其系列模子的才气，而豆包语音大模子恰是最好案例之一。

1.作念最会“换取”的家具，谋略：语音模子No.1

在2024火山引擎冬季Force原能源大会上，豆包语音大模子无疑是重头戏之一。业界宽广合计，语音交互是AI模子已毕落地的关节进口。2024年5月，OpenAI推出的端到端语音交互模子GPT4o，以其超卓的语音交互才气在消耗者端引起了芜俚的参议，这记号着语音交互已成为继文本对话之后，AI模子与应用之间最挫折的东谈主机交互模式之一。

另一方面，已毕及时语音交互亦然AI应用生态的真实需求。在应用方面，语音模子的落地场景特别多，需求亦然真实存在，除了比较进修的AI助手与客服场景，有声书、捏造数字东谈主、在线翻译，以及无窒碍赞成等场景均需要语音功能的调用，以火山引擎背靠字节系生态为例，抖音、飞书、番茄演义、剪映等家具的真实业务也需要更好的声息模子来骄矜需求。于是豆包语音大模子在通盘2024年已毕了飞快进化。

之是以“死磕”语音交互，归根结底照旧出于AI应用矩阵的需要。在应用方面，语音模子的落地场景特别多，需求亦然真实存在，除了比较进修的AI助手与客服场景，有声书、捏造数字东谈主、在线翻译，以及无窒碍赞成等场景均需要语音功能的调用，而在字节系生态中，抖音、飞书、番茄演义、剪映等家具的真实业务也需要更好的声息模子来骄矜需求。

叶顺平先容，字节系应用里面有突出50个语音干系的业务场景，火山引擎必须领有一个强悍的语音大模子，同期这些真实的业务场景也将保证语音大模子将在千锤百真金不怕火中快速成长。

“咱们语音团队的行状即是，通过多模态的语音时期，让内容分娩、语音交互变得愈加苟简、千里浸、多元化。”叶顺平说，于是，豆包语音大模子在短短几个月内初始飞快进化。

字节突出语音团队将语音大模子分为三大部分：语音合成、语音识别，与声息复刻。苟简来说即是科罚大模子在语音输入、输出、学习三大行为的问题。

针对“输入”这一行为，这一次的豆包语音识别模子在识别准确率方面，在多个公开测试聚合，与国内公拓荒布的语音识别大模子比较，豆包语音识别的演叨率镌汰了 10%-40%；在语音雄厚方面，其不错应用一系列高下文信息进行推理，能带来突出 15% 的调回率普及；在场景上，保合手高准确率的同期，豆包语音识别支合手一个模子识别浮浅语和多种中国方言，包括上海话、闽南语，四川、陕西、粤语等，不错的确作念到对国内主流方言的精确识别。

这意味着，豆包语音模子不错精确识别大多数的华文语言内容，同期也对独着名词、高下文等内容有了更深档次的雄厚，大模子逐步被赋予了“更聪惠”的识别才气。

在难度最大的语音合成方面，全新的豆包语音合成模子能够凭据高下文，智能展望文本的神气、语调等信息，并生成超自然、高保真、个性化的语音，以骄矜不同用户的个性化需求。相较于传统语音合成时期，豆包语音合成大模子能输出在自然度、音质、韵律、气口、情怀、口吻词抒发等方面均有阻碍。

以难度较大的“神气”合成为例，比较以往通过东谈主工录制多种神气音色的面貌，豆包语音合成不错通过生成文本平直合成不同的神气，用叶顺平的话来说，即是越来越像“真东谈主”。而大模子还能使用260款立场音色，用户不错恣意选拔我方喜爱的声息，的确作念到即选即用。

还有即是开篇提到的豆包声息复刻时期。用户在盛开环境中，只需录制5s数据，即可即时完成对用户音色、话语立场、口音和声学环境音的复刻。同期由于大模子自己具有幻思的特征，体目下效率上即针对显露力较强/韵律升沉大的音色并吞句文本屡次合成可能效率会不一样，聚拢多语种复刻与低老本的调优，不错让用户凭据使用场景愈加天真是使用大模子的复刻才气。

从识别，到合成、复刻，豆包语音大模子正在建造一个全新的模子才气矩阵，让东谈主机换取的确已毕超自然、低时延的效率，从而让用户领有更千里浸式的体验，这也让语音模子才气不错的确应用于更多元的场景之中。叶顺平在演讲中，屡次先容了语音大模子的里面实战案例，关于模子“落地”的嗜好，依然刻进了火山引擎家具改进的基因里。

2.模子才气拆解，时期的最终谋略仍是需求

拆解字节系模子家具与AI应用的极速发展不错发现，一方面不错将其归功于字节突出业务生态带来的自然上风；另一方面，这种极速发展与火山引擎模子时期升级的战略强干系：尽管AI期间信奉的是Scaling law与智能剖析，但移动互联网期间的App极速迭代模式仍在阐发撰述用：用户在哪些最主流的垂直场景存在应用场景，就针对这些场景作念针对性的模子才气升级。

回到语音模子的竞争中，豆包语音大模子近期获取了信通院语音大模子评估与华文原生语音合成测评基准（SuperCLUE-TTS）的双重认证，豆包语音模子的综合才气被信通院评比为首家「引颈级」语音大模子，同期也拿下了SuperCLUE-TTS华文原生「语音合成」测评基准榜单与声息复刻榜单的冠军。

从时期角度来说，两大巨擘评测的适度无疑认证了豆包语音大模子的模子才气，在华文原生鸿沟，豆包如实依然处于发轫地位。值得关怀的是，信通院基于《语音大模子时期才气条目》关于豆包的评价：首家引颈级。在AI应用专场上，中国信通院云野心与大数据相关所副主任董恩然也现身现场，为不雅众领略了信通院的评测表率——什么是真碰巧的语音大模子。

在信通院看来，语音大模子的评测主要包括以四大中枢功能为主要评测表率的时期才气板块，以及语音模子使用流程中波及到十方面的服务进修度板块。“能听、会说、够懂、好用。”董恩然这么笼统评测表率，时期才气与干系参数的拔尖是中枢，但代表着“好用”的服务进修度也相通挫折。

最强时期与应用场景的深度聚拢栽植了「引颈级」的豆包语音大模子。

以语音合成为例，这一次之是以能够已毕超自然的合收效率，是因为豆包语音合成模子使用了最新的Seed-TTS模子架构，通过语音书号token化、自总结模子生谚语音特征、扩散模子生谚语音书号等一系列时期，甚至语音合成已毕高褂讪性，与更高的合成质料。之是以在超自然、高褂讪方面下此苦功，恰是聚拢了聊天伴随、音频生成、数字东谈主播报、语音客服等场景靠近的真实效率问题，关于这些场景来说，输出的质料、褂讪性与体验平直挂钩，是以豆包语音合成作念了针对性升级。

以此次专场先容的营销服场景为例。在语言模子+语音模子+视觉模子的加合手下，智能客服依然不错已毕更智能的雄厚与输出才气，但针对语音输出问题，高度拟东谈主化、克服幻觉的需求真实存在，因此语音合成自然则然需要走向更具真东谈主特征的标的，以骄矜高语音输出的需求。

而豆包语音合成模子的超自然音色定制功能，则是深度洞悉了C端用户与企业用户的需求，目下捏造脚色、互动文娱依然成为AI应用的主流场景，该功能恰是通过大模子的超强合成才气为语音内容生成解锁分娩力，的确开释声息IP的更多可能，同期依托火山引擎的全定制托管模式，让模子才气低门槛、高服从的赋能客户。

语音识别模子的升级就更为实质，直指传统语音识别靠近的精确度问题与复杂场景难识别的问题。通过分阶段的大限制锤真金不怕火和 LLM 中高下文感知功能，豆包语音识别能够骄矜互动文娱、客户服务、会议等各类应用场景下，对ASR的需求转而要适合不同的口音、语言、鸿沟学问、环境插手等，已毕超高识别率与多方言、语种识别才气。语音识别模子不仅能鞭策AI应用进一步与用户进行交互，更能为会议记载、语音输入、字幕转写等真实场景普及效率。

语音模子才气的综合普及，必将带来新的应用需求。以字节突出近期推出智能AI耳机Ola friend为例，高可用与高识别率加上高质料的多轮对话，让AI的可用性大大提高，“内置”在耳机里的AI一又友，或者可能成为未来鞭策AI硬件芜俚应用的驱能源之一。

不错提防到的是，这些全新上线的功能，都依然经验了字节突出里面50+业务的“千锤百真金不怕火”，是的确被考据事后的“实战大模子”。业务打磨除了能够匡助模子找寻应用真实落地标的除外，这么的引申也能确保模子走向家具化，在参加市集后的确作念到极速落地。

叶顺平也强调，豆包语音大模子也将不停进化，在不远的未来已毕端到端的超自然语音交互。不错料思的是，这必将再度改进用户体验，豆包语音大模子也将开拓更广袤的应用场景。

3.多模态进发，建造AI应用鼎新驱能源

豆包语音大模子的发展历程是一个窗口，关于火山引擎来说，模子才气与AI应用之间的互相影响鞭策着大模子的演进。而换一个角度，咱们则能看到更具无餍的一面：火山引擎仍旧复古了字节突出的高效率研发模式来作念模子家具，同期也在进行大而全的布局。

在通盘冬季Force原能源大会上，从基座语言模子到语音模子、视觉模子，再到应用拓荒平台，火山引擎把目下不错“拿得脱手”的消耗级大模子家具尽数掏出，其广度简直袒护了AI应用的所有鸿沟。关于火山引擎来说，模子鼎新的限制就等于应用鼎新的限制，他们并不骄矜于某几个市集，而是的确要建造起一个属于字节突出的AI应用生态。

而多模态大模子的发展无疑将是建构应用生态的挫折基底。12 月 19 日，智源相关院发布了FlagEval「百模」评测适度，在国表里 100 余个开源和贸易闭源的语言、视觉语言、文生图、文生视频、语音语言大模子综合及专项评测中，豆包语言大模子在华文语言模子方面斩获榜首，并在视觉语言、文生图的比拼中位居前线。

这一次全新的语音大模子也再次解释了火山引擎在多模态方面的进展。更挫折的是，在深度聚拢字节里面业务之后，多模态模子正在鞭策越来越多鼎新应用格式与意旨玩法的降生。

在大会的主论坛行为，一个豆包语音大模子的“伴生模子”引起了咱们的提防，它即是豆包音乐模子。关于抖音、剪映、汽水音乐等字节系应用，音乐内容是需求量雄伟的内容之一，同期亦然大都C端用户在原创、二创的内容。基于这一洞悉，全新的豆包音乐模子应时而生，其依然不错完成包括前奏、主歌、副歌、间奏、过渡段等竣工的3分钟全曲创作，同期不错针对歌词进行局部修改，并能在原有旋律的节拍框架内进行适配。

更艰巨的是，这种生成更具连贯性，通过对旋律、节拍、和声等信息的合理当用，音乐模子的创作不错使全曲在立场、情怀和音乐逻辑上保合手一致。

在大模子的鞭策下，咱们的灵感不错更平直有用的被呈目下音乐创作上，聚拢其他多模态模子才气，全新的玩法与应用也被创作出来在VIVO全新OriginOS 5系统中，相册的“时光剪影”功能就深度聚拢了豆包音乐模子才气，它不错基于图片，让豆包音乐模子凭据用户提供的素材进行AI词曲创作，同期也提供版权音乐、AI纯音乐等多种音乐选拔，为用户生成惟一无二的个性化大片。

尽管这种玩法目下看来仍以“兴趣兴趣”为主，但不错料思的是，在音乐讲授、告白营销等鸿沟，这一模子才气的应用也将进一步普及内容创作的效率，从而自若分娩力，让从业者不错把更多元气心灵放在创意拓荒上，普及营销内容的质料。

而在“有用”这少量上，火山引擎的视觉模子走在更前线。在阻碍了文生图鸿沟存在的生成内容不精确、立场不连贯等问题后，火山引擎依然找寻到了目下行业的确需求的应用场景：专科图像剪辑。

此前关于大多数的文生图模子来说，图像剪辑的任务关节在于取得「保管原始图像」和「生成新图像」之间的最优均衡，而这一次，豆包文生图模子的升级是基于文生图模子零样本褂讪跟从用户需求剪辑图片，同期增强了反馈才气和保合手才气。淡薄SeedEdit框架，不引入新的参数将图像生成扩散模子退换为图像剪辑模子，加上一键海报等功能，的确让文生图已毕“家具化”。

豆包不仅要为图像生成提供天马行空的思象，更要让生成更可控，更专科，通过高精度的指示雄厚，与高质料的剪辑效率，让高效率的创作与鼎新成为常态。目下，模子也依然在智能创作云、炉米Lumi平台等AI应用中初始了落地引申，不管是营销服场景，照旧专科瞎想平台，AIGC也将阐发全新的作用。

正如董恩然的演讲中所提到的，咱们正见证着模子时期从单一的时期价值向更芜俚的综合价值振荡，时期进步自然关节，但的确的鼎新每每源于科罚实质问题的流程。将鼎新的AI时期应用于本质宇宙的挑战，是估量模子才气发展的中枢表率，这少量也指示咱们，在AI应用鸿沟，时期阻碍与实质场景的引申相反相成。

而火山引擎也秉合手着这一战略不停前进。凭据IDC发布的数据，火山引擎在生成式AI IaaS（GenAI IaaS）鸿沟市集份额位居第二；在AI应用市集，豆包等字节系AI应用也势头正猛，紧紧地占据着榜单的前线位置。‍

这或者即是火山引擎不停强调大模子从“兴趣兴趣”转向“有用”的深层原因。扎根场景，驱动鼎新，解任着这一皆径，火山引擎也正在谋求建造竣工的家具生态。AI应用或者将成为大模子进化的下一个推能源，关于All in AI的企业们来说，这更是一个艰巨的契机：迅速占领可见的垂直市集，找寻我方的生态位，或者才是竞争的关节。

（封面图及文中配图开头：火山引擎）体育游戏app平台