极客之家 > 聚焦 > 正文

豆包提出全新稀疏架构推理成本较MoE最高可降83%

来源: 科技快报网 时间:2025-02-13 07:33:38 阅读量:9797   

近期,字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2—6倍。

更重要的是,该架构能够将推理成本最高降低83%。

该研究还揭示了新架构的Scaling Law,证明其不仅具备优异的Scaling特性,更在性能上超越了MoE。

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

line
Copyright @2010- home.jikefix.com. All Rights Reserved 极客之家 版权所有  备案号:皖ICP备2023007381号
本站所有资源来源于互联网网友交流,只供网交流所用、所有权归原权利人,如有关侵犯了你的权益,请联系告之,我们将于第一时间删除!邮箱:bgm1231@sina.com