首页 - 科技 > 腾讯发布开源MoE大语言模型Hunyuan-large：总参数398B为业内最大！

腾讯发布开源MoE大语言模型Hunyuan-large：总参数398B为业内最大！

发布于：2024-11-05 作者：凹凸曼阅读：29

腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。

Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为7T、最大上下文长度为256K、词表大小为12.8w。

在技术创新方面，Hunyuan-large通过高质量的合成数据来增强模型训练，弥补了自然数据的不足。

其中，该模型预训练支持处理高达256K的文本序列，大幅提升了长文本上下文的处理能力，能够更高效地完成长文本任务。

腾讯发布开源MoE大语言模型Hunyuan-large：总参数398B为业内最大

据了解，Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异，在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先，超越了Llama3.1和Mixtral等一流开源模型。

此外，腾讯还宣布将推出自研的长文评测集“企鹅卷轴（PenguinScrolls）”，以填补行业在真实长文评测集上的空白。

企鹅卷轴基于公开的金融、法律、学术论文等长文本构建，文本长度从1K到128K不等，覆盖深度阅读理解和长文推理任务。

腾讯发布开源MoE大语言模型Hunyuan-large：总参数398B为业内最大

扫一扫关注我们

上一篇：华为Mate 70又上热搜网友们迫不及待想买！

下一篇：达墨最后一次声明：没有跑路售后正常！

王楚钦拿下三大赛单打首冠国乒连续11届拿下男单冠军！

5月25日，世乒赛男单决赛，世界排名第2的王楚钦，对阵新科世界杯冠军、世界排名第3的巴西选手雨果。最终王楚钦4-1击败对手，首次夺得世乒赛男单冠军，这也是王楚钦...

2025-05-25
2015年以来全国超7万家KTV门店关闭：年轻人不再爱唱K！

据国内媒体报道称，自2015年以来全国超7万家KTV门店关闭，这背后凸显的是，年轻人不再爱唱K。近日，一张关于“中国人主流娱乐方式在三年前和目前参与人数”的调研...

2025-05-24
为缓解学生压力学校举办抓鸡活动鸡：压力不会消失只会转移！

高考已经进入了倒计时阶段，此时即将参加2025高考的学生压力一定很大。各学校和家长为了放松学生们的心情，可谓是各显神通。近日，一学校就上演了真人版“吃鸡”游戏，...

2025-05-24
男子开露营咖啡车自驾偶遇于东来离开时于东来主动留下联系方式！

近日，经营一家露营车咖啡店的男子透露，他近日在西藏那曲色林错遇到了一位河南老乡——胖东来创始人于东来。男子为于东来做了一杯拿铁。令他没想到的是，于东来在得知他是...

2025-05-24
不止是3nm！玄戒O1的另一大杀手锏是设计：引领国产芯片行业！

REDMI总经理王腾表示，芯片最重要的两个工艺是制造与设计，两者同样重要，3nm是当前最先进的工艺，要想追上国际领先水平，制造和设计就都得突破。国产的先进制程制...

2025-05-24
法国遭遇大面积严重停电戛纳电影节被迫暂停！

据报道，法国滨海阿尔卑斯省西部今天遭遇大面积停电，导致包括戛纳在内的多个市镇陷入电力中断。正值第78届戛纳国际电影节举办期间，戛纳电影节也被迫暂停。...

2025-05-24