关注我们
荆楚网 > 新闻频道 > 最新播报

阿里云开源模型Qwen2-72B发布:性能提升明显,提供多语言支持

发布时间:2024年06月07日09:34 来源: 环球网

【环球网科技报道 记者 李文瑶】6月7日,阿里云更新技术博客,宣布发布开源模型Qwen2-72B。所有人均可在魔搭社区和Hugging Face免费下载通义千问最新开源模型。

相比2月推出的通义千问Qwen1.5,Qwen2实现了整体性能的代际飞跃。通义千问Qwen2系列模型大幅提升了代码、数学、推理、指令遵循、多语言理解等能力。通义千问团队在技术博客中披露,Qwen2系列包含5个尺寸的预训练和指令微调模型,Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B,其中Qwen2-57B-A14B为混合专家模型(MoE)。Qwen2所有尺寸模型都使用了GQA(分组查询注意力)机制,以便让用户体验到GQA带来的推理加速和显存占用降低的优势。

在中英文之外,模型训练数据中增加了27种语言相关的高质量数据,提升了模型的多语言能力。Qwen2还增大了上下文长度支持,Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息抽取任务。

据悉,通义千问Qwen系列模型总下载量一个月内翻了一倍,已突破1600万次。开源后,Qwen2将继续探索模型及数据的Scaling Law。此外,我们还将把Qwen2扩展成多模态模型,融入视觉及语音的理解。

阿里云CTO周靖人表示,“坚持开源开放是阿里云的重要策略,我们希望打造一朵AI时代最开放的云,让算力更普惠、让AI更普及。”

【责任编辑:肖梦吟】

Copyright © 2001-2024 湖北荆楚网络科技股份有限公司 All Rights Reserved

营业执照增值电信业务许可证互联网出版机构网络视听节目许可证广播电视节目许可证

关于我们 - 版权声明 - 合作咨询

版权为 荆楚网 www.cnhubei.com 所有 未经同意不得复制或镜像