阿里云发布通义千问（Qwen-7B）——超大规模语言模型系列

手机

荣信文化：8月1日融资买入433.99万元，融资融券余额4928.78万元

环球网评：“中国正能量”，编织奋进中国幸福图景

家电

阿里云发布通义千问（Qwen-7B）——超大规模语言模型系列

2023-08-04 07:36:22 来源：哔哩哔哩

通义千问（Qwen-7B）是阿里云最新发布的一系列超大规模语言模型，这个牛气十足的大模型令人惊叹。基于Transformer架构，Qwen-7B系列汇聚了70亿参数。在本次发布中，我们将为您详细介绍Qwen-7B的模型参数、性能表现、安装使用方法以及诸多强大功能。

无论是面向研究人员还是开发者，Qwen-7B都将成为您在自然语言处理领域的得力助手。让我们一起深入了解这一令人振奋的超大规模语言模型系列吧！

(资料图片仅供参考)

Qwen-7B模型参数和性能

Qwen-7B系列模型自带多项令人瞩目的特点：

大规模高质量预训练数据：利用超过万亿token的自建大规模预训练数据集，Qwen-7B在语言模型预训练方面具有强大的能力。数据集内涵丰富，包括文本、代码等多种数据类型，广泛覆盖通用领域和专业领域。

优秀的模型性能：相较于同规模的开源模型，Qwen-7B在多个评测数据集上展现出色的表现。无论是自然语言理解与生成、数学运算解题还是代码生成等领域，Qwen-7B都展现出强大的潜力。

更好地支持多语言：Qwen-7B采用更大词表的分词器，在分词效率方面具有优势，同时也更加友好地支持其他语言。用户可以轻松在Qwen-7B基础上训练特定语言的7B语言模型。

8K的上下文长度：Qwen-7B及其衍生模型均支持长达8K的上下文长度，为用户提供了更大的输入空间。

支持插件调用：Qwen-7B-Chat在插件调用方面做出了特定优化，目前模型能够有效调用插件并升级为Agent。

Qwen-7B在全面评估自然语言理解与生成、数学运算解题、代码生成等领域的多个评测数据集上表现出色。这些数据集包括MMLU、C-Eval、GSM8K、HumanEval、WMT22等，Qwen-7B的表现不仅超越了同等规模的大语言模型，还甚至超越了像12-13B参数等更大规模语言模型的性能水平。这一突出表现进一步证明了Qwen-7B在各种任务上的卓越能力。

Qwen-7B-Chat经过针对API、数据库、模型等工具的优化，使得用户可以开发基于Qwen-7B的LangChain、Agent甚至Code Interpreter等应用。在即将开源的内部评测数据集上测试了Qwen-7B-Chat的工具调用能力，发现其表现稳定可靠。

此外，实验结果还显示了模型在扮演Agent角色方面的能力。有关更多信息，请查阅相关文档链接。在Hugging Face提供的评测数据集上，Qwen-7B模型在工具选择、工具使用和代码方面表现如下：

关键词：