文心千帆上架Llama2，百度要做大模型“跨境电商”

手机

平安健康！“丫丫”，23岁生日快乐

强军之路丨清澈的爱只为中国

家电

文心千帆上架Llama2，百度要做大模型“跨境电商” | 最前线

2023-08-04 14:47:08 来源：36氪

文 | 周鑫雨

编辑 | 邓咏仪

(资料图)

8月2日，在百度文心千帆大模型平台媒体圆桌会议上，百度携着自己的大模型伙伴，在文心千帆上开设了模型的“百货超市”。

国内“百模大战”已经打了半年。做大模型的巨头们，进度条已经从大模型研发，快速拉到建立合作伙伴、渠道和生态。

此前，字节火山引擎和阿里通义千问都已经建立“模型货架”，拉拢一批AI公司或者大模型公司到自家平台上，提供从云到AI开发等服务。

如今的文心千帆做的更像是“跨境电商”：一方面，文心千帆接入的第三方模型足够多：33个，规模超越了此前拉伙7家国内大模型厂商的火山方舟。

另一方面，RWKV、Stability Diffusion，甚至Meta在7月19日发布的Llama2等国外知名大模型，也陈列其中。

文心千帆上线的部分第三方大模型。图源：百度

此外，此次文心千帆还上线了130套预制Prompt（提示词）模板和插件功能。所谓的“Prompt模板”，就是教会用户如何对大模型提出更好的问题，从而获得更优质的反馈，而百度提供的“预制Prompt模板”，则是将提问方式的标准答案，直接喂给了用户。至于新增的插件，率先在百度内部办公软件“如流”上进行了测试，未来将陆续登陆文心千帆。

33个国内外第三方大模型入驻平台

发布会上，百度智能云AI与大数据平台总经理忻舟介绍，这次入驻的第三方大模型的特色在于性能互补，能够满足不同用户的需求，比如支持无限上下文长度的RWKV，和英文能力较强的Llama2，弥补了文心一言相应的短板。

针对上架的第三方模型，百度主要在3个方面做了调控：

提高可靠性和安全性。降低成本：调整后模型体积可压缩至25%-50%，推理成本可降低50%。支持全套工具链、多样化模型调优：接入模型支持SFT（全量参数微调、Prompt Tuning、Lora）、强化学习等调优方式。

不过，在开源生态愈发体系化的当下，不少开源模型第三方机构对开源商用许可做出了严格的规定。即便开放了免费商用的Llama2，Meta对用户也进行了约束：如果产品的月活跃用户（MAU）超过7亿，用户必须申请特殊的商业许可证。

对此，忻舟表示，百度在引入大多数开源模型时，都会和开发团队进行沟通，比如智谱的ChatGLM2-6B既有开源版，同时也有商用版，那么针对商用版百度会与智谱进行分成。但由于上线时间紧张，因此目前百度和Meta等国外模型团队正在保持沟通。

针对已上线的第三方模型，百度将根据市场和客户反馈采取上新和淘汰机制。忻舟告诉36氪，为了降低用户的选择成本，文心千帆的模型库不会是无限扩张的状态，最终仍会根据市场选择更新或者下架。

上线103个预制Prompt模板，帮客户提问题

在用户实际使用模型的过程中，提问的方式往往会影响模型输出的内容。这是因为，一个好的问题模版往往能够帮助预训练模型“回忆”起预训练时学习到的内容——这一问题模板就被称为Prompt。

不过，文心千帆并不打算花时间教用户如何写Prompt，而是直接帮用户写完问题。

此次上线的103个预制Prompt模板，覆盖了对话、编程、电商、医疗、游戏、翻译、演讲等十多个场景。据百度智能云AI平台副总经理李景秋介绍，预制Prompt模板来源于百度智能云在产业实践中积累的Prompt模板，也源自文心一言的高频用户。

文心千帆上线的103个预制Prompt模板。图源：文心千帆截图

比如当用户希望文心一言对电影《芭比》做出评价时，简单提问“电影《芭比》好看吗？”与使用预制Prompt模板后得到的影评在质量、篇幅上均有较大差距。

用“电影《芭比》好看吗？”提问后，文心一言的回答。图源：作者试用

用文心千帆预制Prompt提问后，文心一言的回答。图源：作者试用

上线插件，新增文档摘要功能

所谓的插件，就像是大模型中的“小程序”，作为模型能力的补充和拓展。

此前，ChatGPT已经开放了74个插件，功能涵盖购物、求职、营销、票务预定等。但过多的第三方插件也会带来安全风险，媒体Wired报道指出，安全研究人员表示，ChatGPT 插件的运行方式存在风险，可能会导致用户的数据泄露，甚至被黑客滥用。

作为国内模型插件的“吃蟹者”，文心千帆此次上线的“百度搜索”和“ChatFile”插件均由百度自行研发。

文心一言上线的两款插件。图源：作者截图

值得一提的是，“ChatFile”可检索PDF/Doc格式文档中的知识点，并且实现文本摘要等功能。

ChatFile插件对《正午之魔：抑郁是你我共有的秘密》一书的总结。图源：作者试用

李景秋介绍，文心千帆的插件已经应用于百度办公软件“如流”中。目前，如流已经接入了20个插件，涵盖文档搜索、会议纪要、会议室预定等功能。未来，文心千帆的插件生态也将开放给第三方开发者。

“如流”接入的20个插件。图源：百度

忻舟表示，一站式大模型平台最后会更被开发者所需要，随着技术的不断成熟，底层设施和工具的开发会放缓，更多的精力会被放在保证自己的业务不被技术发展所淘汰，这时上层应用对平台工具的需求会更大，平台之间比拼的是服务的能力，“在激烈竞争中，一定会有一些做得好的头部的平台，能够变成主要的玩家。”

欢迎交流！

关键词：