天天报道:高通押注混合AI，终端侧或将运行100亿参数模型

2023-06-26 10:40:06 来源：物联网智库

2022年末，美国人工智能公司Open AI推出了ChatGPT对话模型，迅速风靡全球并快速迭代，其在不到4个月后又发布了能力更强大的GPT-4，而后乘胜追击，推出了联网和第三方应用插件功能，不断刷新人们对生成式AI强大能力的认知。毫无疑问，生成式AI带来的巨大机遇将成为业界变革的转折点。

然而，随着生成式 AI 模型使用量和复杂性的不断增长，仅在云端进行推理并“不划算”，因为包括硬件、场地、能耗、运营、额外带宽和网络传输在内的数据中心基础设施成本也将持续增加。而将一些处理从云端转移到边缘终端，则可以减轻云基础设施的压力并减少开支。这也是为何混合 AI 对生成式 AI 的规模化应用至关重要。

高通技术公司作为终端侧AI领导者，面向包括手机、汽车、XR头显与眼镜、PC和物联网等在内的数十亿边缘终端，可以提供行业领先的硬件和软件解决方案，对推动混合AI规模化扩展独具优势。6月16日，高通正式发布了白皮书《混合AI是AI的未来》，进一步阐释了混合AI在大模型时代的优势，以及高通如何凭借终端侧AI领导力、全球化规模和生态系统赋能，让混合AI成为现实。

(资料图片)

“混合AI是AI的未来”

所谓的混合AI是指终端和云端协同工作，在适当的场景和时间下分配AI计算的工作负载，以提供更好的体验，并高效利用资源。在一些场景下，计算将主要以终端为中心，在必要时向云端分流任务。在以云为中心的场景下，终端将根据自身能力，在可能的情况下从云端分担一些AI工作负载。而混合AI架构可以根据模型和查询需求的复杂度等因素，选择不同方式在云端和终端侧之间分配处理负载。例如，如果模型大小、提示(prompt)和生成长度小于某个限定值，并且能够提供可接受的精确度，推理即可完全在终端侧进行。如果是更复杂的任务，模型则可以跨云端和终端运行。

此外，混合AI还能支持模型在终端侧和云端同时运行，也就是在终端侧运行轻量版模型时，在云端并行处理完整模型的多个标记(token)，并在需要时更正终端侧的处理结果。更重要的是，随着强大的生成式AI模型不断缩小，以及终端侧处理能力的持续提升，混合AI的潜力将会进一步增长。参数超过10亿的AI模型已经能够在手机上运行，且性能和精度达到与云端相似的水平。不久的将来，拥有100亿或更高参数的模型将能够在终端上运行。混合AI可以说是能够适用于几乎所有生成式AI应用和终端领域，包括手机、笔记本电脑、XR头显、汽车和物联网，并在成本、能耗、性能、隐私、安全和个性化体验方面更具优势。

例如，在成本方面，生成式 AI 搜索可以提供更加出色的用户体验和搜索结果，但每一次搜索查询，其成本是传统搜索方法的10倍。所以，当前面向大语言模型推理的云计算架构，将导致搜索引擎企业的运营成本升高。但混合AI能够利用现已部署的、具备 AI 能力的数十亿边缘终端，以及未来还将具备更高处理能力的数十亿终端，在一定程度上减轻运营成本压力。

在能耗方面，边缘终端能够以很低的能耗运行生成式AI模型，尤其是将处理和数据传输相结合时。而在时延方面，当生成式 AI 查询对于云的需求达到高峰期时，会产生大量排队等待和高时延，甚至可能出现拒绝服务的情况，向边缘终端转移计算负载可防止这一现象发生。

高通全栈AI优化

众所周知，高通已经将其AI能力带入了包括智能手机、笔记本电脑、PC、汽车在内的众多终端产品中，其终端侧AI技术在大模型时代下也将成为推动混合AI规模化落地的重要推力。据高通技术公司产品管理高级副总裁兼AI负责人Ziad Asghar介绍，高通已经在飞行模式下实现了全球首个Android手机上的Stable Diffusion终端侧演示。Stable Diffusion是一个参数超过10亿的超大神经网络基础模型，能够基于输入的文本提示生成图片。而通过高通的全栈AI优化，这一模型能够完全在终端侧运行，实现在15秒内完成20步推理，生成饱含细节的图像。

Ziad Asghar也直言，虽然高通目前已经能够支持Stable Diffusion这一超过10亿参数的模型在终端侧运行，但许多关键的生成式AI模型的规模可以达到10亿到100亿参数之间，例如文本生成图像、自然语言处理、编程、图像理解、图像创作等。所以，在未来几个月内，高通将有望支持参数超过100亿的模型在终端侧运行。而这无疑也将成为基于高通技术的产品的重要差异化优势。

此外，通过高通AI软件栈，高通已经实现在搭载骁龙计算平台的笔记本电脑上运行Stable Diffusion。凭借行业领先的高通AI引擎，基于骁龙计算平台的笔记本电脑在MLCommons V3.0上率先实现了出色的MLPerf基准测试结果。同时，高通也是唯一一家能够在MLCommons V3.0的笔记本电脑品类中获得测试结果的公司，这也正是因为其拥有能够在终端侧运行如此大规模AI用例的硬件引擎。

其实，早在2022年6月，高通就推出了专门面向边缘侧AI的领先软件栈产品——高通AI软件栈，将其所有相关的 AI 软件产品集成在统一的解决方案中。OEM 厂商和开发者可在其产品上创建、优化和部署 AI 应用，充分利用高通 AI 引擎性能，让 AI 开发者创建一次 AI模型，即可跨高通所有硬件运行 AI 负载。谈及高通AI软件栈的核心优势，Ziad Asghar表示，基于高通AI软件栈的模型一旦开发出来，就可以在不同地方使用，再与混合AI部署相结合，形成杀手级的组合，将帮助生成式AI在不同终端上进行规模化扩展，实现生成式AI的普及。

未来，高通将不断提高边缘侧支持的模型参数阈值，Ziad Asghar提出，在不久的将来，拥有100亿或更大参数的生成式AI模型将能够在终端上运行。

关键词：