生成式AI领域刮起分散式运算风？

目前举凡OpenAI ChatGPT、Google Bard或是微软（Microsoft）Copilot等热门人工智能（AI）工具，都面临一个相同限制，也就是必须连上网络才能使用。TechSpot指出，若能克服这项限制，则除了便利性将有所提升以外，也有其他潜在好处。

生成式AI工具的应用，面临几项需要克服的问题或潜在挑战。首先，让这些生成式AI工具保持运作所需要的运算资源，以及相应耗能，就目前情况而言，都非常的庞大。而这笔支出，很可能转嫁给AI服务使用者来承担。

第二，在AI工具的早期版本中，使用者所输入的内容都会被记录，并喂给AI工具背后的大型语言模型（LLM）做训练使用，或用来提升信息生成的个人化程度。部分更先进的AI工具，很可能朝向类似数码个人助理的方向演进。为了尽可能提升运作效率，这些个人助理会需要知道许多使用者的个人信息，例如工作计划等。而这些运作方式，都会带来一定的隐私与安全性问题。

若要改善以上两大议题，则分散式运算（Distributed computing）会是个很好的解决方案，基本上就是将运算工作拆开，并分散到云端与终端装置上进行。

在耗能方面，如果部分原先在云端上进行的运算工作，能够转移到终端装置内，势必能降低服务供应商的云端营运成本。在隐私方面，如果个人信息可以在装置上直接为AI工具所使用，不必上传云端，安全性也将能获得一定改善。

虽然目前绝大多数的生成式AI软件与服务，仍然是在云端上面运作，不过，未来除有望看到更多的小型AI模型出现，适合在终端装置上执行外，近来也有许多业者开始讨论将分散式运算应用到生成式AI领域的想法。

举例来说，微软在5月举办的Build 2023开发者大会中，就谈到「混合AI」的概念－可看作是下一代生成式AI工具的微软Hybrid Loop，就透过名为ONNX Runtime的软件开发平台，协助软件开发人员善加利用本地装置的运算资源，以及微软Azure的云端运算能力。换句话说，Hybrid Loop提供了一套工具，帮助开发人员进行分散式运算。

微软指出，其混合AI的部分基础工作，未来将能利用CPU、GPU、神经处理器（NPU），甚至可能还包含其他能够在PC上找到的专用AI加速器。

另外，智能手机处理器与基带大厂高通（Qualcomm），近期也谈到混合AI相关概念与好处。高通已经开发出一套名为Qualcomm AI Stack的软件服务，能够提升生成式AI工具在手机上运作的简易性。

为顺应这股趋势，许多芯片设计业者也已经有相关动作，如超微（AMD）发表了Ryzen 7040处理器，其中搭载专用AI加速器。英特尔（Intel）即将推出的新一代Core处理器Meteor Lake，据传将首度配置专用AI加速器。高通针对PC应用而设计的8cx处理器，也内含专用AI加速。

此外，部分高通最新一代旗舰手机处理器Snapdragon 8 Gen 2，也拥有直接在手机上执行生成式AI模型与应用程序的能力。

而当这些软硬件潮流汇聚起来，相信在未来的市场上，将能见到更多令人惊喜的AI功能被推出。