据CNBC报道，Google正计划推出一款专为AI推论设计的新型张量处理单元（TPU）芯片，以加速聊天机器人和AI代理的响应速度。这一战略转移表明，Google正将研发重心从AI模型训练扩展至推论领域，旨在挑战市场龙头NVIDIA，并抢占快速增长的AI半导体市场。
Google首席科学家Jeff Dean指出，随着AI查询处理需求的激增，针对“训练”与“推论”任务进行芯片专门化已成为必然趋势。市调机构Gartner分析师认为，AI技术的竞争焦点已转向推论速度，而Google Gemini模型在复杂推理响应上的表现，展现了其基础设施的领先优势。
Google的TPU研发始于10年前，最初为解决语音识别等服务带来的巨大运算成本。如今，这一长期投资迎来回报。例如，Anthropic已签署协议，计划采用多达100万个TPU；Meta也通过Google Cloud使用TPU并测试其推论性能。与OpenAI刚刚起步的芯片设计不同，Google具备大规模制造能力，并能实现模型研发与硬件团队的深度协作。
然而，挑战依然存在。由于芯片开发周期长达3年，Google难以准确预测未来AI模型的需求演变。此外，随着TPU需求激增，Google也面临供应限制，必须在满足内部服务与外部客户之间做出权衡。
Google基础设施主管Amin Vahdat表示，公司正努力让TPU更加开放，例如支持PyTorch等外部工具，并测试让客户在自有数据中心运行TPU。他强调，若TPU仅限于Google内部使用，将陷入技术孤岛，这对长期发展不利。
