AI基础顺次界限的臆测险些老是围绕GPU和TPU伸开。The New Stack近日与Arm公司的Bhumik Patel以及谷歌的Mo Farhat进行了深度相通开云体育，讨论一个鲜少登上面条的芯片——CPU，以及跟着AI从聊天机器东说念主转向智能体，CPU的雄壮性为何正在束缚进步。

Farhat是谷歌策画引擎Axion及基于Arm架构杜撰机的产物惩处认真东说念主，他告诉The New Stack："CPU演出的变装，大体上非常于别称空中交通督察员。"

本期内容聚焦于：从对话式聊天机器东说念主到自主智能体的滚动，正在悄然演变为一个CPU的故事。

"现在六到八十亿参数的模子发扬比曩昔好得多，"Farhat说。他示意，在某些专项任务中，CPU每秒可处理约25个Token，这关于智能体职责负载而言依然充足。

CPU的变装：从赞成到中枢

早期的聊天机器东说念主仅仅复返一个恢复，而智能体则省略基于恢复罗致作为——调用器具完成任务，必要时还能创建脱手环境来实践我方生成的代码。

"智能体职责负载的编排框架，本色上是一种恒久在线的分支抑遏流逻辑，这恰是CPU的刚烈，"Farhat说。

他指出，大言语模子频繁在加快芯片上脱手，但CPU相同承担着编排养息、数据预处理、语义检索以及向量数据库等职责。

Patel认真Arm在云策画与AI界限的软件生态开拓，他示意公司正专注于大界限脱手这些职责负载所需的软件与基础顺次层。他指出，不同类型的智能体在实践"不同类型的代码、API调用以及典型CPU任务"。

在实践模子脱手方面，CPU也有效武之地，但界限较小，主要包括撮要生成、内容推选和成果评估等模子。"今天的六到八十亿参数模子发扬比以往好得多，"Farhat说，"关于某些专项职责负载，CPU不错提供每秒约25个Token的处理速率，足以自负智能体场景的需求。"

安全沙箱：让智能体安全实践代码

智能体要脱手代码，就需要一个既安全又不危及坐褥系统的实践环境。

"智能体在实践代码，你需要确保大言语模子生成的代码是着实的，"Patel说，"要是弗成信，就需要对脱手环境进行沙箱遏止。"

谷歌为此提供的决策是gVisor——一个开源方法，充任愚弄关节与宿主操作系统之间的遏止层。Farhat示意："咱们在零信任环境中脱手，这恰是智能体所需要的遏止技巧存在的原因。"

谷歌还示意，GKE Agent Sandbox相同省略嘱咐智能体时期所需的界限化需求。"GKE Agent Sandbox不错救济客户每秒每集群启动300个沙箱，"Farhat说。Patel示意，该平台通过Pod快照和预热的挂起环境池，匡助客户更快地完成膨胀，而无需恒久保握扫数环境十足就绪。

Axion的服从上风：性能与能效兼顾

谷歌示意，Axion处理器在资本和能效方面均具备上风。

"Axion刻下比拟同代可比杜撰机，可提供高达2倍的性价比，"Farhat说，"同期还能杀青寥落60%的能效进步。"

谷歌为不同场景提供了各异化的Axion机型：C4A机型面向握续高性能需求，N4A机型则在性能与资本之间赢得均衡。关于策画密集型、完成时辰至关雄壮的永劫辰工程任务，Farhat推选遴选C4A；关于密度和资本更为枢纽的袖珍代码实践任务，则推选N4A。

"N4A相等符合大界限部署大批智能体的场景，不同类型的智能体实践着不同类型的代码、API调用和老例CPU任务，"Patel说。

Farhat还强调，跟着智能体界限的扩大，CPU、GPU与TPU资源将握续协同运作。"咱们处于一个策画资源纯真调配的时期，"他说，"咱们忽视客户抽象考量CPU、TPU和GPU各样决策，确保愚弄具备面向畴昔的膨胀智商。"

Q&A

Q1：CPU在智能体职责负载中具体承担哪些任务？

A：在智能体场景中，CPU主要认真编排养息、数据预处理、语义检索和向量数据库等职责，同期承担分支抑遏流逻辑，非常于扫数这个词系统的"空中交通督察员"。此外，关于六到八十亿参数的袖珍模子（如撮要、推选、评估类模子），CPU也可径直脱手推理，提供约每秒25个Token的处理速率，自负部分智能体任务需求。

Q2：谷歌GKE Agent Sandbox是若何保险代码实践安全的？

A：GKE Agent Sandbox基于gVisor开源方法，在愚弄关节与宿主操作系统之间确立遏止层，杀青零信任环境下的沙箱遏止。它救济每秒每集群启动300个沙箱，并通过Pod快照和预热的挂起环境池杀青快速膨胀，确保大言语模子生成的代码在受控环境中安全脱手，不影响坐褥系统。

Q3：谷歌Axion处理器C4A和N4A机型有什么分离？该如何聘任？

A：C4A机型面向握续高性能需求，适算策画密集型、完成时辰条目严格的永劫辰工程任务；N4A机型则在性能与资本之间赢得均衡，更符合需要大界限部署智能体、对密度和资本敏锐的场景。总体上开云体育，Axion比拟同代可比杜撰机可提供高达2倍的性价比，并杀青寥落60%的能效进步。