当智能体（Agent）成为主流工作负载，大模型推理的流量特征发生了根本性倒挂：单轮请求常携带数十万 token 的上下文，多轮执行中九成以上内容高度重复，并伴随子智能体的瞬时并发脉冲。传统基于轮询的负载均衡在这种场景下，会让 GPU 把同一份长上下文反复重算，算力浪费高达八成。
llm-d 1.0 给出的答案是一套云原生分布式推理协同架构。它基于 Kubernetes Gateway API Inference 扩展实现前缀感知智能路由，把请求精准导向已持有对应上下文的副本，缓存命中率从盲猜的四成跃升至八成以上；同时通过 KV 缓存卸载在 GPU、CPU 与存储间迁移状态，并用 Prefill 与 Decode 分离让「读卷宗」与「写答案」各用其池，配合 NVIDIA NIXL 高速零拷贝传输衔接。
在 IBM 量子纠错芯片设计等真实项目中，llm-d 将推理成本降至专有配置的约十一分之一，缓存命中率接近 98%。其生态版图已涵盖 AMD、Intel、Cisco、Hugging Face、Mistral AI 等芯片与框架伙伴，以及特斯拉、JetBrains、DigitalOcean 等生产采用方。
作为厂商中立的开源替代，llm-d 让企业不必绑定单一云或模型厂商即可构建高性能推理层。它的 1.0 发布，意味着 Kubernetes 不只是训练与编排平台，也正成为大模型推理的生产级控制平面。