马腾

随着大模型应用从单一对话向多智能体（Multi-Agent）协作演进，Agent Memory 的形态正在发生深刻重构。在多智能体系统中，系统提示词、共享的工具描述、多轮交互历史以及智能体间的状态传递，构成了极其庞大的“工作记忆（Working Memory）”。然而，当前主流的推理架构将这些记忆抽象为独立的文本请求，导致在底层的物理计算中，大量重复的上下文正在经历无意义的计算（Prefill），引发严重的显存碎片化与极高的端到端延迟。如何让底层的算力网络真正“感知”并复用高层智能体的记忆状态，已成为突破多系统规模化瓶颈的关键。 本次报告将围绕“记忆感知…

随着大模型应用的普及，推理过程中的高计算资源消耗和 KVCache（键值缓存）的冗余存储成为关键瓶颈，导致推理成本高昂、吞吐量受限，尤其在长上下文场景中表现尤为突出。Mooncake 项目通过创新的以 KVCache 为中心的“PD 分离”架构（计算与存储解耦）和“以存换算”设计，将 KVCache 池化共享，结合高性能传输技术（如 eRDMA、GPUDirect）和分布式存储优化，实现跨实例的资源复用。 Mooncake 项目包括三大创新点：（1）Transfer Engine：支持全链路零拷贝、多网卡聚合（8×400Gbps），兼容 eRDMA/NV…