唐飞虎

本次分享将介绍 Kimi 智能助手背后的推理加速方案，以 KVCache 为中心的分离式推理架构，以及在设计时所需要考虑的指标和在真实生产环境中部署的表现。 演讲提纲： 介绍 Kimi 智能助手相关简介 介绍长文本大模型推理中所遇到的挑战 介绍围绕 KVCache 相关的推理优化技术 介绍设计分离式推理架构设计时需要权衡的指标 线上实际推理结果和测试数据集的表现 总结与展望 听众收益： 了解一线C端应用的推理实践指导生产，以及 KVCache 相关的长文本推理的相关技术。

Long-Context 模型是否有潜力替代 RAG（Retrieval-Augmented Generation）是在人工智能领域备受关注的话题。在这次演讲中，我们将深入分析两种技术的发展历程、性能对比、以及如何在实际应用中找到最佳的平衡点。 本次演讲将回顾 Long-Context 技术的发展。这种技术旨在处理和理解长文本数据，通过增强模型的上下文理解能力，使其能够更好地处理复杂的语言任务。接着，我们将比较 Long-Context 与 RAG 技术的性能。RAG 模型通过检索相关信息来辅助生成，而 Long-Context 模型则直接在模型内部处理…