姜慧强
Employers on the program
- 2025微软亚洲研究院1 talk
Events1
Conferences1
Talks1
Years active2025
Appearances by year
- AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference)
Talks
| Date | Event | Conference | Role | Title | Links |
|---|---|---|---|---|---|
| May 23, 2025 | AICon 全球人工智能开发与应用大会 | 上海 | AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference) | speaker | 以 KV 缓存为中心的高效长文本方法的优化和实践 as 微软亚洲研究院 长上下文大语言模型推动了众多下游应用的发展，但也带来了计算和内存效率方面的重大挑战。为了应对这些挑战，围绕KV缓存的长上下文推理优化方法应运而生。然而，现有的基准测试通常仅关注单请求场景，忽视了KV缓存在实际使用中的完整生命周期。这一疏漏尤为关键，因为KV缓存复用已在LLM推理框架中被广泛采用，例如vLLM和SGLan…Show less长上下文大语言模型推动了众多下游应用的发展，但也带来了计算和内存效率方面的重大挑战。为了应对这些挑战，围绕KV缓存的长上下文推理优化方法应运而生。然而，现有的基准测试通常仅关注单请求场景，忽视了KV缓存在实际使用中的完整生命周期。这一疏漏尤为关键，因为KV缓存复用已在LLM推理框架中被广泛采用，例如vLLM和SGLang，同时也得到了OpenAI、微软、谷歌、Anthropic、Deepseek等LLM提供商的支持。 为填补这一空白，我们提出了SCBench，一个全面的基准测试工具，从KV缓存为中心的视角评估长上下文方法。并且在本次演讲中首先会对目前主流… |
Frequent co-speakers
No one else spoke at two or more of the same events.
Speakers with the same name are merged into one entry, so this page may combine more than one person. Affiliations are shown as each conference listed them.