赵军平
Employers on the program
- 2024蚂蚁集团2 talks
Events2
Conferences1
Talks2
Years active2024
Appearances by year
- AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference)
Talks
| Date | Event | Conference | Role | Title | Links |
|---|---|---|---|---|---|
| Dec 13, 2024 | AICon 全球人工智能开发与应用大会 ｜北京 | AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference) | speaker | 大模型推理—显存管理深入优化探索 as 蚂蚁集团 训练和部署大模型需要巨大的显存资源。为了缓解 OOM 问题并实现更高性能，我们将分享显存优化方面的挑战分析和最新探索，重点包括 vTensor 和 LayerKV 两个方案。 首先，vTensor：一种新 tensor 数据结构，作为 PagedAttention…Show less训练和部署大模型需要巨大的显存资源。为了缓解 OOM 问题并实现更高性能，我们将分享显存优化方面的挑战分析和最新探索，重点包括 vTensor 和 LayerKV 两个方案。 首先，vTensor：一种新 tensor 数据结构，作为 PagedAttention 的替代方案，为模型提供始终连续的虚拟地址。vTensor 可以高效解决推理 KV cache 碎片问题；更重要的是，集成或定制高级 attn kernel(例如 FlashAttn3, 稀疏和量化等）变得非常简单，只需更改 3 行代码几分钟内即可搞定 (对比 vLLM 需要数周时间)； 其次，… | |
| May 17, 2024 | AICon 全球人工智能开发与应用大会 暨 大模型应用生态展 | AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference) | speaker | GLake: 高效透明的大模型显存管理和优化 as 蚂蚁集团 大模型训练和部署需要大量的显存。业界提出了很多方案，如 offloading、PP 并行、量化等，但通常需要修改模型代码或权衡精度损失。我们观察到，框架层如 PyTorch 由于缓存分配器中频繁的 split-merge 操作，带来严重的管理开销即碎片，尤其分布式训练或叠加使用 DeepSpeed、FSDP…Show less大模型训练和部署需要大量的显存。业界提出了很多方案，如 offloading、PP 并行、量化等，但通常需要修改模型代码或权衡精度损失。我们观察到，框架层如 PyTorch 由于缓存分配器中频繁的 split-merge 操作，带来严重的管理开销即碎片，尤其分布式训练或叠加使用 DeepSpeed、FSDP 时问题更加突出。 我们分享介绍 GLake（ASPLOS24）：一种高效、全局的显存优化方案，可无缝接入 PyTorch 框架并显著减少显存碎片。在内部，GLake 基于虚拟 - 物理指针和定制化的策略，对显存进行动态重映射；并支持跨进程、跨卡、跨框… |
Frequent co-speakers
| Speaker | Shared events | Shared talks | Last together |
|---|---|---|---|
| 汪晟杰 | 2 | — | 2024 |
Speakers with the same name are merged into one entry, so this page may combine more than one person. Affiliations are shown as each conference listed them.