雷丹
Employers on the program
- 2024商汤科技1 talk
Events1
Conferences1
Talks1
Years active2024
Appearances by year
- AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference)
Talks
| Date | Event | Conference | Role | Title | Links |
|---|---|---|---|---|---|
| Aug 18, 2024 | AICon 全球人工智能开发与应用大会 | 上海 | AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference) | speaker | SensePPL 端侧大模型系统与优化 as 商汤科技 当前，大模型推理正在向手机、PC、智能汽车等边缘侧和端侧产品渗透。然而，在终端部署 AI 大模型时，仍面临着存储与计算资源、功耗、软件生态等多重挑战。商汤大装置 HPC 团队基于多年的传统 CNN 推理基础设施研发与优化的经验，推出 SensePPL 端侧大模型推理框架。在计算优化、推理框架、Serving…Show less当前，大模型推理正在向手机、PC、智能汽车等边缘侧和端侧产品渗透。然而，在终端部署 AI 大模型时，仍面临着存储与计算资源、功耗、软件生态等多重挑战。商汤大装置 HPC 团队基于多年的传统 CNN 推理基础设施研发与优化的经验，推出 SensePPL 端侧大模型推理框架。在计算优化、推理框架、Serving Pipeline 等层面进行深度调优，最终取得了业界领先的首字延迟、Decoding 吞吐等端侧性能指标，大幅改善终端大模型落地的交互体验。 演讲提纲： 端侧大模型推理的机遇与挑战 端侧推理框架的优化技术 Serving Pipeline 流程优化 … |
Frequent co-speakers
No one else spoke at two or more of the same events.
Speakers with the same name are merged into one entry, so this page may combine more than one person. Affiliations are shown as each conference listed them.