杨永杰
Employers on the program
- 2025小米1 talk
Events1
Conferences1
Talks1
Years active2025
Appearances by year
- AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference)
Talks
| Date | Event | Conference | Role | Title | Links |
|---|---|---|---|---|---|
| Jun 27, 2025 | AICon 全球人工智能开发与应用大会 ｜北京 | AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference) | speaker | 小爱同学在高性能端侧大模型推理的实践 as 小米 随着大模型相关技术的迅速发展，端侧大模型也越来越受到重视，端侧部署大模型具有隐私安全高、推理成本低、无网可响应等优点，但端侧面临资源受限的核心挑战，比如算力、内存、内存带宽、CPU等资源，导致大模型难以在端侧商业化落地。本团队通过自研高性能的大模型推理框架克服了资源的限制，实现了端侧大模型在多个业务上商业化落地，最终以…Show less随着大模型相关技术的迅速发展，端侧大模型也越来越受到重视，端侧部署大模型具有隐私安全高、推理成本低、无网可响应等优点，但端侧面临资源受限的核心挑战，比如算力、内存、内存带宽、CPU等资源，导致大模型难以在端侧商业化落地。本团队通过自研高性能的大模型推理框架克服了资源的限制，实现了端侧大模型在多个业务上商业化落地，最终以极低的资源占用实现业界领先的推理速度（超过 180 toks/s）。 演讲提纲 端侧大模型推理面临的挑战 端侧大模型推理架构 小爱同学业务差异化诉求 多业务共享基座架构，支持并发推理 跨硬件平台推理 大模型热更新策略 端侧大模型高性能推理技… |
Frequent co-speakers
No one else spoke at two or more of the same events.
Speakers with the same name are merged into one entry, so this page may combine more than one person. Affiliations are shown as each conference listed them.