胡鸣人
Employers on the program
- 2024百度1 talk
Events1
Conferences1
Talks1
Years active2024
Appearances by year
- AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference)
Talks
| Date | Event | Conference | Role | Title | Links |
|---|---|---|---|---|---|
| Dec 13, 2024 | AICon 全球人工智能开发与应用大会 ｜北京 | AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference) | speaker | 千帆大模型推理服务降本实践 as 百度 这次演讲将介绍大模型推理服务的独特之处，并详细阐述千帆大模型推理架构建设的实践与探索过程。在这一过程中，团队面临了算力成本高昂、资源利用效率低等降本难题。为了解决这些挑战，千帆平台采用了多项创新技术： Prefix Caching ：通过前缀缓存技术提升了模型推理的速度和集群吞吐量，显著提高了系统整体性能。…Show less这次演讲将介绍大模型推理服务的独特之处，并详细阐述千帆大模型推理架构建设的实践与探索过程。在这一过程中，团队面临了算力成本高昂、资源利用效率低等降本难题。为了解决这些挑战，千帆平台采用了多项创新技术： Prefix Caching ：通过前缀缓存技术提升了模型推理的速度和集群吞吐量，显著提高了系统整体性能。 PD分离技术 ：通过引入PD（Parameter Decoupling）分离技术，优化了资源分配，既提升了系统性能，又有效降低了成本。 量化压缩技术 ：采用量化压缩方法，减少了模型存储和计算需求，从而降低了硬件资源消耗。 此外，在架构设计方面，千帆平… |
Frequent co-speakers
No one else spoke at two or more of the same events.
Speakers with the same name are merged into one entry, so this page may combine more than one person. Affiliations are shown as each conference listed them.