张宇鹏
Employers on the program
- 2024百川智能1 talk
Events1
Conferences1
Talks1
Years active2024
Appearances by year
- AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference)
Talks
| Date | Event | Conference | Role | Title | Links |
|---|---|---|---|---|---|
| Dec 13, 2024 | AICon 全球人工智能开发与应用大会 ｜北京 | AICon 全球人工智能开发与应用大会 (AICon Global AI Development and Application Conference) | speaker | 百川智能预训练数据策略的探索与实践 as 百川智能 演讲主题聚焦于优化模型训练中的数据质量控制，以提高模型在有限资源下的表现。背景方面，许多轻量化模型如 Phi 系列，通过严谨的质量控制，在较少数据和较低算力（FLOPs）支持下，达到了显著的效果提升。当前开源数据集的趋势集中在增多 Tokens…Show less演讲主题聚焦于优化模型训练中的数据质量控制，以提高模型在有限资源下的表现。背景方面，许多轻量化模型如 Phi 系列，通过严谨的质量控制，在较少数据和较低算力（FLOPs）支持下，达到了显著的效果提升。当前开源数据集的趋势集中在增多 Tokens 和更精细化的质量筛选，以获得更小、效果更佳的数据集。此外，去重策略需要根据具体业务需求定制，更高比例的去重未必能带来更优结果，且数据质量这一概念难以仅依赖人类偏好定义。 解决方案上，提出了基于模型自我学习能力和人类标注结合的数据筛选策略，从模型自身、人类反馈及自我学习三个角度确保数据质量。研究发现，基于知识类别的… |
Frequent co-speakers
No one else spoke at two or more of the same events.
Speakers with the same name are merged into one entry, so this page may combine more than one person. Affiliations are shown as each conference listed them.