黄鑫

目前抖音实时数仓主要基于Flink引擎搭建，业务还在高速发展期，高数据诉求下作业迭代非常频繁。受限于Flink作业依赖环境复杂，开发人员众多、经验及习惯参差不齐，在流程规范、研发效率和稳定性等方面面临极大的挑战。 DataOps是作用于人+流程+工具的一套方法论，围绕需求管理、作业开发、数据测试、部署发布等整个研发流程，通过工具保障实时开发同学的流程性，提高数据质量和开发效率，尤其作业开发/部署发布环节能力实现依赖Flink引擎改造并需要有成熟的开发经验沉淀。