罗宇侠

流存储（如 Kafka）提供了更低的延迟，湖存储（如 Iceberg）提供了更高的吞吐和分析性能，通常构建数仓时，流存储和湖存储需要重复建设，以满足实时和离线不同的需求。这导致目前流存储和湖存储依然很割裂，数据的重复存储带来的成本、一致性、治理等问题都面临很大的挑战。 本次议题，我们将首先探讨湖流割裂的现状下用户面临的问题和挑战，以及目前业界在湖流一体存储上的趋势。然后，会介绍我们团队设计的 Fluss x Paimon 构建湖流一体存储的方案，分析该湖流一体存储相比传统割裂地使用流存储和湖存储能带来的收益，深度解析其技术架构和原理。