Kafka 中的分层存储 - Uber 技术博客摘要

Uber 技术博客发表了一篇文章，Introduction to Kafka Tiered Storage at Uber，目的是通过更少 Kafka Broker 最大限度地保留更少的内存数据。这允许在各种业务应用程序中延长信息保留时间。

常见的解决方案是手动集成外部存储，并定期将数据同步到外部系统。然而，它涉及到大量的开发和维护工作，如确定如何保存数据、设置同步频率、触发过程、获取数据和使用索引。

因此，Uber提出了一个包装外部存储逻辑的解决方案，并通过简单的配置即插即用。此功能与 Apache 合作开发基金会，并将在未来版本中提供。

了解它很重要 Kafka 只有附加消息队列具有很高的吞吐量能力 (MQ) 组件。 Kafka将日志存储在broker的本地存储中，用户可以配置保留时间或日志大小。在我以前的公司(联想)，我们使用Flink继续消费数据。大数据量会导致Kafka超过磁盘存储限制，导致数据写入失败和业务错误。为了降低成本，我们只能调整保留时间，而不是部署更多的机器。

此外，如果每个公司都开发自己的系统来将旧数据保存到外部存储中，它将涉及大量的开发工作。与同步和数据一致性有关的问题很多。

本质是改造Broker，增加远程日志管理和存储管理

RemoteLogManager：对远程日志段的生命周期进行管理，包括复制、清理和获取。

RemoteStorageManager：远程日志段的操作管理，包括复制、获取和删除。与远程日志段相关的元数据包括相关段的开始和结束偏移、时间戳、生产者状态快照和领导时代检查点的信息。 RemoteLogMetadataManager 跟踪元数据，以确保系统知道每个段的开始和结束，以及数据检索和管理所需的其他关键信息。

RemoteLogMetadataManager：远程日志段元数据生命周期的管理具有很强的一致性。

其中，RemotelogManager作为控制组件，直接连接Broker中的磁盘检索读取的数据。它还负责回调远程数据。 RemotestorageManager是操作数据的实体，Remotelogmetadatatamanager负责管理元数据。

Kafka分层存储中的三个动作总结

1. 将段复制到远程存储中 如果日志段的结束偏移量(段中最后一条消息的偏移量)小于分区的last-stable-offset，然后认为该日志段有资格复制到远程存储。（Last-Stable-Offset (LSO)：所有之前的消息都被所有同步副本完全确认，以确保数据不会丢失。）RemoteStorageManager 复制日志段及其相关索引、时间戳、生产者快照和领导者时间缓存。

2. 清理远程段 定期清理远程数据，通过专用线程池计算符合条件的段落。这不同于当地日志段的异步清理。删除主题时，远程日志段的清理是异步完成的，不会阻碍现有的删除操作或重新创建新主题。

3. 从远程存储中获取段 RemoteLogManager 通过使用 RemoteLogMetadataManager 查看元数据存储，并根据所需的偏移量和领导时代确定目标远程段。它使用它 RemoteStorageManager 找到段中的位置，并开始获取所需的数据。

以上是Kafka 分层存储 - Uber 有关技术博客摘要的详细信息，请关注图灵教育的其他相关文章！