课程大纲
学习路线规划
技术篇
行业资讯
pmp
软考
修复consumer,使其具备消费能力,并且扩容N台;写一个分发的程序,将Topic均匀分发到临时Topic中;同时起N台consumer,消费不同的临时Topic; ...详情>>
单 topic,单partition,单 consumer,单线程消费,吞吐量低,不推荐;如只需保证单key有序,为每个key申请单独内存 queue,每个线程分别消费一个内存 queue 即可,这样就能保证单key(例如用户 ...详情>>
生产者生产消息可以通过comfirm配置ack=all解决;Broker同步过程中leader宕机可以通过配置ISR副本+重试解决;消费者丢失可以关闭自动提交offset功能,系统处理完成时提交offset ...详情>>
代码层面每次消费需提交offset;通过Mysql的唯一键约束,结合Redis查看id是否被消费,存Redis可以直接使用set方法;量大且允许误判的情况下,使用布隆过滤器也可以; ...详情>>
●自 Kafka 2.4 之后,Kafka 提供了有限度的读写分离。●场景不适用。读写分离适用于那种读负载很大,而写操作相对不频繁的场景。●同步机制。Kafka 采用 PULL 方式实现 Follow ...详情>>
Kafka 只有 Leader 副本才能 对外提供读写服务,响应 Clients 端的请求。Follower 副本只是采用拉(PULL)的方 式,被动地同步 Leader 副本中的数据,并且在 Leader 副本所在的 Bro ...详情>>
目前,Kafka 使用 ZooKeeper 存放集群元数据、成员管理、Controller 选举,以及其他一些管理类任务。之后,等 KIP-500 提案完成后,Kafka 将完全不再依赖于 ZooKeeper。●存放元数 ...详情>>
因集群架构变动导致的消费组内重平衡,如果kafka集内节点较多,比如数百个,那重平衡可能会耗时导致数分钟到数小时,此时kafka基本处于不可用状态,对kafka的TPS影响极大。产生的原因 ...详情>>
创建Topic的时候可以指定 --replication-factor 3 ,表示不超过broker的副本数●只有Leader是负责读写的节点,Follower定期地到Leader上Pull数据。●ISR是Leader负责维护的与其 ...详情>>
保证在消息重发的时候,消费者不会重复处理。即使在消费者收到重复消息的时候,重复处理,也要保证最终结果的一致性。所谓幂等性,数学概念就是:f(f(x)) = f(x)如何实现?添加唯一ID,类 ...详情>>
如何在Java中进行对象的深度克隆以优化性能?
解释Java中的内存池(Memory Pool)优化技术
如何在Java中实现缓存的动态更新?
解释Java中的分布式缓存一致性协议
如何在Java中实现基于时间的缓存失效策略?
解释Java中的网络拥塞控制策略
2024-10-31
2024-10-06
2024-09-13
2024-08-01
2024-12-25