kafka:提交偏移失败,出现可重播异常。应重试提交偏移量

2022-09-04 23:08:36

[o.a.k.c.c.i.ConsumerCoordinator] [组使用者组的自动偏移提交失败:提交偏移失败,出现可重放异常。您应重试提交偏移量。[]

为什么这个错误出现在kafka消费者中?这是什么意思?

我使用的使用者属性是:

fetch.min.bytes:1
enable.auto.commit:true
auto.offset.reset:latest
auto.commit.interval.ms:5000
request.timeout.ms:300000
session.timeout.ms:20000
max.poll.interval.ms:600000
max.poll.records:500
max.partition.fetch.bytes:10485760

出现该错误的原因是什么?由于此错误,我猜消费者现在正在执行重复的工作(再次轮询相同的消息)。

我既不使用或consumer.commitAsync()consumer.commitSync()


答案 1

使用者在捕获 的实例时给出此错误。RetriableException

其原因可能多种多样:

  • 如果协调器仍在加载组元数据
  • 如果尚未创建组元数据主题
  • 如果发生网络或磁盘损坏,或者在处理请求时发生与磁盘相关或与网络相关的各种 IOException
  • 如果服务器在请求完成之前断开连接
  • 如果客户端的元数据已过期
  • 如果给定分区当前没有可用的前导符
  • 如果没有经纪人可以完成请求

从上面的列表中可以看出,所有这些错误都可能是临时问题,这就是为什么建议重试请求的原因。


答案 2

推荐