org.apache.kafka.common.errors.TimeoutException：60000 毫秒后元数据中不存在的主题

java windows apache-kafka kafka-producer-api

2022-09-03 09:24:37

我收到错误：

 org.apache.kafka.common.errors.TimeoutException: Topic testtopic2 not present in metadata after 60000 ms.

当尝试在Windows上使用Java的本地kafka实例中生成主题时。请注意，主题testtopic2存在，我可以使用Windows控制台生产者向它生成消息。

在我使用的代码下面：

import java.util.Properties;

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class Kafka_Producer {

    public static void main(String[] args){

        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, 0);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        TestCallback callback = new TestCallback();
        for (long i = 0; i < 100 ; i++) {
            ProducerRecord<String, String> data = new ProducerRecord<String, String>(
                    "testtopic2", "key-" + i, "message-"+i );
            producer.send(data, callback);
        }

        producer.close();
    }


    private static class TestCallback implements Callback {
        @Override
        public void onCompletion(RecordMetadata recordMetadata, Exception e) {
            if (e != null) {
                System.out.println("Error while producing message to topic :" + recordMetadata);
                e.printStackTrace();
            } else {
                String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
                System.out.println(message);
            }
        }
    }

}

Pom 依赖性：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.6.0</version>
</dependency>

列表的输出和描述：

答案 1

我今天也有同样的问题。我是Kafka的新手，只是想让一个示例Java生产者和消费者运行。我能够让消费者工作，但不断得到与你相同的“主题不存在于元数据中”的错误，与生产者。

最后，出于绝望，我向制作人添加了一些代码来转储主题。当我这样做时，我得到了运行时错误，因为包jackson-databind和jackson-core中缺少类。添加它们后，我不再收到“主题不存在”错误。我删除了我临时添加的主题转储代码，它仍然有效。

答案 2

由于目标Kafka实例“死亡”或URL错误，也可能出现此错误。

在这种情况下，向Kafka发送消息的线程将被按时阻止，默认值正好为60000 ms。max.block.ms

您可以通过传递更改的值来检查它是否由于上述属性：

Properties props = new Properties();
...(among others)
props.put(ProducerConfig.MAX_BLOCK_MS_CONFIG, 30000); # 30 sec or any other value of your choice

如果在指定的时间之后抛出，那么您应该检查您的Kafka URL是否正确或Kafka实例是否处于活动状态。TimeoutException