KAFKA:60000 毫秒后无法更新元数据

2022-09-03 02:55:10

我是KAFKA的新手,我知道这个问题已经在堆栈溢出中被问过多次,但没有一个解决方案对我有用,所以在这里我尝试运气再次提出同样的问题。我已经在 Centos7 VM 上下载并安装了 KFKA。VM 位于我的笔记本电脑上。当我从命令行运行 KAFKA 生产者和消费者时,它工作正常。下一步,我想创建一个Java Producer,但它总是超时,出现以下异常。

    Exception in thread "main" java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.
    at org.apache.kafka.clients.producer.KafkaProducer$FutureFailure.<init>(KafkaProducer.java:1186)
    at org.apache.kafka.clients.producer.KafkaProducer.doSend(KafkaProducer.java:880)
    at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:803)
    at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:690)
    at com.soft.teradata.KafkaProducerExample.runProducer(KafkaProducerExample.java:40)
    at com.soft.teradata.KafkaProducerExample.main(KafkaProducerExample.java:55)
Caused by: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.

生产者的 Java 代码是:

package com.soft;
import java.util.Properties;
import java.util.concurrent.Future;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
public class SimpleProducer {
    public static void main(String[] args) throws Exception {
        try {
            String topicName = "Hello-Kafka";
            Properties props = new Properties();
            props.put("bootstrap.servers", "192.168.xxx.xxx:9092");
            props.put("acks", "all");
            props.put("retries", 1);
            props.put("batch.size", 16384);
            props.put("linger.ms", 1);
            props.put("buffer.memory", 33554432);
            props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
            props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
            Producer<String, String> producer = new KafkaProducer<String, String>(props);
            Future<RecordMetadata> f=producer.send(new ProducerRecord<String, String>(topicName, "Eclipse"));
            System.out.println("Message sent successfully");
            producer.close();
        } catch (Exception e) {
            System.out.println(e.getMessage());
        } 
            System.out.println("Successful");

    }
} 

对于bootstrap.server,我甚至尝试了以下方法:

props.put(“bootstrap.servers”, “PLAINTEXT://192.168.xxx.xxx:9092”);

请注意,我正在我的笔记本电脑上执行Eclipse的java代码,而KAFKA安装在笔记本电脑上的CENTOS7 VM上。192.168.xxx.xxx 是 CENTOS7 VM 的 IP 地址。我注意到 192.168.xxx.xxx:9092(telnet 192.168.xxx.xxx 9092)无法从我的笔记本电脑访问。我将端口添加到防火墙,但仍然没有成功。

firewall-cmd --zone=public --add-port=9092/tcp --permanent
        firewall-cmd --reload
        firewall-cmd --list-ports

KAFKA的版本是2.12-2.0.0,我已经在我的Eclipse Classpath中添加了以下jars:

  • kafka-clients-2.0.0.jar
  • lz4-java-1.4.1.jar
  • slf4j-api-1.7.25.jar
  • snappy-java-1.1.7.1.jar

非常感谢您提前:)

Regadrs, DIRSHAH.


答案 1

此错误可能表示该主题不存在,因此您可能需要仔细检查您的主题名称 = “Hello-Kafka”。

虽然这并不是一个深刻的答案,但它似乎是一个常见问题,另请参阅 https://github.com/dpkp/kafka-python/issues/607


答案 2

我遇到了同样的问题。您需要公布Kafka经纪人的主机名/ ip,以便可以从Kafka Producer pc访问。

 kafka-server-start.sh config/server.properties --override  advertised.listeners=PLAINTEXT://<accessible-hostname>:9092

推荐