首页 ❯

在将消息传递给消费者之前如何过滤消息？

java apache-kafka
2022-09-03 14:25:04

我正在与Kafka一起创建一个潜在客户和事件管理系统。问题是我们得到了许多虚假的线索（广告）。我们的系统中也有许多消费者。在去消费者之前，有没有过滤广告？我的解决方案是将所有内容写入第一个主题，然后由筛选器使用者读取它，然后将其写回第二个主题或对其进行筛选。但我不确定它是否有效。有什么想法吗？


答案 1

您可以将 Kafka Streams （http://kafka.apache.org/documentation.html#streamsapi） 与 0.10.+ 版本的 Kafka 一起使用。我认为这完全适合您的用例。


答案 2

是的，事实上，我基本上相信这是你应该在你的环境中处理问题的方式。由于Kafka仅用于有效传输数据，因此在清理数据方面，它本身无能为力。使用中介消费者获得的所有信息，该消费者可以运行自己的测试，以确定哪些内容通过其过滤器并推送到不同的主题/分区（根据您的需求）以获得最佳数据。


推荐
更多 »
标签
更多 »
php pass-by-reference optional-parameters default-value javascript arrays dom function string object serialization tostring visibility syntax jslint use-strict operators equality equality-operator identity-operator datetime timestamp date-arithmetic redirect angularjs loops foreach iteration scope variables
推荐
更多 »