我在数据中心有一个Kafka群集.可以通过WAN(甚至是互联网)进行通信的一堆客户端将向/从群集发送/接收实时消息.

我从Kafka’s Documentation开始阅读：

…It is possible to read from or write to a remote Kafka cluster over the WAN though TCP tuning will be necessary for high-latency links.

It is generally not advisable to run a single Kafka cluster that spans multiple datacenters as this will incur very high replication latency both for Kafka writes and Zookeeper writes and neither Kafka nor Zookeeper will remain available if the network partitions.

据我所知,here和here：

>通过WAN生产不需要ZK并且没关系,只需要调整TCP以获得高延迟连接.大！校验.
>高级消费者API需要ZK连接.

那么客户是不是通过WAN读取/写入Kafka,受上述粗体集群的相同限制？

最佳答案 您突出显示的语句主要针对Kafka / zookeeper群集之间的内部通信,在网络分区期间会发生恶意事件,这在WAN中更为常见.

生产者是孤立的,如果有网络问题,应该能够根据您的设置缓冲/重试.

高级别的消费者比较棘手,因为您需要连接到zookeeper.在断开连接时,将进行重新平衡,并且更高的机会消息将被复制.

请记住,生产者需要能够到达每个Kafka经纪人并且消费者需要能够到达所有zookeeper节点和Kafka经纪人,负载均衡器将无法工作.