最新动态
0766-6.3.3-如何实现Kafka跨网络访问
2025-01-01 03:18

文档说明

在使用Kafka时会遇到内外网的场景,即Kafka集群使用内网搭建,在内网和外网均有客户端需要消费Kafka的消息,同时在集群内由于使用内网环境通信,因此不必太过考虑通信的加密,所以在内网使用非安全的协议也能够通信,但对于外网环境出于安全考虑,只允许通过安全的协议访问Kafka集群,本文档介绍如何基于双网卡来配置Kafka。

通信方式如下图:

测试条件:

配置步骤

2.1 配置hosts

1.在集群内节点配置主机名和内网ip的映射如下:

2.在集群外节点配置主机名和外网ip的映射如下:

3.在此处对内外网环境做验证

由上图可以看到,外网的客户端节点只能访问192.168.0.*,而无法访问192.168.1.*,并且telnet内网的9092端口也是不通的。

2.2 配置Kafka相关的参数

1.进入CM的Kafka配置页面,搜索kafka.properties

2.根据三个不同的角色组,分别对Broker进行配置

至此配置完成。

注:advertised_listeners 是对外暴露的服务端口,真正建立连接用的是 listeners,listeners中配置的监听,如果不发布到advertised_listeners中是无法直接访问的,并且advertised_listeners中的配置必须要在listeners中已经配置过。

验证Kafka使用

1.在集群内节点创建topic,名称为faysonTopic,并生产一些消息。

2.在集群内节点通过非安全的方式对topic进行消费,使用9092端口

3.在集群外节点通过安全的方式使用外网环境消费topic,使用9797端口

使用到的配置文件截图如下:

至此测试完成,内外网环境均可成功消费Kafka中的消息

总结

1.针对listeners=PLAINTEXT://ip:9092,SASL_PLAINTEXT://:9797配置,让安全访问使用的9092端口只绑定在内网ip上,9797端口绑定在所有ip上,让外网环境只能够通过安全的协议来访问Kafka,如下:

    以上就是本篇文章【0766-6.3.3-如何实现Kafka跨网络访问】的全部内容了,欢迎阅览 ! 文章地址:https://sicmodule.kub2b.com/quote/17423.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 企库往资讯移动站https://sicmodule.kub2b.com/mobile/,查看更多   
发表评论
0评