====== 2019110301-环境配置导致无法写入kafka ====== ===== 背景说明 ===== ==== 基础环境介绍 ==== * 大数据集群一套,9台服务器,部署了hdfs/hive/spark/kafka等组件 * 独立应用服务器一台,部署Java环境 ==== 业务说明 ==== 应用服务器启动一个springboot应用,通过HttpRest接口接收外部业务系统埋点数据,写入kakfa, 后续通过spark streaming进行处理 ===== 问题发现 ===== ==== 问题症状 ==== springboot应用可以正常接受到数据,但是无法写入到kafka中,日志报错提升timeout ==== 问题定位 ==== **1. 网络问题** 判断应用服务和kafka集群网络的联通性,通过telnet发现可以打开kafka端口,没有问题 **2. 应用配置问题** 重新修改应用服务器的日至级别,查看系统详细输出日志,发现有一个提示:“Cannot resolv cdh06”。 经查,cdh06为大数据服务器的集群主机名称,因大数据集群未采用dns进行控制,故都是在集群内部通过修改hosts文件进行的处理。 而应用服务器无法进行识别,从而导致了该错误的发生 ===== 问题解决 ===== 将大数据集群中的hosts文件内容复制到应用服务器的hosts中,经过测试问题解决