这是本文档旧的修订版!
应用服务器启动一个springboot应用,通过HttpRest接口接收外部业务系统埋点数据,写入kakfa, 后续通过spark streaming进行处理
springboot应用可以正常接受到数据,但是无法写入到kafka中,日志报错提升timeout
1. 网络问题
判断应用服务和kafka集群网络的联通性,通过telnet发现可以打开kafka端口,没有问题
2. 应用配置问题
重新修改应用服务器的日至级别,查看系统详细输出日志,发现有一个提示:“Cannot resolv cdh06”。 经查,cdh06为大数据服务器的集群主机名称,因大数据集群未采用dns进行控制,故都是在集群内部通过修改hosts文件进行的处理。 而应用服务器无法进行识别,从而导致了该错误的发生
将大数据集群中的hosts文件内容复制到应用服务器的hosts中,经过测试问题解决