用户工具

站点工具


bugs:bigdata:2019110301

这是本文档旧的修订版!


2019110301-环境配置导致无法写入kafka

背景说明

基础环境介绍

  • 大数据集群一套,9台服务器,部署了hdfs/hive/spark/kafka等组件
  • 独立应用服务器一台,部署Java环境

==== 业务说明

应用服务器启动一个springboot应用,通过HttpRest接口接收外部业务系统埋点数据,写入kakfa, 后续通过spark streaming进行处理

问题发现

问题症状

springboot应用可以正常接受到数据,但是无法写入到kafka中,日志报错提升timeout

问题定位

1. 网络问题

判断应用服务和kafka集群网络的联通性,通过telnet发现可以打开kafka端口,没有问题

2. 应用配置问题

重新修改应用服务器的日至级别,查看系统详细输出日志,发现有一个提示:“Cannot resolv cdh06”。 经查,cdh06为大数据服务器的集群主机名称,因大数据集群未采用dns进行控制,故都是在集群内部通过修改hosts文件进行的处理。 而应用服务器无法进行识别,从而导致了该错误的发生

问题解决

将大数据集群中的hosts文件内容复制到应用服务器的hosts中,经过测试问题解决

bugs/bigdata/2019110301.1572754109.txt.gz · 最后更改: 2020/07/12 12:07 (外部编辑)