这篇文章主要为大家展示了“kafka错误怎么解决”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“kafka错误怎么解决”这篇文章吧。
成都网站建设哪家好,找成都创新互联公司!专注于网页设计、成都网站建设、微信开发、小程序制作、集团企业网站建设等服务项目。核心团队均拥有互联网行业多年经验,服务众多知名企业客户;涵盖的客户类型包括:玻璃隔断等众多领域,积累了大量丰富的经验,同时也获得了客户的一致好评!今天由于kafka集群搭建时的配置不当,由于一台主消费者挂掉(服务器崩了,需要维修),导致了所有新版消费者(新版的offset存储在kafka)都无法拉取消息。
kafka的一个错误
由于是线上问题,所以是绝对不能影响用户的,使用老版客户端(offset存储在zk)进行消费,然后将kafka迁移到备用服务。
下面来说一下这次事故的具体处理思路
1.首先要确保获取到的消息不能丢失,所以老版消费者进行消费
2.线上服务通过均衡负载一台一台的进行切换kafka服务,当原生产者数据都消费完时,将消费者切换到备用服务
3.开始配置线上kafka服务
kafka错误怎么解决
主要做了如下修改
offsets.topic.replication.factor=3
设置副本数量为3,这样当一台消费者宕机时,其他消费者也可以进行消费
为了使topic可以进行复制副本,这里采用了比较粗暴的方法,直接清空topic和offset
分为以下几个步骤
./zookeeper-shell.sh227.0.0.1:24500
rmr/brokers/topics/topic-name
rmr/config/topics/topic-name
rmr/admin/delete_topics/topic-name
此时已经将topic完全删除,然后进行topic的新建
bin/kafka-topics--create--zookeeperlocalhost:2181--replication-factor3--partitions3--topictopic-name
这时可以启动生产者和消费者进行查看,已经不再出现一开始的异常
Connectiontonode-1couldnotbeestablished.Brokermaynotbeavailable.
这时我进行了测试,对三台broker中的任意一台进行下线,服务会自动选择其他节点进行生产和消费。
以上是“kafka错误怎么解决”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
网页题目:kafka错误怎么解决-创新互联
网页路径:http://lswzjz.com/article/egggi.html