大数据避坑指南:Kafka集群快速扩容的方案总结 导语 熟悉Apache Kafka的同学都知道,当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时,新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量,节点负载等因素的影响,导致迁移时间较长... 熊哥club 94472℃ 0评论 1喜欢
大数据zabbix监控kafka消费 一、Kafka监控的几个指标 1、lag:多少消息没有消费 lag=logsize-offset 2、logsize:Kafka存的消息总数 3、offset:已经消费的消息 二、查看zookeeper配置 cat /home/app/zooke... 熊哥club 9424℃ 0评论 5喜欢
大数据Apache Kafka 2.4 正式发布,重要功能详细介绍 2019年12月18日 Apache Kafka 2.4 正式发布了,这个版本有很多新功能,本文将介绍这个版本比较重要的功能,完整的更新可以参见 release notes。 Kafka broker, producer, 以及 consumer 新功能 KIP-392: 允许... 熊哥club 7780℃ 0评论 4喜欢
大数据面试问Kafka的相关知识,这一篇就能全搞定 Kafka 基础 消息系统的作用 大部分小伙伴应该都清楚,这里用机油装箱举个例子: 所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解耦合的作用。 引入一个场景,我们知道中国移动,中国联通,中国电信的日志处理,是交给外包去做... 熊哥club 7107℃ 0评论 4喜欢
大数据Kafka_2.11-0.10.0.1 详细使用指南【建议收藏】 提到消息系统,目前最火热的非 Kafka 莫属,公司也打算利用 Kafka 进行各业务日志统一收集,这里结合自己的实践来分享一下具体的配置及使用。Kafka 版本 0.10.0.1 介绍 作为云计算大数据的套件,Kafka 是一个分布式的、可分区的、可复制的消息系... 熊哥club 9141℃ 0评论 5喜欢
大数据Kafka的MirrorMaker原理、使用以及性能调优实践 序言 Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理,其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster,即普通的消息生产和消费。用户只要通过简单的consumer配置和p... 熊哥club 10207℃ 0评论 1喜欢
大数据用strings命令查看kafka-log内容 过滤二进制编码 kafka的log内容格式还不没怎么了解,想快速浏览消息内容的话,除了使用它自带的kafka-console-consumer.sh脚本,还可以直接去看log文件本身,不过内容里有部分二进制字符,通过命令看的话会有乱码。 strings 命令可以过滤掉二进制编码,但默认它也会过滤... 熊哥club 8277℃ 2评论 2喜欢