大数据避坑指南：Kafka集群快速扩容的方案总结 导语 熟悉Apache Kafka的同学都知道，当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时，新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量，节点负载等因素的影响，导致迁移时间较长... 熊哥club 95885℃ 0评论 1喜欢
大数据zabbix监控kafka消费 一、Kafka监控的几个指标 1、lag：多少消息没有消费 lag=logsize-offset 2、logsize：Kafka存的消息总数 3、offset：已经消费的消息 二、查看zookeeper配置 cat /home/app/zooke... 熊哥club 10837℃ 0评论 5喜欢
大数据Apache Kafka 2.4 正式发布，重要功能详细介绍 2019年12月18日 Apache Kafka 2.4 正式发布了，这个版本有很多新功能，本文将介绍这个版本比较重要的功能，完整的更新可以参见 release notes。 Kafka broker, producer, 以及 consumer 新功能 KIP-392: 允许... 熊哥club 9288℃ 0评论 4喜欢
大数据面试问Kafka的相关知识，这一篇就能全搞定 Kafka 基础 消息系统的作用 大部分小伙伴应该都清楚，这里用机油装箱举个例子： 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。 引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做... 熊哥club 8481℃ 0评论 4喜欢
大数据Kafka_2.11-0.10.0.1 详细使用指南【建议收藏】 提到消息系统，目前最火热的非 Kafka 莫属，公司也打算利用 Kafka 进行各业务日志统一收集，这里结合自己的实践来分享一下具体的配置及使用。Kafka 版本 0.10.0.1 介绍 作为云计算大数据的套件，Kafka 是一个分布式的、可分区的、可复制的消息系... 熊哥club 10347℃ 0评论 5喜欢
大数据Kafka的MirrorMaker原理、使用以及性能调优实践 序言 Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和p... 熊哥club 11355℃ 0评论 1喜欢
大数据用strings命令查看kafka-log内容 过滤二进制编码 kafka的log内容格式还不没怎么了解，想快速浏览消息内容的话，除了使用它自带的kafka-console-consumer.sh脚本，还可以直接去看log文件本身，不过内容里有部分二进制字符，通过命令看的话会有乱码。 strings 命令可以过滤掉二进制编码，但默认它也会过滤... 熊哥club 9701℃ 2评论 2喜欢
