本站提供互联网编程技术交流分享,部分技术教程不断更新中,请随时关注或联系我寻求帮助 ,同时也欢迎有兴趣的朋友进行投稿。

 分类:大数据

避坑指南:Kafka集群快速扩容的方案总结

避坑指南:Kafka集群快速扩容的方案总结
导语 熟悉Apache Kafka的同学都知道,当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时,新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量,节点负载等因素的影响,导致迁移时间较长...

熊哥club 93336℃ 0评论 1喜欢

zabbix监控kafka消费

zabbix监控kafka消费
一、Kafka监控的几个指标 1、lag:多少消息没有消费 lag=logsize-offset   2、logsize:Kafka存的消息总数 3、offset:已经消费的消息 二、查看zookeeper配置 cat /home/app/zooke...

熊哥club 8283℃ 0评论 5喜欢

你真的掌握 LVS、Nginx 及 HAProxy 的工作原理吗?

你真的掌握 LVS、Nginx 及 HAProxy 的工作原理吗?
当前大多数的互联网系统都使用了服务器集群技术,集群是将相同服务部署在多台服务器上构成一个集群整体对外提供服务,这些集群可以是 Web 应用服务器集群,也可以是数据库服务器集群,还可以是分布式缓存服务器集群等等。 在实际应用中,在 Web 服务器集群之前总会有一台负载均衡...

熊哥club 6998℃ 0评论 5喜欢

面试问Kafka的相关知识,这一篇就能全搞定

面试问Kafka的相关知识,这一篇就能全搞定
Kafka 基础 消息系统的作用 大部分小伙伴应该都清楚,这里用机油装箱举个例子: 所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解耦合的作用。 引入一个场景,我们知道中国移动,中国联通,中国电信的日志处理,是交给外包去做...

熊哥club 6107℃ 0评论 4喜欢

日志采集中的关键技术分析

日志采集中的关键技术分析
      日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师,他们通过读取日志来排查问题,如今,大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中,日志采集Agent在其中扮演着重要的角...

熊哥club 5240℃ 0评论 1喜欢

elasticsearch使用7大原则,让你玩转ES

elasticsearch使用7大原则,让你玩转ES
Elasticsearch是目前大数据领域最热门的技术栈之一,经过近8年的发展,已从0.0.X版升级至6.X版本,虽然增加了很多的特性和功能,但是在主体架构上,还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下,供大家参考。 一...

熊哥club 8037℃ 0评论 2喜欢

大规模Elasticsearch集群管理心得

大规模Elasticsearch集群管理心得
ElasticSearch目前在互联网公司主要用于两种应用场景,其一是用于构建业务的搜索功能模块且多是垂直领域的搜索,数据量级一般在千万至数十亿这个级别;其二用于大规模数据的实时OLAP,经典的如ELKStack,数据规模可能达到千亿或更多。 这两种场景的数据索引和应用访问模式上...

熊哥club 8029℃ 5评论 1喜欢

Zookeeper详细使用说明

Zookeeper详细使用说明
一、Zookeeper Zookeeper 概述 ZooKeeper是一种分布式协调服务,用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。ZooKeeper允许开发人员专注于核心应用程序逻辑,而不必担心应...

熊哥club 5596℃ 0评论 2喜欢

Kafka_2.11-0.10.0.1 详细使用指南【建议收藏】

Kafka_2.11-0.10.0.1 详细使用指南【建议收藏】
提到消息系统,目前最火热的非 Kafka 莫属,公司也打算利用 Kafka 进行各业务日志统一收集,这里结合自己的实践来分享一下具体的配置及使用。Kafka 版本 0.10.0.1   介绍 作为云计算大数据的套件,Kafka 是一个分布式的、可分区的、可复制的消息系...

熊哥club 8607℃ 0评论 5喜欢

用strings命令查看kafka-log内容 过滤二进制编码

用strings命令查看kafka-log内容 过滤二进制编码
kafka的log内容格式还不没怎么了解,想快速浏览消息内容的话,除了使用它自带的kafka-console-consumer.sh脚本,还可以直接去看log文件本身,不过内容里有部分二进制字符,通过命令看的话会有乱码。 strings 命令可以过滤掉二进制编码,但默认它也会过滤...

熊哥club 7611℃ 2评论 2喜欢

elasticsearch5.X快照和还原

elasticsearch5.X快照和还原
快照和还原 快照和还原模块支持创建单独索引或整个集群的快照到远程仓库,像共享文件系统、S3或HDFS等。你可以非常方便地进行快照备份以及比较迅速地进行快照还原,但快照的还原需要Elasticsearch的版本能正确的读取索引文件。这意味着: 在2.x版本中创建的索引的快照...

熊哥club 6567℃ 2评论 2喜欢

ES 5.0 集群运维命令整理

ES 5.0 集群运维命令整理
_cat命令 _cat用于查看集群当前状态,涉及到shard/node/cluster几个层次 基本参数 verbose: 显示列名, 请求参数为v 示例: curl localhost:9200/_cat/master?v help: 显示当前命令的各列含义, 请求参数为he...

熊哥club 8800℃ 4评论 2喜欢

×
订阅图标按钮