本站提供互联网编程技术交流分享,部分技术教程不断更新中,请随时关注或联系我寻求帮助 ,同时也欢迎有兴趣的朋友进行投稿。

熊哥club的文章

一个屌丝程序猿,为了小小的梦想不断奋斗着。。。
ELK

Elasticsearch7.X学习路线图|值得收藏

Elasticsearch7.X学习路线图|值得收藏
1、为什么要梳理学习路线图? 在关注Elastic 中文社区、QQ群、星球群的过程中,多多少少都会有一些基础问题冒出。而这些问题不复杂,多半都在官方文档中都有提及,稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。 基本上通过Google、bing都能直接或间接搜索到答案...

2435℃ 3评论 2喜欢

ELK

Elasticsearch的Ingest节点使用在哪些场景下

Elasticsearch的Ingest节点使用在哪些场景下
最近生产遇到一个问题,通过scroll进行深度分页查询的时候,会导致ES的node节点内存持续升高至90%+,为了解决这个问题,引入了ingest角色。在之前的生产集群,从未用过这个角色,使用ingest也是看到网上说可以解决类似问题,就抱着试试的心态去实践了,目前效果不错,最起...

2265℃ 0评论 1喜欢

ELK

提升 elasticsearch 写入速度的案例分享

提升 elasticsearch 写入速度的案例分享
一、背景 基本配置 5 台配置为 24C/125G/17T 的主机,每台主机上搭建了一个 elasticsearch 节点。采用的 elasticsearch 集群版本为 7.1.1。使用的管理工具包括 kibana 和 cerebro。 数据来源 数据来源为 kafka 的三个...

126℃ 0评论 2喜欢

ELK

解决Skywalking对应的ES的CPU很高的问题

解决Skywalking对应的ES的CPU很高的问题
结论 原因1:ES的新生代配置的太小,yong gc频率很高, 1s一次yonggc 解决方案:手动设置新生代、老年代比例 -XX:NewRatio=1 原因2:ES的索引没有配置为高性能写模式( 这个配置立杆见影 ) 解决方案:对skywalking对应的index添加如下配...

503℃ 1评论 2喜欢

ELK

Logstash读取Kafka数据写入HDFS详解

Logstash读取Kafka数据写入HDFS详解
强大的功能,丰富的插件,让logstash在数据处理的行列中出类拔萃 通常日志数据除了要入ES提供实时展示和简单统计外,还需要写入大数据集群来提供更为深入的逻辑处理,前边几篇ELK的文章介绍过利用logstash将kafka的数据写入到elasticsearch集群,这篇文章将...

362℃ 0评论 3喜欢

ELK

filebeat对内存 io/cpu的消耗到底有多大

filebeat对内存 io/cpu的消耗到底有多大
最近生产环境ESB的日志想接入ELK,但是业务和开发人员又担心在他们的服务器安装部署filebeat会产生性能消耗,让我给个评估,所以就网上搜索各种资料,整理一下filebeat的一些相关知识。 Filebeat工作原理 Filebeat是使用GO语言开发,工作原理如下:当Fil...

1367℃ 0评论 4喜欢

ELK

Elasticsearch搜索引擎性能调优

Elasticsearch搜索引擎性能调优
01 写优化 对于写索引负载很高但是对搜索性能要求不是很高的场景如日志搜索,采用优秀的写索引策略就显得非常重要了。可以尝试以下几种方法来提升写索引的性能。 1.批量提交 当有大量的写任务时,使用批量提交是种不错的方案。但是每次提交的数据量为多大时能达到最优...

234279℃ 0评论 4喜欢

ELK

为什么Elasticsearch查询变得这么慢了?

为什么Elasticsearch查询变得这么慢了?
0、引言 Elasticsearch社区中经常看到慢查询问题:“你能帮我看看Elasticsearch的响应时间吗?”或者是:“我的ES查询耗时很长,我该怎么做?” 包含但不限于:Nested慢查询、集群查询慢、range查询慢等问题。 1、两个维度 每当我们得到这些类型的问题...

333126℃ 3评论 2喜欢

ELK

Elasticsearch常见的5个错误及解决策略

Elasticsearch常见的5个错误及解决策略
网罗Elasticsearch最佳实践,实际应用场景中常见错误要预知和避免,以最大化提升集群性能。 1、采用动态Mapping 如果不定义Mapping,Elasticsearch会根据输入的数据,创建对应的Mapping,这看起来非常完美,但是Elasticsearch的动态M...

11748℃ 0评论 1喜欢

大数据

日志采集中的关键技术分析

日志采集中的关键技术分析
      日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师,他们通过读取日志来排查问题,如今,大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中,日志采集Agent在其中扮演着重要的角...

750℃ 0评论 0喜欢

大数据

elasticsearch使用7大原则,让你玩转ES

elasticsearch使用7大原则,让你玩转ES
Elasticsearch是目前大数据领域最热门的技术栈之一,经过近8年的发展,已从0.0.X版升级至6.X版本,虽然增加了很多的特性和功能,但是在主体架构上,还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下,供大家参考。 一...

1030℃ 0评论 1喜欢

大数据

大规模Elasticsearch集群管理心得

大规模Elasticsearch集群管理心得
ElasticSearch目前在互联网公司主要用于两种应用场景,其一是用于构建业务的搜索功能模块且多是垂直领域的搜索,数据量级一般在千万至数十亿这个级别;其二用于大规模数据的实时OLAP,经典的如ELKStack,数据规模可能达到千亿或更多。 这两种场景的数据索引和应用访问模式上...

1056℃ 3评论 0喜欢

大数据

Zookeeper详细使用说明

Zookeeper详细使用说明
一、Zookeeper Zookeeper 概述 ZooKeeper是一种分布式协调服务,用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。ZooKeeper允许开发人员专注于核心应用程序逻辑,而不必担心应...

787℃ 0评论 1喜欢

大数据

Kafka_2.11-0.10.0.1 详细使用指南【建议收藏】

Kafka_2.11-0.10.0.1 详细使用指南【建议收藏】
提到消息系统,目前最火热的非 Kafka 莫属,公司也打算利用 Kafka 进行各业务日志统一收集,这里结合自己的实践来分享一下具体的配置及使用。Kafka 版本 0.10.0.1   介绍 作为云计算大数据的套件,Kafka 是一个分布式的、可分区的、可复制的消息系...

1004℃ 0评论 4喜欢

大数据

用strings命令查看kafka-log内容 过滤二进制编码

用strings命令查看kafka-log内容 过滤二进制编码
kafka的log内容格式还不没怎么了解,想快速浏览消息内容的话,除了使用它自带的kafka-console-consumer.sh脚本,还可以直接去看log文件本身,不过内容里有部分二进制字符,通过命令看的话会有乱码。 strings 命令可以过滤掉二进制编码,但默认它也会过滤...

1673℃ 2评论 1喜欢

大数据

elasticsearch5.X快照和还原

elasticsearch5.X快照和还原
快照和还原 快照和还原模块支持创建单独索引或整个集群的快照到远程仓库,像共享文件系统、S3或HDFS等。你可以非常方便地进行快照备份以及比较迅速地进行快照还原,但快照的还原需要Elasticsearch的版本能正确的读取索引文件。这意味着: 在2.x版本中创建的索引的快照...

1132℃ 2评论 1喜欢

大数据

ES 5.0 集群运维命令整理

ES 5.0 集群运维命令整理
_cat命令 _cat用于查看集群当前状态,涉及到shard/node/cluster几个层次 基本参数 verbose: 显示列名, 请求参数为v 示例: curl localhost:9200/_cat/master?v help: 显示当前命令的各列含义, 请求参数为he...

1411℃ 4评论 1喜欢

编程

elasticsearch-5.1.1使用snapshot接口备份索引

elasticsearch-5.1.1使用snapshot接口备份索引
如果ES是集群,那么需要使用共享存储,支持的存储有: a、shared file system b、S3 c、HDFS 我使用的是第一种,NFS共享文件系统。这里要说一下权限问题,ES一般是使用 elasticsearch 用户启动的,要保证共享目录对 elasticsearch...

1910℃ 6评论 4喜欢

随笔

MySQL性能优化培训课随笔

MySQL性能优化培训课随笔
12月1-2号熊哥参加了恩墨学院候大师的关于mysql性能优化的课程,受益匪浅啊 看来我要全面发展了,开发→运维→DBA都得会啊 上图是最新的数据库排行榜。排行前十的熊哥或多或少的都有接触,不过工作中最常用的还是mysql了 下图是这两天培训做的笔记 感谢侯院长详细认真幽默的...

3903℃ 18评论 5喜欢

建站

关于欲思主题本站yusi主题定制修改

关于欲思主题本站yusi主题定制修改
最近由于工作生活比较忙 一直没怎么维护自己的博客了 其实玩博客的人一样都能看出来,熊哥用的是yusi的主题 百度一搜就很多关于欲思主题的说明。不过欲思主题也很久没更新了 当初一眼选中这个主题,是因为第一感觉很清新的样子,很适合做个人博客 选择了后发现很多问题,好在自己懂点编程,都...

3025℃ 1评论 4喜欢

随笔

熊哥要去参加11月12号的上马了,有队友没

熊哥要去参加11月12号的上马了,有队友没
一票难求的上海国际马拉松赛将在本周日举行,将近4万名参赛选手会在上海(国际)赛事文化及体育用品博览会固定展区领取赛事装备包。 今天,熊哥也去领取了装备。呵呵。你猜我跑的是多少公里的? 猜猜哪个是我的名字。小芳死忠徒弟  这名字很个性啊 本届展会设在上海世博展览馆三楼,各大路跑品...

2205℃ 6评论 4喜欢

随笔

熊哥最近工作比较忙,下班或者周末都在带孩子,可能没那么多时间更新博客了

熊哥最近工作比较忙,下班或者周末都在带孩子,可能没那么多时间更新博客了
又是好久没有更新博客了。 但是不代表不会更新了。 其实在工作中有很多内容都已经记录下来,只是公司的网络环境的限制,没时间发布出来。 再者儿子慢慢大了,开始懂事了,我要多花点时间陪伴他的童年。 所以,最近熊哥的博客更新的少了,但是并不代表不会更新了。博友们欢迎常来哦。 有空的时候我...

2424℃ 6评论 4喜欢

java

ELK之Elasticsearch学习(一)centOS安装启动ES

ELK之Elasticsearch学习(一)centOS安装启动ES
因为工作需要,最近熊哥要花点时间去研究ELK(ElasticSearch, Logstash, Kibana)。关于日志收集分析相关技术知识之前没有接触过,所以需要仔细研究一番。 首先是ElasticSearch。从网上下载了一本关于ES的书籍《ElasticSearch服务器开...

4401℃ 15评论 5喜欢

×
订阅图标按钮