熊哥club- 关注和分享互联网编程技术，分享生活。

提升 elasticsearch 写入速度的案例分享

一、背景基本配置 5 台配置为 24C/125G/17T 的主机，每台主机上搭建了一个 elasticsearch 节点。采用的 elasticsearch 集群版本为 7.1.1。使用的管理工具包括 kibana 和 cerebro。数据来源数据来源为 kafka 的三个...

熊哥club 64℃ 0评论 1喜欢

ELK

解决Skywalking对应的ES的CPU很高的问题

结论原因1：ES的新生代配置的太小，yong gc频率很高， 1s一次yonggc 解决方案：手动设置新生代、老年代比例 -XX:NewRatio=1 原因2：ES的索引没有配置为高性能写模式( 这个配置立杆见影 ) 解决方案：对skywalking对应的index添加如下配...

熊哥club 424℃ 1评论 2喜欢

ELK

如何让你的Elasticsearch性能飞起来？最终目的：用户体验爽。

0、题记 Elasticsearch性能优化的最终目的：用户体验爽。关于爽的定义——著名产品人梁宁曾经说过“人在满足时候的状态叫做愉悦，人不被满足就会难受，就会开始寻求。如果这个人在寻求中，能立刻得到即时满足，这种感觉就是爽！”。 Elasticsearch的爽点就是：快、准、...

熊哥club 402℃ 0评论 3喜欢

ELK

Elasticsearch 7.X都有哪些新特性&Elasticsearch 7.X升级注意事项

问题导读 1.Elasticsearch&Kibana 7.哪些需要修改？ 2.Elasticsearch7 有哪些新特性？ 3.Elasticsearch 7升级有哪些注意事项？ Elastic{ON}北京分享了Elasticsearch7.0在Speed,Scale...

熊哥club 812℃ 0评论 4喜欢

系统

IPv6要来了！到底有啥区别？对普通人有什么影响？

你觉得升级到IPv6好处多吗？ 2017年底，国家开始推行IPv6普及，预计2年后达到5亿用户。报告里称，到2019年初，国内活跃用户要达到1.9亿。到2020年底，新增网络地址不再使用IPv4地址，并在2025年让中国IPv6用户成为全球最多。目前，我国三大运营商都公布...

熊哥club 417℃ 0评论 2喜欢

系统

SSH使用技巧-通过代理解决直连有墙的问题

基本参数含义参数功能 -C 压缩数据传输 -f 后台运行 -N 不执行shell -L 本地端口转发 -R 远程端口转发 -D 动态端口转发动态端口转发假如我们可以通过跳板机来连接到内网机器 lab，我们希望访问网页时也经过该代理。...

熊哥club 329℃ 2评论 3喜欢

ELK

Logstash读取Kafka数据写入HDFS详解

强大的功能，丰富的插件，让logstash在数据处理的行列中出类拔萃通常日志数据除了要入ES提供实时展示和简单统计外，还需要写入大数据集群来提供更为深入的逻辑处理，前边几篇ELK的文章介绍过利用logstash将kafka的数据写入到elasticsearch集群，这篇文章将...

熊哥club 314℃ 0评论 3喜欢

ELK

filebeat对内存 io/cpu的消耗到底有多大

最近生产环境ESB的日志想接入ELK，但是业务和开发人员又担心在他们的服务器安装部署filebeat会产生性能消耗，让我给个评估，所以就网上搜索各种资料，整理一下filebeat的一些相关知识。 Filebeat工作原理 Filebeat是使用GO语言开发，工作原理如下：当Fil...

熊哥club 1108℃ 0评论 4喜欢

ELK

Elasticsearch搜索引擎性能调优

01 写优化对于写索引负载很高但是对搜索性能要求不是很高的场景如日志搜索，采用优秀的写索引策略就显得非常重要了。可以尝试以下几种方法来提升写索引的性能。 1．批量提交当有大量的写任务时，使用批量提交是种不错的方案。但是每次提交的数据量为多大时能达到最优...

熊哥club 234227℃ 0评论 4喜欢

ELK

为什么Elasticsearch查询变得这么慢了？

0、引言 Elasticsearch社区中经常看到慢查询问题：“你能帮我看看Elasticsearch的响应时间吗？”或者是：“我的ES查询耗时很长，我该怎么做？” 包含但不限于：Nested慢查询、集群查询慢、range查询慢等问题。 1、两个维度每当我们得到这些类型的问题...

熊哥club 333046℃ 3评论 2喜欢

ELK

Elasticsearch常见的5个错误及解决策略

网罗Elasticsearch最佳实践，实际应用场景中常见错误要预知和避免，以最大化提升集群性能。 1、采用动态Mapping 如果不定义Mapping，Elasticsearch会根据输入的数据，创建对应的Mapping，这看起来非常完美，但是Elasticsearch的动态M...

熊哥club 11710℃ 0评论 1喜欢

大数据

日志采集中的关键技术分析

日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集Agent在其中扮演着重要的角...

熊哥club 719℃ 0评论 0喜欢

大数据

elasticsearch使用7大原则，让你玩转ES

Elasticsearch是目前大数据领域最热门的技术栈之一，经过近8年的发展，已从0.0.X版升级至6.X版本，虽然增加了很多的特性和功能，但是在主体架构上，还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下，供大家参考。一...

熊哥club 969℃ 0评论 1喜欢

大数据

[parent] Data too large, data for [] would be larger than limit of

[parent] Data too large, data for [<http_request>] would be larger than limit of

Elasticsearch Data too large Error排查过程背景当时线上的kibana全都连不上，然后不管kibana还是es均在报同样的错误 ...

熊哥club 1001551℃ 3评论 1喜欢

大数据

大规模Elasticsearch集群管理心得

ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如ELKStack，数据规模可能达到千亿或更多。这两种场景的数据索引和应用访问模式上...

熊哥club 967℃ 3评论 0喜欢

前端

django实现zookeeper的监控

版本信息 $ python Python 2.7.5 (default, Jul 13 2018, 13:06:57) [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2 Type “help”, ̶...

熊哥club 982℃ 0评论 1喜欢

大数据

Zookeeper详细使用说明

一、Zookeeper Zookeeper 概述 ZooKeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。ZooKeeper允许开发人员专注于核心应用程序逻辑，而不必担心应...

熊哥club 758℃ 0评论 1喜欢

大数据

Kafka_2.11-0.10.0.1 详细使用指南【建议收藏】

提到消息系统，目前最火热的非 Kafka 莫属，公司也打算利用 Kafka 进行各业务日志统一收集，这里结合自己的实践来分享一下具体的配置及使用。Kafka 版本 0.10.0.1 介绍作为云计算大数据的套件，Kafka 是一个分布式的、可分区的、可复制的消息系...

熊哥club 937℃ 0评论 4喜欢

大数据

Kafka的MirrorMaker原理、使用以及性能调优实践

序言 Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和p...

熊哥club 1154℃ 0评论 0喜欢

大数据

用strings命令查看kafka-log内容过滤二进制编码

kafka的log内容格式还不没怎么了解，想快速浏览消息内容的话，除了使用它自带的kafka-console-consumer.sh脚本，还可以直接去看log文件本身，不过内容里有部分二进制字符，通过命令看的话会有乱码。 strings 命令可以过滤掉二进制编码，但默认它也会过滤...

熊哥club 1605℃ 2评论 1喜欢

大数据

elasticsearch5.X快照和还原

快照和还原快照和还原模块支持创建单独索引或整个集群的快照到远程仓库，像共享文件系统、S3或HDFS等。你可以非常方便地进行快照备份以及比较迅速地进行快照还原，但快照的还原需要Elasticsearch的版本能正确的读取索引文件。这意味着：在2.x版本中创建的索引的快照...

熊哥club 1083℃ 2评论 1喜欢

大数据

ES 5.0 集群运维命令整理

_cat命令 _cat用于查看集群当前状态,涉及到shard/node/cluster几个层次基本参数 verbose: 显示列名, 请求参数为v 示例: curl localhost:9200/_cat/master?v help: 显示当前命令的各列含义, 请求参数为he...

熊哥club 1339℃ 4评论 1喜欢

编程

elasticsearch-5.1.1使用snapshot接口备份索引

如果ES是集群，那么需要使用共享存储，支持的存储有： a、shared file system b、S3 c、HDFS 我使用的是第一种，NFS共享文件系统。这里要说一下权限问题，ES一般是使用 elasticsearch 用户启动的，要保证共享目录对 elasticsearch...

熊哥club 1824℃ 6评论 4喜欢

随笔

MySQL性能优化培训课随笔

12月1-2号熊哥参加了恩墨学院候大师的关于mysql性能优化的课程，受益匪浅啊看来我要全面发展了，开发→运维→DBA都得会啊上图是最新的数据库排行榜。排行前十的熊哥或多或少的都有接触，不过工作中最常用的还是mysql了下图是这两天培训做的笔记感谢侯院长详细认真幽默的...

熊哥club 3539℃ 18评论 5喜欢

建站

关于欲思主题本站yusi主题定制修改

最近由于工作生活比较忙一直没怎么维护自己的博客了其实玩博客的人一样都能看出来，熊哥用的是yusi的主题百度一搜就很多关于欲思主题的说明。不过欲思主题也很久没更新了当初一眼选中这个主题，是因为第一感觉很清新的样子，很适合做个人博客选择了后发现很多问题，好在自己懂点编程，都...

熊哥club 2933℃ 1评论 4喜欢

随笔

熊哥要去参加11月12号的上马了，有队友没

一票难求的上海国际马拉松赛将在本周日举行，将近4万名参赛选手会在上海（国际）赛事文化及体育用品博览会固定展区领取赛事装备包。今天，熊哥也去领取了装备。呵呵。你猜我跑的是多少公里的？猜猜哪个是我的名字。小芳死忠徒弟这名字很个性啊本届展会设在上海世博展览馆三楼，各大路跑品...

熊哥club 2100℃ 6评论 4喜欢

随笔

熊哥最近工作比较忙，下班或者周末都在带孩子，可能没那么多时间更新博客了

又是好久没有更新博客了。但是不代表不会更新了。其实在工作中有很多内容都已经记录下来，只是公司的网络环境的限制，没时间发布出来。再者儿子慢慢大了，开始懂事了，我要多花点时间陪伴他的童年。所以，最近熊哥的博客更新的少了，但是并不代表不会更新了。博友们欢迎常来哦。有空的时候我...

熊哥club 2302℃ 6评论 4喜欢

java

ELK之Elasticsearch学习（一）centOS安装启动ES

因为工作需要，最近熊哥要花点时间去研究ELK(ElasticSearch, Logstash, Kibana)。关于日志收集分析相关技术知识之前没有接触过，所以需要仔细研究一番。首先是ElasticSearch。从网上下载了一本关于ES的书籍《ElasticSearch服务器开...

熊哥club 4153℃ 15评论 5喜欢

阿里云

目前阿里云已对您的违法URL做屏蔽访问处理？不能在发布fan墙教程了

很不幸，今天收到阿里云的邮件和短信通知，告知熊哥的博客内容有违法互联网规定，直接给屏蔽了。收到邮件的时候，我还以为是网站被别人黑了，恶意挂马什么的。结果仔细一看，才发现，只是一篇以前的文章有涉及违规。可是阿里云直接给屏蔽了，我早已经忘记这篇文章的内容。不过我大概也能猜到，最...

熊哥club 3033℃ 6评论 3喜欢