熊哥club- 关注和分享互联网编程技术，分享生活。

API 面试四连杀：接口如何设计？安全如何保证？签名如何实现？防重如何实现？

API 面试四连杀：接口如何设计？安全如何保证？签名如何实现？防重如何实现？说明：在实际的业务中，难免会跟第三方系统进行数据的交互与传递，那么如何保证数据在传输过程中的安全呢（防窃取）？除了https的协议之外，能不能加上通用的一套算法以及规范来保证传输的安全性呢？下面我们...

熊哥club 280℃ 0评论 0喜欢

ELK

Elasticsearch 预处理没有奇技淫巧，请先用好这一招！

1、上问题 1.1 线上实战问题 1——字符串切分 es可以根据_id字符串切分，再聚合统计吗比如：数据1、_id=C12345数据2、_id=C12456数据3、_id=C31268 通过es聚合统计C1开头的数量有2个C3开头的数据有1个这个API怎么写，有...

熊哥club 283℃ 0评论 0喜欢

大数据

zabbix监控kafka消费

一、Kafka监控的几个指标 1、lag：多少消息没有消费 lag=logsize-offset 2、logsize：Kafka存的消息总数 3、offset：已经消费的消息二、查看zookeeper配置 cat /home/app/zooke...

熊哥club 511℃ 0评论 0喜欢

ELK

Elasticsearch和MySQL查询原理分析与对比

导语 ES 现在已经越来越火，很多公司会把 MySQL 里面的数据导入到 ES，用 ES 来做海量数据的实时查询。那为什么 MySQL 做不了海量数据的实时查询呢？为什么 E...

熊哥club 952℃ 0评论 0喜欢

ELK

京东到家订单中心的 ES 集群架构演进之路

京东到家订单中心系统业务中，无论是外部商家的订单生产，或是内部上下游系统的依赖，订单查询的调用量都非常大，造成了订单数据读多写少的情况。我们把订单数据存储在MySQL中，但显然只通过DB来支撑大量的查询是不可取的。同时对于一些复杂的查询，MySQL支持得不够友好，所...

熊哥club 1074℃ 0评论 0喜欢

大数据

你真的掌握 LVS、Nginx 及 HAProxy 的工作原理吗？

当前大多数的互联网系统都使用了服务器集群技术，集群是将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是 Web 应用服务器集群，也可以是数据库服务器集群，还可以是分布式缓存服务器集群等等。在实际应用中，在 Web 服务器集群之前总会有一台负载均衡...

熊哥club 1176℃ 0评论 2喜欢

大数据

Apache Kafka 2.4 正式发布，重要功能详细介绍

2019年12月18日 Apache Kafka 2.4 正式发布了，这个版本有很多新功能，本文将介绍这个版本比较重要的功能，完整的更新可以参见 release notes。 Kafka broker, producer, 以及 consumer 新功能 KIP-392: 允许...

熊哥club 1268℃ 0评论 0喜欢

ELK

探究 | Elasticsearch集群规模和容量规划的底层逻辑

0、引言实战中经常遇到的问题：问题 1：请问下大家是如何评估集群的规模？比如数据量达到百万，千万，亿万，分别需要什么级别的集群，这要怎么评估？ ps：自己搭建的测试环境很难达到这一级别。问题 2：问题 3：我看了很多文章关于 es 集群规划的文章，总感觉乱七八糟的，没...

熊哥club 1581℃ 0评论 1喜欢

ELK

Elasticsearch存储深入详解

在本文中，我们将研究Elasticsearch的各个部分写入数据目录的文件。我们将查看节点，索引和分片级文件，并简要说明其内容，以便了解Elasticsearch写入磁盘的数据。 1、从Elasticsearch路径说起 Elasticsearch配置了多个路径： path....

熊哥club 1535℃ 1评论 0喜欢

ELK

拥抱 Elasticsearch：给 TiDB 插上全文检索的翅膀

作者介绍孙晓光，知乎技术平台负责人，与薛宁（@Inke）、黄梦龙（@PingCAP）、冯博（@知乎）组队参加了 TiDB Hackathon 2019，他们的项目 TiSearch 获得了 CTO 特别奖。 “搜索”是大家在使用各种 APP...

熊哥club 1418℃ 0评论 1喜欢

ELK

Elasticsearch删除数据操作，你必须知道的一些坑

前两天有同事打电话问我，说ES删除数据有没有什么坑？我当时就问，是删索引还是删索引里的数据？她回答说是删数据，我说查出这些数据直接删除就好了，没有什么坑。。。后来想想，关于ES数据的删除，之前确实遇到过很多删除场景，如果真要说有没有所谓的坑，细想一下，还真有。我维护过的E...

熊哥club 6340℃ 0评论 0喜欢

ELK

如何快速上手Logstash？看完本文就够了

Elasticsearch是当前主流的分布式大数据存储和搜索引擎，可以为用户提供强大的全文本检索能力，广泛应用于日志检索，全站搜索等领域。Logstash作为Elasicsearch常用的实时数据采集引擎，可以采集来自不同数据源的数据，并对数据进行处理后输出到多种输出源，是Ela...

熊哥club 1462℃ 0评论 0喜欢

ELK

你头疼的ELK难题，本文几乎都解决了

一、ELK实用知识点总结 1、编码转换问题这个问题，主要就是中文乱码。 input中的codec=>plain转码： codec => plain { charset => "GB2312" } 将G...

熊哥club 2032℃ 1评论 0喜欢

大数据

面试问Kafka的相关知识，这一篇就能全搞定

Kafka 基础消息系统的作用大部分小伙伴应该都清楚，这里用机油装箱举个例子：所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做...

熊哥club 1358℃ 0评论 1喜欢

ELK

云原生下日志方案的架构设计

本篇文章单刀直入，会直接跟大家分享一下如何在云原生的场景下搭建一个灵活、功能强大、可靠、可扩容的日志系统。需求驱动架构设计技术架构，是将产品需求转变为技术实现的过程。对于所有的架构师而言，能够将产品需求分析透彻是非常基本也是非常重要的一点。很多系统刚建成没多久就要被推翻，最...

熊哥club 1340℃ 0评论 0喜欢

ELK

Elasticsearch7.X学习路线图|值得收藏

1、为什么要梳理学习路线图？在关注Elastic 中文社区、QQ群、星球群的过程中，多多少少都会有一些基础问题冒出。而这些问题不复杂，多半都在官方文档中都有提及，稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。基本上通过Google、bing都能直接或间接搜索到答案...

熊哥club 5981℃ 4评论 3喜欢

ELK

Elasticsearch的Ingest节点使用在哪些场景下

最近生产遇到一个问题，通过scroll进行深度分页查询的时候，会导致ES的node节点内存持续升高至90%+，为了解决这个问题，引入了ingest角色。在之前的生产集群，从未用过这个角色，使用ingest也是看到网上说可以解决类似问题，就抱着试试的心态去实践了，目前效果不错，最起...

熊哥club 3619℃ 0评论 1喜欢

ELK

提升 elasticsearch 写入速度的案例分享

一、背景基本配置 5 台配置为 24C/125G/17T 的主机，每台主机上搭建了一个 elasticsearch 节点。采用的 elasticsearch 集群版本为 7.1.1。使用的管理工具包括 kibana 和 cerebro。数据来源数据来源为 kafka 的三个...

熊哥club 1748℃ 0评论 2喜欢

ELK

解决Skywalking对应的ES的CPU很高的问题

结论原因1：ES的新生代配置的太小，yong gc频率很高， 1s一次yonggc 解决方案：手动设置新生代、老年代比例 -XX:NewRatio=1 原因2：ES的索引没有配置为高性能写模式( 这个配置立杆见影 ) 解决方案：对skywalking对应的index添加如下配...

熊哥club 4606℃ 3评论 3喜欢

ELK

如何让你的Elasticsearch性能飞起来？最终目的：用户体验爽。

0、题记 Elasticsearch性能优化的最终目的：用户体验爽。关于爽的定义——著名产品人梁宁曾经说过“人在满足时候的状态叫做愉悦，人不被满足就会难受，就会开始寻求。如果这个人在寻求中，能立刻得到即时满足，这种感觉就是爽！”。 Elasticsearch的爽点就是：快、准、...

熊哥club 2794℃ 0评论 3喜欢

ELK

Elasticsearch 7.X都有哪些新特性&Elasticsearch 7.X升级注意事项

问题导读 1.Elasticsearch&Kibana 7.哪些需要修改？ 2.Elasticsearch7 有哪些新特性？ 3.Elasticsearch 7升级有哪些注意事项？ Elastic{ON}北京分享了Elasticsearch7.0在Speed,Scale...

熊哥club 7871℃ 0评论 5喜欢

系统

IPv6要来了！到底有啥区别？对普通人有什么影响？

你觉得升级到IPv6好处多吗？ 2017年底，国家开始推行IPv6普及，预计2年后达到5亿用户。报告里称，到2019年初，国内活跃用户要达到1.9亿。到2020年底，新增网络地址不再使用IPv4地址，并在2025年让中国IPv6用户成为全球最多。目前，我国三大运营商都公布...

熊哥club 2808℃ 0评论 2喜欢

系统

SSH使用技巧-通过代理解决直连有墙的问题

基本参数含义参数功能 -C 压缩数据传输 -f 后台运行 -N 不执行shell -L 本地端口转发 -R 远程端口转发 -D 动态端口转发动态端口转发假如我们可以通过跳板机来连接到内网机器 lab，我们希望访问网页时也经过该代理。...

熊哥club 2622℃ 2评论 3喜欢

ELK

Logstash读取Kafka数据写入HDFS详解

强大的功能，丰富的插件，让logstash在数据处理的行列中出类拔萃通常日志数据除了要入ES提供实时展示和简单统计外，还需要写入大数据集群来提供更为深入的逻辑处理，前边几篇ELK的文章介绍过利用logstash将kafka的数据写入到elasticsearch集群，这篇文章将...

熊哥club 3236℃ 0评论 3喜欢

ELK

filebeat对内存 io/cpu的消耗到底有多大

最近生产环境ESB的日志想接入ELK，但是业务和开发人员又担心在他们的服务器安装部署filebeat会产生性能消耗，让我给个评估，所以就网上搜索各种资料，整理一下filebeat的一些相关知识。 Filebeat工作原理 Filebeat是使用GO语言开发，工作原理如下：当Fil...

熊哥club 6749℃ 0评论 4喜欢

ELK

Elasticsearch搜索引擎性能调优

01 写优化对于写索引负载很高但是对搜索性能要求不是很高的场景如日志搜索，采用优秀的写索引策略就显得非常重要了。可以尝试以下几种方法来提升写索引的性能。 1．批量提交当有大量的写任务时，使用批量提交是种不错的方案。但是每次提交的数据量为多大时能达到最优...

熊哥club 235945℃ 0评论 4喜欢

ELK

为什么Elasticsearch查询变得这么慢了？

0、引言 Elasticsearch社区中经常看到慢查询问题：“你能帮我看看Elasticsearch的响应时间吗？”或者是：“我的ES查询耗时很长，我该怎么做？” 包含但不限于：Nested慢查询、集群查询慢、range查询慢等问题。 1、两个维度每当我们得到这些类型的问题...

熊哥club 335676℃ 3评论 2喜欢

ELK

Elasticsearch常见的5个错误及解决策略

网罗Elasticsearch最佳实践，实际应用场景中常见错误要预知和避免，以最大化提升集群性能。 1、采用动态Mapping 如果不定义Mapping，Elasticsearch会根据输入的数据，创建对应的Mapping，这看起来非常完美，但是Elasticsearch的动态M...

熊哥club 13122℃ 0评论 1喜欢

大数据

日志采集中的关键技术分析

日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集Agent在其中扮演着重要的角...

熊哥club 1956℃ 0评论 0喜欢

大数据

elasticsearch使用7大原则，让你玩转ES

Elasticsearch是目前大数据领域最热门的技术栈之一，经过近8年的发展，已从0.0.X版升级至6.X版本，虽然增加了很多的特性和功能，但是在主体架构上，还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下，供大家参考。一...

熊哥club 3238℃ 0评论 1喜欢

熊哥club - 关注和分享互联网编程技术，分享生活。

热门排行