分类：编程

Elasticsearch常见的5个错误及解决策略

网罗Elasticsearch最佳实践，实际应用场景中常见错误要预知和避免，以最大化提升集群性能。 1、采用动态Mapping 如果不定义Mapping，Elasticsearch会根据输入的数据，创建对应的Mapping，这看起来非常完美，但是Elasticsearch的动态M...

熊哥club 17222℃ 0评论 1喜欢

日志采集中的关键技术分析

日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集Agent在其中扮演着重要的角...

熊哥club 5294℃ 0评论 1喜欢

elasticsearch使用7大原则，让你玩转ES

Elasticsearch是目前大数据领域最热门的技术栈之一，经过近8年的发展，已从0.0.X版升级至6.X版本，虽然增加了很多的特性和功能，但是在主体架构上，还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下，供大家参考。一...

熊哥club 8091℃ 0评论 2喜欢

[parent] Data too large, data for [] would be larger than limit of

[parent] Data too large, data for [<http_request>] would be larger than limit of

Elasticsearch Data too large Error排查过程背景当时线上的kibana全都连不上，然后不管kibana还是es均在报同样的错误 [parent] Data too large, data for [<transport_req...

熊哥club 1022678℃ 5评论 2喜欢

大规模Elasticsearch集群管理心得

ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如ELKStack，数据规模可能达到千亿或更多。这两种场景的数据索引和应用访问模式上...

熊哥club 8083℃ 5评论 1喜欢

django实现zookeeper的监控

版本信息 $ python Python 2.7.5 (default, Jul 13 2018, 13:06:57) [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2 Type "help", "copyright", "cre...

熊哥club 7200℃ 0评论 1喜欢

Zookeeper详细使用说明

一、Zookeeper Zookeeper 概述 ZooKeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。ZooKeeper允许开发人员专注于核心应用程序逻辑，而不必担心应...

熊哥club 5644℃ 0评论 2喜欢

Kafka_2.11-0.10.0.1 详细使用指南【建议收藏】

提到消息系统，目前最火热的非 Kafka 莫属，公司也打算利用 Kafka 进行各业务日志统一收集，这里结合自己的实践来分享一下具体的配置及使用。Kafka 版本 0.10.0.1 介绍作为云计算大数据的套件，Kafka 是一个分布式的、可分区的、可复制的消息系...

熊哥club 8661℃ 0评论 5喜欢

Kafka的MirrorMaker原理、使用以及性能调优实践

序言 Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和p...

熊哥club 9779℃ 0评论 1喜欢

用strings命令查看kafka-log内容过滤二进制编码

kafka的log内容格式还不没怎么了解，想快速浏览消息内容的话，除了使用它自带的kafka-console-consumer.sh脚本，还可以直接去看log文件本身，不过内容里有部分二进制字符，通过命令看的话会有乱码。 strings 命令可以过滤掉二进制编码，但默认它也会过滤...

熊哥club 7661℃ 2评论 2喜欢

elasticsearch5.X快照和还原

快照和还原快照和还原模块支持创建单独索引或整个集群的快照到远程仓库，像共享文件系统、S3或HDFS等。你可以非常方便地进行快照备份以及比较迅速地进行快照还原，但快照的还原需要Elasticsearch的版本能正确的读取索引文件。这意味着：在2.x版本中创建的索引的快照...

熊哥club 6619℃ 2评论 2喜欢

ES 5.0 集群运维命令整理

_cat命令 _cat用于查看集群当前状态,涉及到shard/node/cluster几个层次基本参数 verbose: 显示列名, 请求参数为v 示例: curl localhost:9200/_cat/master?v help: 显示当前命令的各列含义, 请求参数为he...

熊哥club 8834℃ 4评论 2喜欢

elasticsearch-5.1.1使用snapshot接口备份索引

如果ES是集群，那么需要使用共享存储，支持的存储有： a、shared file system b、S3 c、HDFS 我使用的是第一种，NFS共享文件系统。这里要说一下权限问题，ES一般是使用 elasticsearch 用户启动的，要保证共享目录对 elasticsearch...

熊哥club 8588℃ 6评论 4喜欢

ELK之Elasticsearch学习（一）centOS安装启动ES

因为工作需要，最近熊哥要花点时间去研究ELK(ElasticSearch, Logstash, Kibana)。关于日志收集分析相关技术知识之前没有接触过，所以需要仔细研究一番。首先是ElasticSearch。从网上下载了一本关于ES的书籍《ElasticSearch服务器开...

熊哥club 12443℃ 15评论 6喜欢

JDK8新特性总结。

JDK9原计划17年上半年就发版，但未成功发版。才发现JDK8的特性还没总结过，特此总结。工作中一直使用的是jdk7，但是最近发现很多公司使用了jdk8，所以简单研究一下。一、十大特性。 1.Lambda表达式 2.Stream函数式操作流元素集合 3.接口新增：默认方法与静...

熊哥club 6199℃ 0评论 3喜欢

大话设计模式-攀登面向对象编程高峰

《大话设计模式》是准备攀登面向对象编程高峰朋友们的引路人和提携者；《大话设计模式》是学习、体会和领悟了众多大师智慧结晶后的图书作品；《大话设计模式》是你深入理解和感受GoF的《设计模式》及其它大师作品的必备书籍；《大话设计模式》授之以“鱼”，更授之以“渔”。本文地址: ht...

熊哥club 6614℃ 3评论 7喜欢

java经验技术总结

1.引言意识到以前也有很多认识误区，比如：偏爱收集，经常收集各种资料视频塞满一个个硬盘，然后心满意足的看着容量不行动。不重基础，总觉得很多基础东西不需要再看了，其实不懂的地方很多，计算机程序方面任何一个结果都必有原因，不要只会用不知道原理，那是加工厂出来的。现在ide查看代...

熊哥club 6030℃ 1评论 0喜欢

dwr3+spring实现消息实时推送

最近项目要实现一个消息推送的功能，主要就是发送站内信或者系统主动推送消息给当前在线的用户。每次的消息内容保存数据库，方便用户下次登录后也能看到。如果当前用户在线，收到站内信就主动弹出提示。一开始想到的是前台定时轮询通过ajax查询是否有未读消息。但是这种对系统压力太大。然后网上查...

熊哥club 7352℃ 1评论 5喜欢

logback.xml配置文件logback日志记录框架

总感觉我的logback配置文件有问题 <?xml version="1.0" encoding="UTF-8"?>  <configuration> <property name="logDir" ...

熊哥club 8080℃ 3评论 0喜欢

CMD一键获取所有连接过的WIFI密码

CMD平常人看起來根本沒什麼用，但是如果你会使用，你会发现：它真的很强大！ Windows 8、Windows 8.1、Windows 10已测试成功！Windows 7没条件测试... 使用方法：一、以管理员权限运行CMD （以及开启无线网卡、最好是笔记本）二、输入命令...

熊哥club 7108℃ 0评论 1喜欢

面对WannaCry勒索病毒升级如何才能安全使用电脑

自上周末，全球性爆发一个名为“WannaCry”的勒索病毒，其在短短数小时内发动数万次攻击，袭击了全球数十个国家。由于其通过扫描开放445文件共享端口的Windows电脑，无需用户进行任何操作，只要开机联网，攻击者即可在电脑和服务器中植入勒索病毒。 WannaCry勒索病毒爆发 ...

熊哥club 8055℃ 0评论 0喜欢

使用JS判断客户端、浏览器、操作系统类型

一、JS判断客户端类型 JS判断客户端是否是iOS或者Android手机移动端通过判断浏览器的userAgent，用正则来判断手机是否是ios和Android客户端。核心代码如下：方法一： <!DOCTYPE html> <html> <h...

熊哥club 7991℃ 1评论 2喜欢

java更新jar包里的配置文件

起因从笔记本传了个jar到服务器，运行的时候才发现配置文件一个ip项填错了。本来很简单的问题，maven重新打包就可以了，但是30多M的jar包就因为一个配置项错了又要重新传一遍，笔记本连的WiFi速度有限，又要个一两分钟。于是想直接在服务器上更新jar包里的配置文件。方法一...

熊哥club 8805℃ 0评论 1喜欢

500 G JAVA视频网盘分享

[涵盖从java入门到深入架构，Linux、云计算、分布式、大数据Hadoop、ios、Android、互联网技术应有尽有] 1、javascript视频教程链接: http://pan.baidu.com/s/1gd57FVH 密码: d9ei 2、JPA视频教程...

熊哥club 10259℃ 5评论 3喜欢

GitHub上整理的一些工具，感觉很有用，分享收藏一下

技术站点 Hacker News：非常棒的针对编程的链接聚合网站 Programming reddit：同上 MSDN：微软相关的官方技术集中地，主要是文档类 infoq：企业级应用，关注软件开发领域 OSChina：开源技术社区，开源方面做的不错哦 cnblogs，51cto...

熊哥club 6866℃ 0评论 1喜欢

如何设计一个秒杀系统

这篇文章已经很久了，当初的设想是单机编程，每台服务器获得自己能够卖出多少产品，用户被随机分配到每台机器上进行处理。一、题目 1, 这是一个秒杀系统，即大量用户抢有限的商品，先到先得 2, 用户并发访问流量非常大, 需要分布式的机器集群处理请求 3, 系统实现使用Java 二、模...

熊哥club 4980℃ 0评论 1喜欢

tomcat运行错误排查,org.apache.coyote.http11.AbstractHttp11Processor process

最近发现服务器的tomcat运行经常报如下错误，虽然不影响正常运行，但是总感觉看着不爽。有bug，必须解决。但是一直没找到解决办法，最近比较忙，等有空了仔细研究下，搞定它，先记录下来 ar 15, 2017 8:14:49 PM org.apache.coyote.http11...

熊哥club 10907℃ 2评论 0喜欢

Java问题排查工具汇总

平时的工作中经常碰到很多疑难问题的处理，在解决问题的同时，有一些工具起到了相当大的作用，在此书写下来，一是作为笔记，可以让自己后续忘记了可快速翻阅，二是分享，希望看到此文的同学们可以拿出自己日常觉得帮助很大的工具，大家一起进步。闲话不多说，开搞。 Linux命...

熊哥club 9319℃ 0评论 2喜欢

tomcat配置多域名站点启动时项目重复加载多次

这两天熊哥在配置tomcat多站点的时候遇到一个问题，目前有两个java web项目，要求放在一个tomcat下并通过二级域名问。所以我就在server.xml增加了多个host的配置。但是配置成功后，启动tomcat发现，项目居然被重复加载了3次。感觉很莫名，然后就google...

熊哥club 11770℃ 1评论 1喜欢

Java操作wkhtmltopdf实现Html转PDF

做java开发的都知道，java生成pdf大部分都是用itext，itext的确是java开源组件的第一选择。不过itext也有局限，就是要自己写模版，系统中的表单数量有好几百个，为每个表单做一个导出模版不现实。所以找了个直接可以调用的工具wkhtmltopdf，将生成好的ht...

熊哥club 10877℃ 0评论 2喜欢