本站提供互联网编程技术交流分享,部分技术教程不断更新中,请随时关注或联系我寻求帮助 有事点我吧同时也欢迎有兴趣的朋友进行投稿。

filebeat对内存 io/cpu的消耗到底有多大

ELK 熊哥club 330℃ 0评论

最近生产环境ESB的日志想接入ELK,但是业务和开发人员又担心在他们的服务器安装部署filebeat会产生性能消耗,让我给个评估,所以就网上搜索各种资料,整理一下filebeat的一些相关知识。

Filebeat工作原理

Filebeat是使用GO语言开发,工作原理如下:当Filebeat启动时,它会启动一个或者多个prospector监控日志路径或日志文件,每个日志文件会有一个对应的harvester,harvester按行读取日志内容并转发至后台程序。Filebeat维护一个记录文件读取信息的注册文件,记录每个harvester最后读取位置的偏移量。
———————

配置介绍

filebeat作为日志采集agent, 是需要部署到生产服务器上的.不理解filebeat的工作机制,不了解filebeat在实际生产使用中的内存使用将会给你带来意想不到的麻烦.

有些文章说filebeat内存消耗很少,不会超过100M, 这简直是不负责任的胡说,假如带着这样的认识把filebeat部署到生产服务器上就等着哭吧.

filebeat在空载情况(没有日志可采集)下的确不会有大的内存开销,但在有大量的日志需要采集时,filebeat的内存占用是没有固定值的, 那有没有理论值呢?答案是有, 为啥这么说,看下面公式:

                              bytes_each_log * spool_size * M + a*N

其中, bytes_each_log是单条日志大小, spool_size是配置文件里配置项,  M是单条日志在内存里的溢价系数(>1), N表示采集的文件个数,a为常数.

spool_size的默认值是2048, 好多人估计都不会配置这个项,也会因此埋下祸根(OOM):

10MB为filebeat支持的单条日志最大长度,超过的将会被截断丢弃

假设忽略a*N部分的内存开销, 单条日志的内存溢价为3, 一旦出现单条日志大于50KB且有瞬间爆发量的时候, filebeat的内存占用将大于300MB,是不是有点吓人!如果出现了极端情况,单条日志>10M,即使filebeat会截断到10M那也是20GB!!是不是腿都软了!!!

filebeat在实际使用过程中内存>300M,甚至15GB的情况浣熊都遇到过, 内存超过300M几乎经常遇到,基本都是因为客户没有按照吩咐的去做导致的; 15GB的那次有点意外和惊喜, 客户在自己的日志文件里打了大量的二进制文件(后来知道真相的我眼泪掉下来…), 大量的二进制文件触发了10MB规则,还好吃掉15GB内存后filebeat因OOM退出了,没有带来严重的损失.

那怎么样才能避免以上内存灾难呢?划重点了,快快拿出小本本记录:

(1)每个日志生产环境生产的日志大小,爆发量都不一样, 要根据自己的日志特点设定合适的spool_size值;什么叫合适,至少能避免内存>200MB的灾难;

(2)在不知道日志实际情况(单条大小,爆发量), 务必把spool_size设置上,建议128或者256;

本文地址: http://www.xiongge.club/1381.html

转载请注明:熊哥club » filebeat对内存 io/cpu的消耗到底有多大

喜欢 (2)
[您的支持是我最大的动力]
分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
×
订阅图标按钮