当前位置：首页 > 科技 > 软件

ELK太重？试试轻量级分布式日志框架GrayLog

来源：责编：时间：2024-04-29 16:18:07 131观看

导读在微服务架构中，一个服务通常都会有多个实例，而这些服务实例可能会被部署到不同的机器或虚拟容器上。此时对于日志数据的查看和分析就会变得困难起来，因为这些服务的日志数据都散落在各自实例所在的机器或容器上。例如，我

在微服务架构中，一个服务通常都会有多个实例，而这些服务实例可能会被部署到不同的机器或虚拟容器上。此时对于日志数据的查看和分析就会变得困难起来，因为这些服务的日志数据都散落在各自实例所在的机器或容器上。例如，我现在要在订单服务里查找一个订单id为1的日志，而订单服务有10个实例并且部署在10台不同的机器上，那么我就得一台台的去找这个日志数据。所以这时候我们就需要有一个可以实现日志聚合的工具，将所有实例的日志数据都聚合在一个地方，那么我们就不需要到每个实例去找日志了，而本文将使用的日志聚合工具为Graylog

部署Graylog

老样子，直接上docker-compose，如果一直跟着我的步伐，应该对着不陌生了。docker-compose.yml 的内容其实我也是抄官网的，这里还是贴下吧（就不用你们翻了）

version: '3'services:    mongo:      image: mongo:4.2      networks:        - graylog    elasticsearch:      image: docker.elastic.co/elasticsearch/elasticsearch-oss:7.10.2      environment:        - http.host=0.0.0.0        - transport.host=localhost        - network.host=0.0.0.0        - "ES_JAVA_OPTS=-Dlog4j2.formatMsgNoLookups=true -Xms512m -Xmx512m"      ulimits:        memlock:          soft: -1          hard: -1      deploy:        resources:          limits:            memory: 1g      networks:        - graylog    graylog:      image: graylog/graylog:4.2      environment:        - GRAYLOG_PASSWORD_SECRET=somepasswordpepper        - GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918        - GRAYLOG_HTTP_EXTERNAL_URI=http://ip:9009/ # 这里注意要改ip      entrypoint: /usr/bin/tini -- wait-for-it elasticsearch:9200 --  /docker-entrypoint.sh      networks:        - graylog      restart: always      depends_on:        - mongo        - elasticsearch      ports:        - 9009:9000        - 1514:1514        - 1514:1514/udp        - 12201:12201        - 12201:12201/udpnetworks:    graylog:      driver: bridg

这个文件里唯一需要改动的就是 ip （本来的端口是 9000 的，我由于已经占用了 9000 端口了，所以我这里把端口改成了 9009 ，你们可以随意）

嗯，写完 docker-compose.yml 文件，直接 docker-compose up -d 它就启动起来咯。

启动以后，我们就可以通过 ip:port 访问对应的Graylog后台地址了，默认的账号和密码是 admin/admin

图片

随后，我们配置下 inputs 的配置，找到 GELF UDP ，然后点击 Launch new input ，只需要填写 Title 字段，保存就完事了（其他不用动）。

图片

Spring Boot 集成GrayLog

首先创建一个SpringBoot项目，SpringBoot默认自带的日志框架是Logback，我们可以到 Graylog组件市场查找Logback相应的组件。

添加依赖如下：

<dependency>  <groupId>de.siegmar</groupId>  <artifactId>logback-gelf</artifactId>  <version>3.0.0</version></dependency>

接着在项目的resources目录下，新建一个logback.xml文件，编辑文件内容如下：

<appender name="GELF" class="de.siegmar.logbackgelf.GelfUdpAppender">  <!-- Graylog服务的地址 -->  <graylogHost>ip</graylogHost>  <!-- UDP Input端口 -->  <graylogPort>12201</graylogPort>  <!-- 最大GELF数据块大小（单位：字节），508为建议最小值，最大值为65467 -->  <maxChunkSize>508</maxChunkSize>  <!-- 是否使用压缩 -->  <useCompression>true</useCompression>  <encoder class="de.siegmar.logbackgelf.GelfEncoder">    <!-- 是否发送原生的日志信息 -->    <includeRawMessage>false</includeRawMessage>    <includeMarker>true</includeMarker>    <includeMdcData>true</includeMdcData>    <includeCallerData>false</includeCallerData>    <includeRootCauseData>false</includeRootCauseData>    <!-- 是否发送日志级别的名称，否则默认以数字代表日志级别 -->    <includeLevelName>true</includeLevelName>    <shortPatternLayout class="ch.qos.logback.classic.PatternLayout">      <pattern>%m%nopex</pattern>    </shortPatternLayout>    <fullPatternLayout class="ch.qos.logback.classic.PatternLayout">      <pattern>%d - [%thread] %-5level %logger{35} - %msg%n</pattern>    </fullPatternLayout>    <!-- 配置应用名称（服务名称），通过staticField标签可以自定义一些固定的日志字段 -->    <staticField>app_name:austin</staticField>  </encoder></appender>

在这个配置信息里，唯一要改的也只是 ip 的地址，到这里接入就完毕了，我们再打开控制台，就能看到日志的信息啦。

图片

配置完成后启动项目，启动完成后正常情况下可以在Graylog的Search界面中查看日志信息：

图片

点击一条日志信息会展开详细的字段：

图片

以上是最简单的日志配置，如果希望对更多配置项进行自定义的话，可以参考该组件的GitHub文档，上面有具体的配置项说明

现在我们已经成功将项目的日志数据发送到了Graylog服务，如果我们想在Graylog上检索日志也很简单，只需要使用一些简单的语法即可，例如我要查询包含Mapping的日志信息：

图片

还可以使用一些条件表达式，例如我要查询message字段包含http，并且日志级别为INFO的日志信息：

图片

常用的日志搜索语法如下：

模糊查询：直接输入要查询的内容，例如：orderid
精确查询：要查询的内容加上引号，例如："orderid: 11"
指定字段查询：message:http 或 message:"http"
多字段查询：message:(base-service base-web)
多条件查询：message:http AND level_name:ERROR OR source:192.168.0.4

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-26-86513-0.htmlELK太重？试试轻量级分布式日志框架GrayLog

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： Google 孵化了三个Go安全库，推荐使用！

下一篇：如何在Java中高效处理和编码Emoji表情，包括编码、解码和过滤方法

标签：

热门焦点

一年经验在二线城市面试后端的经验分享

忠告这篇文章只适合2年内工作经验、甚至没有工作经验的朋友阅读。如果你是2年以上工作经验，请果断划走，对你没啥帮助~主人公这篇文章内容来自「升职加薪」星球星友的投稿，坐
企业采用CRM系统的11个好处

客户关系管理（CRM）软件可以为企业提供很多的好处，从客户保留到提高生产力。　　CRM软件用于企业收集客户互动，以改善客户体验和满意度。　　CRM软件市场规模如今超过580
共享单车的故事讲到哪了？

来源丨海克财经与共享充电宝相差不多，共享单车已很久没有被国内热点新闻关照到了。除了一再涨价和用户直呼用不起了。近日多家媒体再发报道称，成都、天津、郑州等地多个共享单
华为和江淮汽车合作开发百万元问界MPV？双方回应来了

8月1日消息，郭明錤今天在社交平台发文称，华为正在和江淮汽车合作，开发售价在100万元的问界MPV，预计在2024年第2季度量产，销量目标为上市首年交付5万辆。
2纳米决战2025

集微网报道从三强争霸到四雄逐鹿，2nm的厮杀声已然隐约传来。无论是老牌劲旅台积电、三星，还是誓言重回先进制程领先地位的英特尔，甚至初成立不久的新
AMD的AI芯片转单给三星可能性不大与台积电已合作至2nm制程

据 DIGITIMES 消息，英伟达 AI GPU 出货逐季飙升，接下来 AMD MI 300 系列将在第 4 季底量产。而半导体业内人士表示，近日传出 AMD 的 AI 芯片将转单给
三星显示已开始为AR设备研发硅基LED微显示屏

7月18日消息，据外媒报道，随着苹果首款头显产品Vision Pro在6月份正式推出，AR/VR/MR等头显产品也就将成为各大公司下一个重要的竞争领域，对显示屏这一关
利用职权私自解除被封帐号 Meta开除20多名员工

11月18日消息，据外媒援引知情人士表示，过去一年时间内，Facebook母公司Meta解雇或处罚了20多名员工以及合同工，指控这些人通过内部系统以不当方式重置用户帐号，其
Meta盲目扩张致超万人被裁，重金押注元宇宙而前景未明

图片来源：图虫创意日前，Meta创始人兼CEO 马克·扎克伯发布公开信，宣布Meta计划裁员超11000人，占其员工总数13%。他公开承认了自己的预判失误：“不仅