前言

概要

智能日志平台是针对日志类数据的一站式服务，可以对日志进行实时收集、存储、搜索、统计分析、可视化展示及监控，帮助企业提升运维、运营效率，降低成本，建立数字技术时代海量日志处理服务平台。

基于上述背景及现状，金蝶天燕云计算股份有限公司推出了金蝶Apusic智能日志平台（Apusic Intelligent Platform，简称AILP）产品用于解决各种应用的日志处理，帮助用户快速查询应用错误日志信息，方便用户定位应用服务出错问题，并进行深入分析和优化，改善用户体验。

范围和读者

本文面向技术决策者和企业架构师、IT运维开发工程师。

阅读本文第二、三、四章内容，您可以从宏观上对金蝶Apusic智能日志平台软件产品有所认识，如果您想全面了解金蝶Apusic智能日志平台软件产品的全貌，建议您通篇阅读全文。

约定与术语

一些约定的缩略词诠释：

• AMP

金蝶Apusic监控平台

• AILP

智能日志平台（Apusic Intelligent Platform）

• CMDB

配置管理数据库（Configuration Management database）

• AIOps

智能运维（Artificial Intelligence for IT Operations）

• ElasticSearch

ElasticSearch是一个基于Lucene的搜索服务器

• ZooKeeper

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。

• Kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台

• Logstash

Logstash是一个开源数据收集引擎

• Filebeat

Filebeat是用于转发和集中日志数据的轻量级传送工具

产品概述

金蝶Apusic智能日志平台(简称：AILP)是一个通用的日志大数据平台，可以使用各种开源的日志收集工具将日志统一上传，并根据预先定义的解析规则将日志数据结构化存储，提供准实时的搜索和仪表盘对日志进行后续的分析处理。

典型的日志数据包括：

• Linux系统日志

• Apache Web服务器日志

• Nginx Web服务器日志

• 中间件日志

• 数据库日志

• JSON日志

• 其他任意文件型日志

智能日志平台是针对日志类数据的一站式服务，可以对日志进行实时收集、存储、搜索、统计分析、可视化展示及监控，帮助企业提升运维、运营效率，降低成本，建立数字技术时代海量日志处理服务平台。

体系结构

架构概览

图3-1 金蝶Apusic智能日志平台产品架构图

金蝶Apusic智能日志平台软件采集各种服务应用日志，通过对日志的采集，过滤，处理，最终存储到elasticsearch中，后续可以进行分析查看。

金蝶Apusic智能日志平台软件支持Kafka、Logstash、 Elasticsearch 等组件集群部署方案，用户可以根据运行环境和对数据存储的需要选择合适的解决方案。

系统技术原理

图3-2 Apusic智能日志平台技术原理示意图

• Filebeat采集日志数据

  智能日志系统通过轻量级采集端filebeat进行日志数据的采集，该组件对服务器损耗极低。二进制的filebeat产品包可以在不同架构平台进行快速部署。支持多个服务器的filebeat进行采集日志数据。Filebeat配置中添加输出端为kafka, 最终将采集到的日志数据上传到kafka缓存中心。

• Kafka日志数据缓存

Kafka缓存中心负责临时性存储来自多个采集端filebeat的日志数据，通过创建不同的topic保存相应的服务的日志数据信息。可以保存大量来自不同filebeat的日志数据，同时kafka可以进行集群方式部署。

• Logstash日志解析处理

Logstash获取来自kafka中的日志数据信息，根据特定日志的解析规则，对日志数据进行处理，最终将日志数据输出到Elasticsearch进行保存。

• Elasticsearch分布式存储引擎

Elasticsearch最终进行保存日志数据，可以进行大数据量的日志数据分布式存储，支持HTTP的方供日志客户端做数据查询及可视化展示。

高可用集群

图3-3 金蝶Apusic智能日志平台软件高可用集群架构

Kafka使用集群部署，统一存储来自filebeat的采集日志，进行多份数据存储。Logstash使用伪集群部署，使用kafka的groupId实现唯一消费对应应用的日志数据，最终通过Elasticsearch进行存储数据，Elasticsearch通过多实例部署实现数据存储的高可用。

运行环境

金蝶Apusic智能日志平台软件的部署运行实现对各种软硬件环境的支持，包括但不限于：

表3-1 Apusic智能日志平台软件支持的环境

分类	项目	适应配置
硬件与操作系统	IBM i系列	OS/400
硬件与操作系统	IBM p系列，Open Power系列	AIX，Linux
硬件与操作系统	HP IA-64	HP-UX
硬件与操作系统	HP PA-RISC	HP-UX
硬件与操作系统	Sun SPARC	Solaris
硬件与操作系统	IA架构工业标准服务器（联想、浪潮、长城等）	Windows Server，Linux
硬件与操作系统	国产 芯片（鲲鹏、龙芯、申威、飞腾）	中标Linux等
JDK	Sun JDK	1.8
JDK	Open JDK	1.8
存储服务	ElaticSearch	V7.5及以上版本

功能与特性

日志概览查看

智能日志概要数字展示接入主机、接入应用，接入日志类型数量，图表展示主机日志事件和应用事件记录数。

图4-1 日志服务概览

多种解析规则

图4-2 日志解析规则

用户上传的原生日志是一种半结构化数据，一般按行分为不同的记录，每条记录则根据日志类型的不同， 可以拆分成不同的字段。解析日志就是按照预先定义的解析规则将非结构化的日志数据变成结构化的数据。

AILP智能日志平台对于常见的服务软件提供了官方日志解析规则，能够识别和解析常见的日志格式。对于对于不支持的日志格式，用户可以自定义解析规则。

简单日志配置

图4-3 添加日志流程

通过在AILP平台添加需要采集应用日志的日志目录，选择解析规则，可以生成可执行脚本，执行脚本文件快速进行安装filebeat进行日志采集，用户可以很快的查看该应用的日志数据。

日志分析查看

日志搜索分析提供了功能强大、简单易用的方式来检索日志，可以快速过滤并找到相关的结果。

图4-4 日志分析查看

日志实时跟踪

实时跟踪是用户可以根据数据源、主机名进行筛选查看实时日志。功能类似于在服务器上对日志执行tail -f filename.log，现在通过浏览器也可以达到同样的效果。

图4-5 日志跟踪

日志分组管理

日志分组用于管理及查询日志索引，将相关应用的日志数据源管理到对应的日志分组，方便进行日志数据的查询，分析。

图4-6 日志分组

监控与告警

告警规则，针对日志数据源，配置告警规则，联系人，达到阈值时，产生告警通知信息。

支持和Apusic智能告警平台集成，通过更多告警策略及通知方式（邮件、短信、微信、钉钉、云之家、Webhook）投递告警事件。

信创环境适配

金蝶Apusic智能日志软件全面适配信创环境，保障各业务应用稳定运行，提升业务服务终端用户体验，积极参与产业链生态建设。

• 芯片

鲲鹏、飞腾、申威、海光、兆芯 等CPU架构的国产服务器

• 操作系统

麒麟操作系统、UOS操作系统、普华操作系统等

• 中间件

金蝶天燕、东方通、宝兰德、普元、中创等应用服务器中间件

应用场景

日志服务特点

• 简单易用

数据采集在线配置一键安装，5分钟即完成接入，无需具备专业知识就可以完成复杂的数据分析。

• 快速高效

从日志产生到查询可见，能达到秒级完成数据的采集、处理和搜索统计。

• 强大的分析能力

自定义日志解析规则，可分析多种格式的日志数据。

• 高可扩展性

采用高可扩展性的分布式系统架构设计，可以支持每日数十 TB 的新增数据。

• 丰富的展现形式

可视化图表形式，支持页面自定义展示，支持趋势图、TOP统计图等多种图表。

应用场景

• 多应用服务监测

可以对多种应用日志进行采集，处理，进行可视化展示，方便用户发现应用故障问题，应用报错信息，从而解决应用服务故障问题，提高应用服务稳定性。

• 容器服务应用日志监测

对docker容器应用进行监控，通过将日志进行挂在到宿主机，从而快速进行监控应用日志，使用户能发现问题，快速响应，解决问题。

• K8s容器云日志监测

针对k8s应用日志，支持采集k8s应用日志，采集相关的日志信息，提高用户发现应用故障问题，从而解决问题，提升运维效率。

通过与AMP基础设施监控、AAPM应用性能监控软件以及AAalrm智能告警平台的监控融合，用户真正可以实现metrics、tracing、loggin、alert等观测数据的一体化分析，可以深层次分析业务故障现象，精准定位问题原因，为进一步实现AIOps智能化运维的提供基础支撑。

结论

金蝶Apusic智能日志软件遵循国际标准规范、并通过良好的兼容性和扩展性，成为用户企业应用基础架构和监控运维体系的核心组成部分，帮助用户全面监控企业级应用的运行健康状况，提升终端用户体验。

另一方面，金蝶Apusic智能日志软件全面适应国内信息化的需求及发展趋势，全面适配信创生态上下游环境，为企业级应用提供基础IT架构支撑和精细化的日志分析及业务应用运维管理能力。