轻量化收集与消费

AI SummaryAI Generated

核心内容：介绍轻量化日志收集方案，使用 Filebeat 收集日志并通过 Vector 进行消费处理。

内容要点：

收集端
Filebeat
Vector

适合在日志采集、检索、消费和平台排障时参考。

收集端

Filebeat

filebeat.docker.yml

filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

processors:
  - add_cloud_metadata: ~

filebeat.inputs:
  - type: filestream
    paths:
      - /data/logs/*.log
    fields:
      vpc: test
      saltid: test
    fields_under_root: true


output.redis:
  hosts: ["127.0.0.1:6379"]
  password: "password"
  key: "filebeat"
  db: 15
  timeout: 5

  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000

Vector

Tip

这里的密码之前需要加一个冒号，这是官方的规范。

[sources.test]
type = "redis"
key = "filebeat"
url = "redis://:[email protected]:6379/15"
decoding.codec = "json"

#轻量化收集与消费

#收集端

#Filebeat

#Vector

轻量化收集与消费

收集端

Filebeat

Vector