轻量化收集日志
AI 总结AI 生成
项目的需求只是收集日志和埋点，但一上来部署 Kafka，就要额外承担一整套 Java 服务的资源成本。
替代链路是：
业务日志文件 -> Filebeat -> Redis -> Vector -> 数据库。
生产端因此只需要 Filebeat 和 Redis，职责比 Kafka 方案更少，资源占用也更轻。文章进一步说明了各段之间的实现细节。
背景
最近在进行一个项目开发，需要收集日志和埋点数据，核心需求是实现轻量化收集
在常规项目中，埋点或日志数据通常会发送到生产环境的Kafka节点，但Kafka作为Java服务，资源消耗较大
解决方案
- 开发人员修改服务，将日志写入本地文件
- 运维人员部署
Filebeat，将日志发送到Redis - 使用
Vector从Redis消费数据并入库
这样在生产端只需要运行Filebeat和Redis，大大降低了资源消耗
实现细节
详细实现方案请参考这里