云原生日志收集Fluent Bit与OTel Collector整合实践

概述Fluent Bit 提供低资源占用的日志采集，OTel Collector 提供标准化与路由。本文给出二者的整合方案与流水线配置，支持多目标导出与过滤解析。采集与转发（已验证）Fluent Bit DaemonSet：从容器日志收集；解析与过滤：parser/filter 结构化与标签化；输出到 OTel Collector：使用 http/grpc 发送到 OTLP 接口。Collector 管道接收器：otlp/fluentforward；处理器：batch/attributes；导出器：otlphttp/logging/clickhouse 等。示例（片段）# Fluent Bit output

[OUTPUT]

Name http

Host otel-collector

Port 4318

Format json

URI /v1/logs

receivers:

otlp:

protocols:

http:

exporters:

otlphttp:

endpoint: http://loki:3100

processors:

batch:

service:

pipelines:

logs:

receivers: [otlp]

processors: [batch]

exporters: [otlphttp]

验证与监控指标：采集吞吐、丢弃率、导出成功率；日志：Collector 处理与错误；常见误区未做结构化解析导致查询困难；Collector 导出器与目标不匹配；结语以 Fluent Bit 的低资源采集与 OTel Collector 的标准化管道结合，配合解析与过滤与多目标导出，并以指标验证，构建高效的云原生日志体系。