WRY

Where Are You?
You are on the brave land,
To experience, to remember...

0%

Fluentd 配置简记

Posted on Edited on In
为了改造Fission的日志投递组件，简单记录一下Fluentd的配置实例。

Fluentd配置实战

为了给Fission编写一个可以配置的日志采集系统，使用到了Fluentd日志采集框架，暂时对Fluentd的要求比较低，仅仅是可以熟练使用即可。这里记录一下在实践中涉及到的配置的参数含义。使用的fluentd版本是1.11.2

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
<source>
    @type tail
    <!-- 读取的日志文件 -->
    path /var/log/fission/jd-buyer_base-test_*
    <!-- 记录日志读取的位置 -->
    pos_file /var/log/fission/pos__jd-buyer_base-test.pos
    <!-- 发现新的文件是否从头开始读 -->
    read_from_head true
    <!-- 若无法被parse解析，是否仍发送日志消息 -->
    emit_unmatched_lines true
    <!-- 查看文件变化的时间间隔 -->
	refresh_interval 20
    <!-- tag，方便下面的match处理函数，匹配处理 -->
    tag jd-buyer.base-test
    <parse>
        @type json
    </parse>
</source>

<match jd-buyer.base-test>
	@type copy
	<store>
        <!--  输出到kafka中 -->
        @type kafka2
        # kafka的broker list -->
        brokers my-kafka.development:9092
        <!--  kafka的队列名称 -->
        default_topic demo
        <format>
            @type json
        </format>
        <buffer>
            <!--  输出源的具体配置 -->
            flush_mode interval
            retry_type exponential_backoff
            flush_interval 3
        </buffer>
    </store>
</match>