Flume-ng 高级功能配置

看看flume的高级功能：

1    flume channel selectors

如果没有特殊说明，则默认是replicating模式。 还有Multiplexing、Custom模式可以选择。

1    Replicating Channel Selector

需要设置以下的属性：

selector.type    默认值是replicating，用来设置该组件的名称

selector.optional    设置selector的channel

a1.sources = r1 a1.channels = c1 c2 c3 a1.source.r1.selector.type = replicating a1.source.r1.channels = c1 c2 c3 a1.source.r1.selector.optional = c3

在上面的配置中，c3是optional的channel，如果向c3写入失败，则会被忽略，c1和c2没有被标记为optional，如果向c2和c1写入失败则会导致事件失败。

2    Multiplexing Channel Selector

需要设置以下属性：

selector.type    默认值是replicating，可以设置为multiplexing

selector.header    默认值是flume.selector.header

selector.default

selector.mapping.*

a1.sources = r1 a1.channels = c1 c2 c3 c4 a1.sources.r1.selector.type = multiplexing a1.sources.r1.selector.header = state a1.sources.r1.selector.mapping.CZ = c1 a1.sources.r1.selector.mapping.US = c2 c3 a1.sources.r1.selector.default = c4

2    flume sink processors

sink groups允许给一个实体设置多个sinks，sink processors可以使在sink group中所有sink具有负载均衡的能力，或者在一个sink失效后切换到另一个sink的fail over模式。

需要设置以下属性：

sinks    空格分隔的一系列sinks列表

processor.type    该组件的名称，可以使default、failover、load_balance

a1.sinkgroups = g1 a1.sinkgroups.g1.sinks = k1 k2 a1.sinkgroups.g1.processor.type = load_balance

默认的sink processor只接受一个sink，用户不一定非得创建sink group。

1    failover sink processor

failover机制维护一个sink优先级列表，保证有效事件可以被处理掉。

需要设置以下属性：

sinks    在同一组sinks中的以空格分隔的sink列表

processor.type    默认值是default，在此可以设置为failover

processor.priority.<sinkName>    sink在该sink group中的优先级

processor.maxpenalty    默认值3000毫秒，故障转移的默认时间

a1.sinkgroups = g1 a1.sinkgroups.g1.sinks = k1 k2 a1.sinkgroups.g1.processor.type = failover a1.sinkgroups.g1.processor.priority.k1 = 5 a1.sinkgroups.g1.processor.priority.k2 = 10 a1.sinkgroups.g1.processor.maxpenalty = 10000

2    load balancing sink processor

load balancing sink processor给多个sinks之间提供负载均衡，它维护一个可用sink索引，它支持通过round_robin和random两种方法进行负载分配，默认的选择方式是round_type类型的，也可以通过配置文件进行更改。当被选择器被调用的时候，它不会屏蔽故障的sink，继续尝试访问每一个可用的sink，如果所有的sink都故障了，选择器则无法给sink传播数据。如果backoff被开启，则sink processor会屏蔽故障的sink，选择器会在一个给定的超时时间内移除它们，当超时时间完毕后，sink还是无法访问，则超时时间以指数方式增长。

需要设置以下属性：

processor.sinks    在同一组sinks中的以空格分隔的sink列表

processor.type    默认是default，在此可以设置成load_balance

processor.backoff    默认是false

processor.selector    默认是round_robin，还可以选择random

processor.selector.maxTimeOut    默认是30000毫秒，屏蔽故障sink的时间

a1.sinkgroups = g1 a1.sinkgroups.g1.sinks = k1 k2 a1.sinkgroups.g1.processor.type = load_balance a1.sinkgroups.g1.processor.backoff = true a1.sinkgroups.g1.processor.selector = random

3    Event Serializers

file_roll sink和hdfs sink都支持EventSerializer接口，    

4    Body Text Serializer

别名是text，该拦截器会把事件的body输出，不做任何改变，而事件的头部会被忽略。

可以配置以下参数：

appendNewline    默认值是true，在每个事件的后面追加一个新行。

a1.sinks = k1 a1.sinks.k1.type = file_roll a1.sinks.k1.channel = c1 a1.sinks.k1.sink.directory = /var/log/flume a1.sinks.k1.sink.serializer = text a1.sinks.k1.sink.serializer.appendNewline = false

5    Avro Event Serializer

别名是avro_event，该拦截器会把flume的事件插入一个avro容器文件中，

可设置的参数如下：

syncIntervalBytes    默认值是2048000，avro的同步间隔，单位是bytes

compressionCodec    默认值是null，avro的压缩codec。

a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S a1.sinks.k1.serializer = avro_event a1.sinks.k1.serializer.compressionCodec = snappy

6    monitor flume

1    ganglia report

flume可以报告他的metrics到ganglia3，只要你在启动flume agent的时候设置一些参数即可，也可以把这些参数设置在flume-env.sh配置文件中。需要设置的参数如下，这些参数的前缀如下flume.monitoring.：

type    该组件的名称，这里设置为ganglia

hosts    逗号分隔的ganglia服务器列表，hostname:port

pollFrequency    默认值是60秒，flume向ganglia报告metrics的时间间隔

isGanglia3    默认是false，ganglia server的版本在3以上，flume 发送的是ganglia3.1的数据格式

启动flume agent

flume-ng agent --conf-file example.conf --name a1 -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=com.example:1234,com.example2:5455

2    JSON report

flume也可以报告JSON格式的report，为了开启JSON report，在flume机器上启动了一个web server。需要在客户端启动时设置以下参数：

type    该组件的名称，这里设置为http

port    该服务监听的端口，默认是41414

启动flume agent

flume-ng agent --conf-file example.conf --name a1 -Dflume.monitoring.type=http -Dflume.monitoring.port=34545

然后通过http://<hostname>:<port>/metrics来查看值

7    Flume Interceptors

flume拦截器可以修改或者删除事件，flume还支持连接器链，事件可以经过一系列拦截器。多个拦截器在配置文件中以空格分隔，拦截器的顺序就是事件处理的顺序，只有一个拦截器通过之后才会进行到下一个拦截器。

1    Timestamp Interceptor

该拦截器会插入到事件头中，会在事件头中插入一个key是timestamp的KV对，value的值是相关的timestamp。该拦截器可以保护相关的已经存在的timestamp。可以设置以下参数：

type    该组件的名称，此处是timestamp

preserveExisting    默认值是false，如果timestamp已经存在，应该被保护

a1.sources = r1 a1.channels = c1 a1.sources.r1.channels =  c1 a1.sources.r1.type = seq a1.sources.r1.interceptors = i1 a1.sources.r1.interceptors.i1.type = timestamp

2    Host Interceptor

该拦截器会插入当前agent运行机器的hostname或者ip，插入KV对，key名称是host，可以设置以下值：

type    该组件的名称，此处是host

preserveExisting    默认值是false，如果在头部已经存在host，则应该被保护

useIP    默认值是true，使用ip，而非hostname

hostHeader        默认值是host，头部的key名称

a1.sources = r1 a1.channels = c1 a1.sources.r1.interceptors = i1 a1.sources.r1.interceptors.i1.type = host a1.sources.r1.interceptors.i1.hostHeader = hostname

3    Static Interceptor

该拦截器允许用户追加静态头部在所有事件中，可以设置以下参数：

type    该组件的名称，此处是static

preserveExisting    默认值是true，如果头部已经存在，则应该被保护

key    默认值是key，头部创建的key名称

value    默认值是value，静态value值

a1.sources = r1 a1.channels = c1 a1.sources.r1.channels =  c1 a1.sources.r1.type = seq a1.sources.r1.interceptors = i1 a1.sources.r1.interceptors.i1.type = static a1.sources.r1.interceptors.i1.key = datacenter a1.sources.r1.interceptors.i1.value = NEW_YORK