Runner之数据采集配置

在logkit主配置文件中，通过confs_path字段配置多个文件夹，文件夹中存放的则是具体的Runner的配置文件，Runner的配置文件以.conf结尾。

Runner配置字段说明：

1. name 必填，用来标识runner的名字，一个运行的logkit的runner的唯一标志，重名的runner将只加载一个。同时也用来标志日志。
2. batch_len 可选，每读取多少行作为一个batch，进行解析和发送。默认无限制
3. batch_size 可选，每读取多少数据作为一个batch，单位为byte。默认2097152（2MB:2*1024*1024）
4. batch_interval 可选，每读取多长时间作为一个batch，无论batch达到多少都直接进行解析和发送。默认60秒
5. batch_try_times 可选，每个batch最多尝试发送多少次，如果仍然发送失败，则抛弃该数据。默认永远不抛弃数据始终重试
6. extra_info 可选，为true时带上系统的hostname、ip、os等信息
7. reader 格式为map[string]string的配置，详细配置见wikireaders部分。
8. parser 格式为map[string]string的配置，用来配置日志解析方式，详细配置见wikiparsers部分。
9. senders 格式为map[string]string组成的数组，用来配置日志发送的策略，详细配置见wikisenders部分。
10. cleaner 格式为map[string]string组成的数组，用来配置日志的删除策略，详细配置见wikicleaner部分。

注意

• batch_size 这项配置极端重要。如果读取单条日志已经超过batch 大小，logkit 会认为这条日志无法发送，会直接丢弃该日志。请用户务必重视，在打印日志的时候避免单条日志过长，请避免日志出现大量重复无用的信息。

典型的Runner配置如下。

{
    "name":"logkit_runner",
    "batch_len": 1000,
    "batch_size": 2097152,
    "batch_interval": 300, 
    "extra_info": true,
    "reader":{
        "log_path":"/home/user/app/log/dir/",
        "meta_path":"./metapath",
        "donefile_retention":"7",
        "read_from":"newest",
        "mode":"dir",
        "valid_file_pattern":"qiniulog-*.log" // 可不选，默认为 "*"
    },
     "cleaner":{
        "delete_enable":"true",
        "delete_interval":"10",
        "reserve_file_number":"10",
        "reserve_file_size":"10240"
    },
    "parser":{
        "name":"json_parser",
        "type":"json"
    },
    "senders":[{
        "name":"test_sender",
        "sender_type":"pandora",
        "fault_tolerant":"false",
        "pandora_ak":"your_ak",
        "pandora_sk":"your_sk",
        "pandora_host":"https://pipeline.qiniu.com",
        "pandora_repo_name":"repo_test",
        "pandora_region":"nb",
        "pandora_schema_free":"true"
}]
}