我的书签
添加书签
移除书签配置日志采集器
logkit 可以采集各种日志(包括 nginx 等基础组件日志)至各种数据平台进行数据分析。
1.配置数据源
在配置数据源页面，您需要填好数据来源、数据读取方式等信息。在实际配置过程中，您可以根据需要编辑高级选项，一般来说，高级选项按默认设置即可。
这条数据源配置的意思是从本地路径是 /Users/loris/ 的地方读取名称为 loris.log 的文件里的日志，从最早的数据读起。
2.配置解析方式
配置好数据源以后，您需要根据数据源文件的格式配置合适的解析方式。
以csv格式的日志为例：
通过输入字段类型与分割符来将日志内容转化为结构化数据，方便后续在数据平台进行数据分析。
- 字段类型
您需要在这里输入详细的字段名称与类型。
- 解析样例数据
logkit 提供解析样例数据功能，即输入一行样例日志，您可以看到解析结果，来检验您的配置是否正确。
3.配置Transformer
logkit 提供 transformer 功能来满足一些更精细的字段解析需求。
以 replace transformer 为例：
通过配置 replace transformer，您可以将指定字段的某个值替换为另一个值。
目前支持的Transformer有：
- replace transformer : 针对字段做字符串替换。
- IP transformer: 针对ip做运营商信息字段扩展。
- date transformer: 将字段解析为时间并做一些转换。
- discard transformer: 将指定字段的数据抛弃。
- split transformer: 将指定字段的数据切分为字符串数组。
- convert transformer: 按照dsl将数据进行格式转换。
- urlparam transformer: 将指定字段的数据按照url参数的格式转换为键值对。
- arrayexpand transformer: 将指定字段的数组展开并转换为键值对。
- rename transformer: 将字段名称重命名，解决不同下游系统对字段名称中特殊字符不支持的问题。
- label transformer: 添加一个带有固定值的字段到数据中，相当于加个标签。
- json transformer: 将一个符合json格式的字符串字段，反序列化为对应结构体类型。
- script transformer: 执行脚本文件并记录脚本执行结果。
- clocktrail transformer: 针对 AWS ClockTrail的数据做格式转换的Transformer，可以将ClockTrail的json格式中的 Records逐条变为数据。
- pandora_key_convert transformer: 将不符合pandora 字段类型的key字符转化为下划线。
- UserAgent transformer: 浏览器中的user agent信息解析，可以解析出包括设备、操作系统、版本号在内的多种信息。
- xml transformer: 将一个符合xml格式的字符串字段，反序列化为对应map[string]interface{}结构体类型。
如果没有字段变换需求，跳过这一步即可。
4.配置发送方式
您需要选择发送的数据平台并填写相关信息来完成发送与绑定。
以发送到七牛大数据平台为例，您需要填写数据源名称、工作流名称、您的七牛账号的公钥和私钥实现数据的接收，根据需要您可以选择是否将数据导出到日志分析、时序数据库和云存储进行数据存储与分析。
5.确认runner配置
最后设置好收集数据和发送数据的时间间隔，整个runner就配置好啦！数据已经打入七牛大数据平台，您可以去七牛大数据平台进行数据计算与导出。
在配置过程中，您每一步的操作信息都会自动保存。提交之前，您可以直接返回上一步修改之前的配置信息，不用重新输入。
根据上述数据采集配置，您可以在 Logdb 根据配置中填写的日志仓库名称查询您发送的日志详情。
