很高兴告诉大家,我们在2018年4月发布了Pandora v1.5版本。
v1.5 版本功能提要:加强实时仓库的数据导入能力,可以直接在页面配置数据解析规则,使用多种方式从文本中提取字段上传到Pandora 平台。方便用户对于已有存量数据快速接入。
实时仓库支持文件上传功能
在实时仓库中增加上传文件功能,支持直接向数据仓库上传文件
文件上传功能
可以在上传文件中,选择向已有的仓库进行数据上传,或者直接创建新的数据仓库进行数据上传
上传文件可以选择使用单行或者多行模式(Beta)对数据进行读取和解析
生成正则表达式抽取日志字段
当选择了使用正则表达式对数据进行抽取的时候,可以通过鼠标在原始文本上进行点选和滑动,可以选择想要抽取的字段。选择完毕后,系统会自动学习生成正则表达式,尝试对所有的数据样本进行数据解析。
固定分隔符抽取日志字段
当选择了使用固定分隔符对数据进行抽取的时候,可以选择合适的数据分隔符对数据文本进行切分。可以指定每个字段的名字和类型,对数据进行解析。同样可以对所有文本检查数据规则是否符合自己的抽取需求。
支持为数据仓库设置默认解析规则功能
支持保存规则的时候,将规则设置为数据仓库的自动解析规则。同时支持保存原始日志字段,这样即便在规则没有命中数据的时候,仍然可以将数据导入数据库。方便搜索和排查。
批量上传文件到数据仓库
当配置好数据文件的解析规则后,就可以通过数据仓库的上传文件功能快速上传数据文件,同时拖拽多个数据到上传文本框中即可完成数据快速上传。
支持搜索结果分享功能
现在支持将链接直接复制粘贴分享给其他人,即可以直接开始搜索,不需要再重新进行搜索。
支持直接上传原始文本数据开放API
新版开放API支持直接将数据文本置于请求体中,可以直接服务端进行数据解析,字段抽取和数据入库。
POST /v2/stream/{REPO_NAME}/data
Content-Type: text/plain
[2017-12-21 05:36:26,917][WARN ][cluster.routing.allocation.decider] [Master Mold] high disk watermark [90%] exceeded on [gXIMYOjpQ0SmV-vvUpnaKw][Master Mold][/Users/jason/Development/elasticsearch-2.3.3/data/elasticsearch/nodes/0] free: 1.8gb[1.6%], shards will be relocated away from this node