注册存储插件

通过存储插件,你可以连接文件系统,Hive,HBase,或其他的数据源。在 Drill 的 Web 控制台中的存储插件栏,你可以查看和重新设置存储插件。如果 HTTPS 未启用(默认),使用 http://<IP address>:8047/storage 去查看和重新设置插件。IP address 可以是主机名或是 IP 地址。如果 HTTPS 启用,访问 https://<IP address>:8047/storage

Drill 集成了 cpdfshbasehive,和 mongo 这些默认的存储插件配置。

  • cp指向 JAR 文件到 Drill 的 classpath,例如你可以查询 employee.json
  • dfs执行本地的文件系统,你可以配置该存储插件指向任何的分布式文件系统,例如 Hadoop 或 S3 文件系统。
  • hbase提供连接到 HBase。
  • hive集成 Hive 的元数据到 Drill,HBase 和库文件读取和操作 SerDes 和 UDFS。
  • mongo提供连接到 MongoDB 数据。

在 Drill 的 Sandbox 中,dfs 存储插件配置连接到你的 Hadoop 环境。如果你安装了 Drill,dfs 连接到你文件系统的根目录。

注册存储插件配置

为了注册一个新的存储插件配置,进入 Web 控制台的存储插件栏,点击 “CREATE”,提供一个可配置的界面,你可以配置成 JSON 格式,然后点击 “UPDATE”。

存储插件配置持久化

Drill 保存存储插件配置在一个临时目录(嵌入模式)或在 ZooKeeper(分布式模式)。例如,在 Mac OS X 系统中,Drill 使用 /tmp/drill/sys.storage_plugins 来保存存储插件配置。当你重启后,临时目录会被清除。当你以嵌入模式运行,添加 sys.store.provider.local.path 选项到 drill-override.conf 文件,并指定存储插件的路径。例如:

  1. drill.exec: {
  2. cluster-id: "drillbits1",
  3. zk.connect: "localhost:2181",
  4. sys.store.provider.local.path="/mypath"
  5. }