底层存储扩展

Slack Docker Pulls GitHub edit source

这篇文档是帮助用户进行文件系统的扩展，请查看开发扩展来阅读扩展开发文档。

Alluxio可以在运行时扩展额外的底层存储模块，底层存储模块的扩展（通过JARs包进行编译）可以被包括在一个Alluxio Core中具体的位置， 不需要重启运行的进程。对于没有现有原生支持的存储系统，添加与Alluxio相连的底层存储模块可以使其与Alluxio一起工作。

扩展列表

以下是底层存储扩展计划的列表：

管理扩展

扩展JARs包通过扩展目录配置项alluxio.extensions.dir (默认: ${alluxio-home}/extensions)获取，扩展命令行实用程序用来管理 Alluxio集群的扩展JAR包的分布。在CLI不可用的环境下（参考下面的配置），JAR包被放置在扩展目录中。例如，当在容器中运行时，在合适的位置 通过额外的二进制文件创建一个客户镜像。

命令行实用程序

命令行实用程序是用来提供帮助扩展管理。

  1. bin/alluxio extensions
  2. Usage: alluxio extensions [generic options]
  3.      [install <URI>]
  4.      [ls]
  5.      [uninstall <JAR>]

安装

install命令通过命令rsync和ssh，向conf/masters 和conf/workers列出的Alluxio服务器拷贝提供的JAR。然而，这些工具可能不是在所有的 环境中适用。在脚本中，使用其他更多的可用工具来将JAR放置在Alluxio服务器配置项alluxio.extensions.dir中的位置。

列举

为了列出任意给定的运行Alluxio进程的主机所安装的扩展，你可以用ls命令。实用程序通过扫描本地扩展目录列出所有安装的扩展。

卸载

uninstall命令和install命令类似，处理所有conf/masters和conf/workers包括的主机。手动移除Alluxio服务器中的扩展， 防止一些主机是运行命令行的主机不可达的。

从Maven坐标中安装

为了从maven中安装，按照下面的步骤下载JAR,并安装。

  1. mvn dependency:get -DremoteRepositories=http://repo1.maven.org/maven2/ -DgroupId=<extension-group> \
  2.  -DartifactId=<extension-artifact> -Dversion=<version> -Dtransitive=false -Ddest=<extension>.jar
  4. bin/alluxio extensions install <extension.jar>

验证

一旦扩展JAR部署之后，你应该可以通过如下Alluxio CLI命令挂载你的底层存储。

  1. bin/alluxio fs mount /my-storage <scheme>://<path>/ --option <key>=<value>

其中，<key>=<value>可以被底层存储的任何必需配置替代。

执行完整的测试：

  1. bin/alluxio runTests --directory /my-storage