本地运行Alluxio

Slack Docker Pulls GitHub edit source

前提条件

这部分的前提条件是你安装了Java(JDK 8或更高版本)。

下载 Alluxio 二进制发行版 1.8.3-SNAPSHOT:

在独立模式下运行，请执行以下操作：

通过拷贝conf/alluxio-site.properties.template文件，创建conf/alluxio-site.properties。

  • 将conf/alluxio-site.properties中的alluxio.master.hostname设置为localhost(即alluxio.master.hostname=localhost)。

  • 将conf/alluxio-site.properties中的alluxio.underfs.address设置为一个本地文件系统上的临时文件夹（例如，alluxio.underfs.address=/tmp）。

  • 开启远程登录服务，确保ssh localhost能成功。为了避免重复输入密码，你可以将本机的ssh公钥添加到~/.ssh/authorized_keys文件中。更多细节请参考该指南。

第0步：格式化Alluxio文件系统

注意：这个步骤只有在第一次运行Alluxio系统时才需要执行。 如果用户在已部署好的Alluxio集群上运行格式化命令， 当前服务器上之前保存的Alluxio文件系统的所有数据和元数据都会被清除。 但是，底层数据不会改变。

  1. ./bin/alluxio format

第1步：本地启动Alluxio文件系统

简单运行如下的命令来启动Alluxio文件系统。

  1. ./bin/alluxio-start.sh local

注意：用户在linux系统下运行上述命令需要输入密码来获取sudo权限, 以便启动RAMFS。如果用户不想每次运行命令输入密码， 或者没有sudo权限，可以使用FAQ中介绍的其他方法。

验证Alluxio是否运行

为了确认Alluxio处于运行状态，用户可以访问http://localhost:19999，或者查看logs文件夹下的日志。

运行一个更全面的系统完整性检查：

  1. ./bin/alluxio runTests

可以在任意时刻执行以下命令以关闭Alluxio:

  1. ./bin/alluxio-stop.sh local

FAQ

为什么在linux上运行Alluxio需要sudo权限？

默认情况下，Alluxio使用RAMFS 存储内存数据。用户在MacOS系统下可以挂载ramfs，不需要超级用户身份。然而，在linux系统下，用户运行”mount”命令(以及 “umount”, “mkdir” 和 “chmod” 命令)需要sudo权限。

用户没有sudo权限，仍然可以在linux下使用Alluxio么？

假设用户没有sudo权限，那么必须有一个RAMFS（例如/path/to/ramdisk）已经被系统管理员挂载，并且用户对此RAMFS有读写权限。你可以在conf/alluxio-site .properties文件中指定该路径：

  1. alluxio.worker.tieredstore.level0.alias=MEM
  2. alluxio.worker.tieredstore.level0.dirs.path=/path/to/ramdisk

然后在不需要请求root权限的情况下启动Alluxio，使用上述的目录作为存储器：

  1. ./bin/alluxio-start.sh local NoMount

另外，用户可以使用Linux tmpFS存储数据， Tmpfs是一个由内存支持的临时文件夹(e.g.,常见的Linux下的 /dev/shm)，但会使用交换空间， 因此相比于使用RAMFS，Tmpfs提供的性能会稍差。和使用预先挂载的RAMFS类似，用户可以通过conf/alluxio-site.properties配置项配置Tmpfs文件夹

  1. alluxio.worker.tieredstore.level0.alias=MEM
  2. alluxio.worker.tieredstore.level0.dirs.path=/dev/shm

其次是：

  1. ./bin/alluxio-start.sh local NoMount

我怎样避免通过输入密码运行sudo命令？

选项：

  • 通过超级用户身份启动Alluxio。
  • 在suderors中增加启动Alluxio的用户。
  • 在Linux文件 /etc/sudoers下添加下面一行，赋予当前用户(e.g., “alluxio”)有限的sudo权限 alluxio ALL=(ALL) NOPASSWD: /bin/mount * /mnt/ramdisk, /bin/umount * /mnt/ramdisk, /bin/mkdir * /mnt/ramdisk, /bin/chmod * /mnt/ramdisk 这允许”alluxio”用户应用sudo权限在一个具体路径/mnt/ramdisk 下执行命令mount, umount, mkdir 和 chmod (假设命令在 /bin/) ，并且不需要输入密码。 查看更多关于 Sudoer User Specifications的介绍。