CephFS 配额管理

CephFS 允许给系统内的任意目录设置配额，这个配额可以限制目录树中这一点以下的字节数或者文件数。

局限性

  • 配额是合作性的、非对抗性的。 CephFS 的配额功能依赖于挂载它的客户端的合作，在达到上限时要停止写入；无法阻止篡改过的或者对抗性的客户端，它们可以想写多少就写多少。在客户端完全不可信时，用配额防止多占空间是靠不住的。
  • 配额是不准确的。 在达到配额限制一小段时间后，正在写入文件系统的进程才会被停止。很难避免它们超过配置的限额、多写入一些数据。会超过配额多大幅度主要取决于时间长短，而非数据量。一般来说，超出配置的限额之后 10 秒内，写入会被停掉。
  • 内核客户端还没实现配额功能。 用户空间客户端（ libcephfs 、 ceph-fuse ）已经支持配额了，但是 Linux 内核客户端还没实现。
  • 基于路径限制挂载时必须谨慎地配置配额。 客户端必须能够访问配置了配额的那个目录的索引节点，这样才能执行配额管理。如果某一客户端被 MDS 能力限制成了只能访问一个特定路径（如 /home/user ），并且它们无权访问配置了配额的父目录（如 /home ），这个客户端就不会按配额执行。所以，基于路径做访问控制时，最好在限制了客户端的那个目录（如 /home/user ）、或者它下面的子目录上配置配额。

配置

就像 CephFS 里的其它配置一样，配额也是用虚拟扩展属性来配置的：

  • ceph.quota.max_files – file limit
  • ceph.quota.max_bytes – byte limit

如果这些属性出现在目录索引节点里，就意味着那里配置了配额；如果不存在，那么那个目录就没设置配额（然而父目录仍然有可能配置了）。

要设置配额：

  1. # 100 MB
  2. setfattr -n ceph.quota.max_bytes -v 100000000 /some/dir
  3. # 10000 个文件
  4. setfattr -n ceph.quota.max_files -v 10000 /some/dir

要查看设置的配额：

  1. getfattr -n ceph.quota.max_bytes /some/dir
  2. getfattr -n ceph.quota.max_files /some/dir

需要留意的是，如果这些扩展属性的值是 0 ，就说明没设置配额。

要删除配额：

  1. setfattr -n ceph.quota.max_bytes -v 0 /some/dir
  2. setfattr -n ceph.quota.max_files -v 0 /some/dir