WekaIO-专业术语

最常用的专业名词
Weka 文件系统类似于常规的磁盘文件系统,但分布在集群中的所有主机上。因此,文件系统不与 Weka 系统中的任何物理对象相关联,并且充当具有空间限制的根目录。
该系统总共支持多达 1024 个文件系统。所有这些都在分配给系统的所有 SSD 和 CPU 内核上均等地平衡。这意味着分配新文件系统或调整文件系统大小是即时管理操作,不受任何限制。
文件系统具有定义的容量限制并与预定义的文件系统组相关联。属于分层文件系统组的文件系统必须具有总容量限制和 SSD 容量上限。所有文件系统的可用 SSD 容量不能超过 SSD 总净容量。
精简配置是一种根据用户需求按需分配 SSD 容量的方法。在精简配置中,文件系统容量由最小保证容量和最大容量定义(实际上可以超过可用的 SSD 容量)。
系统会为消耗分配的最小容量的用户分配更多容量(最多为可用 SSD 总容量)。或者,当他们通过删除文件或传输数据来释放空间时,空闲空间会被回收、重新利用,并用于需要 SSD 容量的其他工作负载。
精简配置在各种用例中都有好处:
 
  • 分层文件系统:在分层文件系统上,可用 SSD 容量用于额外性能,并在其他文件系统需要时释放到对象存储。
  • 自动扩展组:使用自动扩展组时,精简配置可以帮助自动扩展和收缩文件系统的 SSD 容量以获得额外的性能。
  • 将项目与文件系统分离:如果需要为每个项目创建单独的文件系统,并且管理员不希望同时充分利用所有文件系统,则为每个项目创建精简配置文件系统是一个很好的解决方案。每个文件系统都分配有最小容量,但可以根据实际可用的 SSD 容量在需要时消耗更多。
在 Weka 系统中,对象存储代表一种可选的外部存储介质,非常适合存储热数据。分层 Weka 系统配置中使用的对象存储可以基于云,位于同一位置(本地)或远程位置。
Weka 支持分层(分层和本地快照)和备份(仅快照)的对象存储。分层和备份都可以用于同一个文件系统。
当基于服务器的 SSD 无法满足的价格点需要具有成本效益的数据存储层时,可以最佳地使用对象存储桶。
对象存储存储桶定义包含对象存储 DNS 名称、存储桶标识符和访问凭证。存储桶必须专用于 Weka 系统,并且不能被其他应用程序访问。
与对象存储桶的文件系统连接可用于数据生命周期管理和 Snap-to-Object 功能。
在 Weka 系统中,文件系统最多分为 8 个文件系统组。
每个文件系统组都有分层控制参数。虽然分层文件系统有自己的对象存储,但分层策略对于同一文件系统组下的每个分层文件系统都是相同的。

原始容量是分配给 Weka 系统群集的所有 SSD 上的总容量,例如,10 个 1 TB 的 SSD 的总原始容量为 10 TB。这是Weka系统可用的总容量。如果向系统添加更多主机或 SSD,则此情况将自动更改。

净容量是配置的Weka系统中SSD上可用于用户数据的空间量。它基于原始容量减去Weka文件系统开销,以实现冗余保护和其他需求。如果向系统添加更多主机或 SSD,则此情况将自动更改。

条带宽度是共享公共保护集的块数,范围可以从 3 到 16。Weka系统已经分发了任意对任意保护。因此,在条带宽度为 8 的系统中,分布在不同主机上的许多 8 个数据单元组相互保护(而不是一组 8 个主机形成一个保护组)。条纹宽度是在聚类形成期间设置的,无法更改。条带宽度选择会影响性能和空间。

保护级别是添加到每个条带的附加保护块的数量,可以是 2 个或 4 个。保护级别为 2 的系统可以承受 2 次并发故障,而保护级别为 4 的系统数据可以针对任何并发 4 主机或磁盘故障提供保护,并且其可用性可以针对任何 4 个并发磁盘故障或 2 个并发主机故障进行保护。较大的保护级别会影响空间和性能。保护级别是在群集形成期间设置的,无法更改。

故障域是一组 Weka 主机,所有这些主机都可能由于单个根本原因(如电源电路或网络交换机故障)而同时发生故障可以使用显式或隐式故障域配置群集。对于具有显式故障域的系统,每组相互保护的块都分布在不同的故障域上。对于具有隐式故障域的系统,块组分布在不同的主机上,每个主机都是一个故障域。可以添加其他故障域,并且可以将新主机添加到任何现有或新的故障域。

热备盘是系统可能丢失的故障域数,可以完全重建数据,同时仍保持相同的净容量。所有故障域始终参与存储数据,并且热备盘容量在所有故障域中均匀分布。

热备盘计数越高,获得相同净容量所需的硬件就越多。另一方面,热备盘计数越高,更换的 IT 维护计划就越宽松。热备盘是在群集形成期间定义的,可以随时重新配置。

扣除保护和热备盘的容量后,仅剩余的容量的 90% 可以用作净用户容量,另外 10% 的容量保留给 Weka 文件系统。这是一个无法配置的固定公式。

预置容量是分配给文件系统的总容量这包括 SSD 和对象存储容量。

可用容量是可用于分配新文件系统的总容量,即净容量减去预置容量

Weka 代理是安装在需要访问 Weka 文件服务的用户应用程序服务器上的软件。使用无状态客户端功能时,代理负责确保安装了正确的客户端软件版本(取决于集群版本)并且客户端连接到正确的集群。

运行 Weka 软件并安装有专用于 Weka 系统的 SSD 驱动器的主机,为客户端主机提供服务。一组后端主机组成一个存储集群。

Weka 客户端是安装在需要访问 Weka 文件服务的用户应用服务器上的软件。Weka 客户端实现了基于内核的文件系统驱动程序以及逻辑和网络堆栈,以连接到 Weka 后端主机并成为集群的一部分。在一般行业术语中,“客户端”也可以指使用这些协议访问 Weka 文件系统的 NFS、SMB 或 S3 客户端。对于 NFS、SMB 和 S3,Weka 客户端不需要与这些协议一起安装。

分层数据在 SSD 上保留的目标时间段。

每个逻辑数据保护组中的数据块数。

是运行在客户端并从 Weka 存储集群访问存储服务和 IO 的 Weka 软件的集合。前端由将 IO 传递到 Weka 驱动程序的前端节点、DPDK 库和 Weka POSIX 驱动程序组成。