Weka-FAQ
最常见的问题和答案
一个关键的系统设计原则是硬件技术随着时间的推移而变化,软件定义的存储解决方案应该适应这种变化，这意味着它必须能够在任何标准的硬件平台上运行。WekaFS是一种软件，旨在运行在任何标准的基于英特尔x6的服务器硬件和商品固态硬盘上或在公共云中原生运行。这消除了昂贵的专用硬件的成本开销，并允许你从技术进步中获益，而不需要承受升级到下一代架构的痛苦。
- 人工智能、机器学习和任何GPU加速的应用
- 大数据分析:欺诈检测、零售优化、呼叫中心分析和物联网数据分析
- 生命科学:NGS，生物成像、结构生物学和生物信息学
- 金融服务︰高频交易、风险管理、欺诈检测和巿场模拟
- HPC:气候变化模拟、计算物理学、地震研究、空间研究、模拟和智能
- 媒体和娱乐︰非线性编辑、视觉特效渲染、转码和内容交付
Weka文件系统是一个易于配置、易于部署的存储解决方案，可以流畅地适应你的环境，给你带来完全的部署灵活性。
- 超融合部署利用了你现有的计算基础设施，同时消除了你的存储足迹，减少了电力和冷却成本。
- 当你想为应用隔离、性能或可扩展性保持独立的存储和计算基础设施时，专用存储服务器的部署是理想的。
- 公共云部署允许你通过在公共云服务器实例上运行WekaFS来实现真正的弹性计算和无限规模的承诺。
WekaFS提供了灵活性、易于部署和弹性，无论是在企业内部、混合配置中，还是完全在云中按需扩展。WekaFS是一个单一的、不折不扣的存储解决方案，可以根据性能、规模和经济性自由选择最适合你的应用的环境。
Weka文件系统可以支持多达1024个文件系统，每个文件系统都可以访问所有集群资源。每个文件系统可以有自己的数据管理设置。
WekaFS将数据存储在两层。热数据存储在存储服务器集群内的闪存SSD上，温数据被分层到任何与S3兼容的对象存储系统的硬盘上，以获得成本优化的容量。分层对应用程序是透明的，所以不需要修改就可以访问第二层的数据。
WekaFS使用专利的数据和元数据分配机制来避免热点。该软件透明地监控集群存储资源，当检测到失衡时会自动重新分配数据，以平衡所有服务器的负载。
WekaFS在两个方面独立扩展–容量和性能。WekaFS被设计成可以扩展到数百PB、数千个计算实例和数十亿个文件。WekaFS有生产部署，管理着数百个节点和几十PB的存储。随着更多的节点被添加到存储集群中，性能也会线性扩展。该系统能够达到数千万的IOPS或>2.5TB/秒的带宽，延迟小于300微秒。
EBS卷是简单的块存储。WekaFS是一个高性能、可共享的文件系统，使参与的实例能够以POSK语义一致地共享相同的数据。
WekaFs是一个高性能的分布式文件系统，允许需要文件接口的应用程序共享文件。weka扩展了这些功能，为这些应用程序提供了一个接口，以亚亳秒的延迟访问AWS S3存储，作为大规模可扩展全球命名空间的一部分。
- 备份：每天或定期的快照被复制到另一个存储服务，以便在数据损坏的情况下进行数据恢复。
- 归档：为了遵从和应用的需要，保留数据的旧拷贝。
- DevOps和测试：新的应用程序发布可以通过制作数据的克隆来测试生产数据，这些数据以后可以销毁。
是的。一个快照可以被提升为一个完整的克隆，这样应用程序就可以写到克隆上。
空间消耗是不同的，取决于快照和主文件系统之间的差异。
可以在文件系统层面上进行快照。
WekaFS具有从应用客户端到存储系统的全部加密功能，支持飞行和静止时的加密。它与符合KMIPS的密钥管理系统紧密结合。
WekaFS支持客户端-服务器认证，以防止流氓客户端访问存储集群。此外，它还与目录服务完全集成，用于用户认证和权限。
Weka软件包括你所需要的高性能、扩展型主存储的一切。
- WekaFS极大地简化了部署,集群配置通常只需要几分钟。
- WekaFS为小文件（<4K）提供极高的IOPS性能，同时提供出色的带宽。它在SPEC 2014和lO-500性能基准测试中取得了最高排名。
- WekaFS没有单独的元数据服务、这可能会限制性能∶元数据通过防止热点的专利机制分布在整个集群中。WekaFS实现了一个向外扩展的架构，当更多的节点被添加到集群中时，性能会继续增加。
- WekaFS使用网络方面的创新来实现最低的延迟，无论集群大小。
- WekaFS使用专利的数据保护机制，提供了最有弹性的大型集群部署，并具有业内最短的重建时间。
- WekaFS的性能是传统的NFS或基于windows的存储设备的10倍。
- WekaFS允许性能和容量动态地独立扩大或缩小。
- WekaFS为用户提供了对特定服务器或实例类型性能的更精细的控制。
- WekaFS的性能是根据分配给文件系统的内核数量和集群中的服务器节点数量线性扩展的。
- WekaFS与硬件无关，并能实现云突发，以提高系统的敏捷性并提供混合云能力。
Weka的分布式数据保护方案由多层保护组成，以确保最高水平的可用性、性能和数据弹性。这些层包括：
- 集群内的数据分布
- 一种专有的纠错方案，比RAID或其他形式的擦除编码更快、更有效、更有弹性
- 元数据日志，用于在断电情况下保护文件系统不被损坏，在将文件系统重新投入使用之前，不需要对整个文件系统运行FSCK(这一过程可能需要数天)。
- 一个端到端的校验，确保数据完全按照原定计划写入，防止比特翻转和其他形式的无声数据损坏。
WekaFS可以轻松处理多个故障，并配置了+2或+4级的故障域可靠性。
WekaFS通过使用专利的数据保护机制和多个参与实例的计算能力，提供了卓越的性能和最小化的开销。其结果是对I/O性能几乎没有影响。
WekaFS支持通过POSIX、SMB、NFS和S3通过网关访问。
这非常简单，只需要几分钟的时间，有以下几个步骤。
- 配置一个本地或分层文件系统组
- 配置一个文件系统
- 确保你有来自AWS的NFS连接的有效AWS IPs
- 配置weka接口组–选择将输出NFS的服务器，以及提供NFS IP的AWS范围。
- 配置Weka客户端组以及要输出的文件系统
- 通过Linux挂载命令将文件系统挂载为NFS
针对活动数据的文件操作的读写延迟可低至200微秒。影响延迟的因素包括集群上的负载、分层和访问方法的选择。NVMe将提供最低的延时。
根据所使用的服务器和SSD，Weka目前在一个初始集群中提供超过350万IOPS。IOPS性能随着集群的增长而扩展。
WekaFS可以利用集群中所有可用的带宽。总的性能取决于集群的大小和提供的网络带宽的数量。用户可以期望在一个初始集群上看到超过45GBytes/秒，每个节点的性能将随着更多节点加入集群而扩展。
分层是在文件系统级别指定的。在配置分层时，用户指定闪存分层和对象分层的大小。数据将根据分层策略从一个层级迁移到另一个层级。
在GUI中，只需指定分层策略和分层目标。不需要对应用程序进行修改。应用程序将访问一个文件系统，不管任何分层操作。然而，数据分层会影响应用程序的性能。用户可以选择默认的分层策略或定义自己的分层策略，而且策略可以随时改变。
文件内容是分层的，但元数据总是存储在集群上。文件根据访问和修改时间用用户定义的策略进行分层。
权威文件驻留在对象存储器上，而原始文件仍作为加速访问的缓存副本，直到新的文件系统写入需要的物理SSD空间。
分层可以通过改变文件的修改时间属性来强制进行。文件也可以立即降级为对象存储，以适应从遗留系统到weka的数据迁移。
用户可以限制分层过程的可用带宽(如200MB/秒)。这个参数可以在任何时候改变。
WekalO永远不会阻止你访问你的数据。如果你的许可证过期，你将不再得到支持、维护或错误修复。你还可以自由、清晰地访问你在系统上的数据，并积极使用这些数据。