虹科WekaIO-文件存储系统解决方案

虹科WekaIO（简称HK-Weka）是一个可共享、可扩展的文件存储系统解决方案，其并行文件系统WekaFS支持NVMeoF的flash-native并行文件系统、比传统的NAS存储及本地存储更快。Weka提供现代企业AI工作负载所需的性能、可扩展性和可靠性要求——在本地、云或平台中爆发。

极其简单 · 史诗般性能 · 无限规模

立即试用


产品咨询


视频简介


产品目录


产品介绍


产品优势


功能特点


运行方式


应用行业


解决方案

产品介绍

HK-Weka文件存储系统

WekaFS

HK-Weka后端主机被配置为集群，它与安装在应用程序服务器上的HK-Weka客户端一起，构成了一个大型的可共享、分布式和可扩展的文件存储系统：

可共享：所有客户端都可以共享相同的文件系统，任何客户端写入的任何文件都可以立即供读取数据的客户端使用，是一个强一致性、符合POSIX标准的系统。
分布式：HK-Weka系统由多个后端组成集群，每个后端都同时提供服务。
可扩展：HK-Weka系统的线性性能取决于集群的大小。对于大小为X且具有一定性能的群集，如果将群集加大到2倍，其性能将提高两倍，非常适用于数据和元数据。

HK-Weka客户端

安装在应用服务器上、符合POSIX标准：HK-Weka系统客户端是安装在应用服务器上、符合POSIX标准的文件系统驱动程序，它支持对HK-Weka系统的文件访问。与其他文件系统驱动程序类似，HK-Weka系统客户端拦截并执行所有文件系统操作。这使HK-Weka系统能够为应用程序提供本地文件系统语义和性能（与NFS挂载相反），同时提供集中管理以及可共享和弹性存储。

与Linux操作系统页面缓存紧密集成：HK-Weka系统客户端与Linux操作系统页面缓存紧密集成，将部分文件系统内容存储在客户端主机RAM中。操作系统在应用程序服务器的未使用RAM容量中维护页面缓存，提供对缓存页面内容的快速访问和整体性能改进。

HK-Weka客户端可以控制存储在页面缓存中的信息，并在必要时使其失效。因此，HK-Weka系统可以利用页面缓存进行高性能缓存数据访问并保持跨多个主机的数据一致性。每个文件系统都可以安装在与页面缓存相关的两种操作模式中的一种：

读缓存：只有读操作使用页面缓存，文件数据在主机之间是一致的，并且对客户端故障具有强大的恢复能力。
写缓存（默认）：读取和写入操作都使用页面缓存，同时保持跨主机的数据一致性，并提供最高的数据性能。

HK-Weka GUI 应用程序

HK-Weka GUI应用程序是HK-Weka系统的管理工具，可以使用此工具进行系统配置、文件系统管理、用户管理、警报、事件和统计数据调查。

HK-Weka GUI应用程序支持以下功能：

配置

>>配置集群，例如数据可用性、许可证、安全性和集中监控
>>配置后端服务器并以不同的协议公开数据
>>管理本地用户并设置用户目录
>>创建和管理组织及其配额

管理

>>管理文件系统，包括分层、自动精简配置和加密
>>管理快照
>>管理对象存储桶
>>管理文件系统协议：SMB、S3 和 NFS

调查

>>调查事件
>>调查超时统计数据，例如总操作数、R/W 吞吐量、CPU 使用率以及读取或写入延迟

监控

>>查看集群保护和可用性
>>查看R/W吞吐量
>>查看后端和客户端顶级消费者
>>查看警报
>>查看已用、已配置和总容量
>>查看前端、计算和驱动核心的使用情况
>>查看硬件组件（活动/总计）

解决大问题

加快创新：比传统存储快10倍
安心扩展：线性性能，可同时扩展到100多PB的规模
更好、更快的终端用户体验

满足数据要求高的工作负载

将计算能力用于工作：不浪费GPU/CPU资源
高性价比：具有对象存储经济性的极端NVMe性能
大幅提高数据科学和工程团队的生产力

可随处部署

云原生：跨公有和私有云运行
按需付费：只需为你使用的资源付费
软件定义：在标准硬件上获得类似于设备的体验

产品优势

选择Weka的十大理由

速度提高10倍以上

WekaFS是符合POSIX标准的文件系统，其设计简单，能够充分利用闪存技术。从多个独立审计的基准测试可以证明，WekaFS是世界上最快的文件系统之一。使用WekaFS的用户已经感受到企业应用性能的巨大改进，WekaFS可以使用户更快地了解企业现状，更快地进入巿场，并在基础设施效率方面取得巨大改进。

一次性完成设置

WekaFS非常适合应对混合工作负载的挑战–大型和小型文件、随机和顺序访问、结构化和非结构化数据。WekaFS不需要为某种工作负载进行调整，因此IT管理员可以专注于管理工作，而不必浪费时间在工作负载调整上。

无限扩展且节约资金

WekaFS可以将系统扩展到EB的云存储，同时通过扩展文件系统命名空间以包括任何S3兼容对象存储(公共或私人）来消除基础设施的复杂性。使用WekaFS，用户的应用程序永远不会失去对数据的访问。用户可以在NVMe闪存上维护工作数据集，并利用硬盘的长期数据湖以获得最佳经济效益。

丰富的企业功能集

WekaFs具有丰富的企业功能集，包括快照、克隆、加密（静态和动态)、密钥管理互通协议(KMIP)支持、服务器认证、LDAP支持、活动目录集成、组织多租户、网络高可用性、数据保护、备份到云、灾难恢复、配额、云爆发、跨协议文件共享等。

易于部署和管理

WekaFS是目前最易于部署和管理的并行文件系统。作为交钥匙参考架构的文件系统组件，WekaFS可从最专业的服务器制造商处获得完整的预配置和测试，其部署非常简单。一旦投入生产，HK-Weka存储解决方案可以从WekaFS GUI管理数百PB的数据，或与Prometheus和Grafana等DevOps监控工具集成。

可在本地或云中运行工作负载

可以将WekaFS部署在本地上并突发到云中以获得计算弹性，也可以在公有云中原生运行。利用HK-Weka的Kubernetes插件可以实现数据和应用云的流动性，能将数据和软件许可转移到公有云，然后再返回，没有任何的业务限制。使用WekaFS，用户完全不用担心会受硬件锁定和NAS供应商常见的硬件拖累造成的基础设施选择限制。

灵活部署的纯软件

WekaFS是纯软件，可以灵活部署以适应用户的环境和预算成本。许多用户喜欢在单个集群中运行WekaFS进行应用程序的融合并利用本地NVMe驱动器，还有一些用户则喜欢在专用设备配置中运行WekaFS。无论是在企业内部还是在云中运行，WekaFS都具备云搭建的能力并在两种环境之间突发。

共享同一数据副本

一些存储解决方案提供多种协议，但用户无法在各种协议之间共享数据，而WekaFS可以消除NAS基础设施的数据孤岛问题。WekaFS支持POSIX、NFS、SMB，通过网关的S3和NVIDIAR GPU Direct Storage (GDS)，数据可以在所有协议之间完全共享。

集成解决方案

通过顶级服务器供应商的严格测试，WekaFS被认定为一个非常优秀的集成解决方案。HK-Weka积极测试了与处理器、SSD、网络和对象存储解决方案的互操作性，以确保最佳性能和兼容性。此外，为了不断提高性能，HK-Weka还与基于CPU、GPU的应用服务器和应用程序进行了彻底的测试。

按需付费随用随付

WekaFS支持按需付费随用随付。用户只需为你所使用的软件付费，而不再被相应的支持合同价格所限制。

三大核心优势

统一数据孤岛

加快洞察时间

随处部署

统一数据孤岛

传统存储设计迫使客户部署不同的架构来满足不同工作负载的需求。HK-Weka从头开始构建，旨在满足现代工作负载的各种需求，使您能够汇集所有数据并通过全局命名空间管理它们。通过显着简化的管理，您可以轻松地大规模访问和管理您的数据，以提供更好的结果。

加快洞察时间

推动可能的极限。凭借行业领先的性能，您可以显着加快获得洞察的时间。立即适应任何新的工作负载，不需要调整，也不需要专业的知识。使用经过验证的参考架构在云端或本地快速启动和运行。

随处部署

Weka存在于您的数据所在的任何地方，无论是在本地、在公共云中还是在混合环境中。通过部署我们的云原生存储解决方案，大规模利用云中可用的弹性计算资源。Weka为您提供了部署在专用存储服务器上或作为本地或云中的聚合计算存储的选择。

功能特点

管理数据的革命性构架

保护

HK-Weka并行文件系统受到N+2或N+4的全面保护，即硬盘或后端的任何2个并发故障都不会造成任何数据丢失，且HK-Weka系统能够正常运行以提供持续的服务。上述是通过复杂的分布式保护方案实现的，该方案是在形成集群时确定的。数据部分的范围可以从3到16，保护方案可以是2或4，即对于大型后端主机集群，集群可以是3 + 2，10 + 2，甚至16 + 4。

分布式网络方案

HK-Weka系统实现了任意对任意的保护方案，确保在后端发生故障时，使用其他后端可以执行重建过程，获取驻留在故障后端上的数据，并使用集群中其他后端的冗余重新创建。因此，冗余不是跨后端组，而是通过在整个后端集群中相互保护数据集组来实现的。例如，一个后端在100个后端的集群中发生故障，其他99个后端将参与重建过程，同时读取和写入。这意味着HK-Weka系统重建过程非常快，这与传统的存储架构不同。在传统的存储架构中，正常运行的后端只是参与重建过程的后端或驱动器的一小部分。对于HK-Weka系统而言，群集越大，重建过程就越快。

将故障组件替换为功能组件

热备用（Hot Spare）是在HK-Weka系统集群中配置的，它会在整个集群重建后恢复完全冗余所需的额外容量，这与将特定物理组件专用于热备用的传统方法不同。因此，一个包含100个后端的集群将配置足够的容量来重建数据，即使在发生两次故障后也可以恢复到完全冗余，并且还有可能承受另外两次故障，此故障组件更换策略不会影响系统的正常运行。系统发生故障后，只需将故障组件替换为有效组件即可重新创建数据。在HK-Weka系统中，数据立即被重新创建，将故障组件替换为功能组件作为后台进程。

故障域

故障域是一组后端，它们可能由于单个根本原因而失败。例如，如果机架中的所有服务器都通过单个电源电路供电，或者所有服务器都通过单个TOR交换机连接，则可以将其视为故障域。考虑一组10个这样的机架设置，包含50个HK-Weka后端的集群（每个机架中有5个后端）。在HK-Weka集群形成过程中，可以配置6+2保护，通过在机架上形成保护条使HK-Weka系统知道这些可能存在的故障域。通过这种方式，6 + 2条带将分布在不同的机架上，确保系统在机架完全故障的情况下保持运行且不会丢失数据。

按优先级排列数据重建过程

发生故障时，数据重建过程首先读取发生故障的所有条带以重建数据，然后返回到完全保护。如果发生第二次故障，可能会有三种类型的条带：

不受任何一个故障组件影响的条带：无需执行任何操作
仅受其中一个故障组件影响的条带
受两个故障组件影响的条带

当然，根据多重性规则，受两个故障组件影响的条带数量远小于受单个故障组件影响的条带数量。但在尚未重建受两个故障组件影响条带的情况下，第三个组件故障将使HK-Weka系统面临数据丢失。

为了降低这种风险，HK-Weka系统优先考虑重建过程：首先，从受两个故障组件影响的条带开始重建。由于此类条带的数量要少得多，因此该重建过程可以非常快速地执行，只需几分钟或更短的时间。接着，HK-Weka系统将返回到仅受一个故障组件影响的条带的重建，此时可以承受另一个并发故障且不会丢失任何数据。这种按优先级划分的重建过程方法可确保数据几乎永远不会丢失，并且服务和数据始终可用。

无缝分配、最佳容量和最佳性能

安装在应用服务器上的每个HK-Weka系统客户端可以直接访问存储数据的后端主机，然后转发访问请求。HK-Weka客户端包括一个完全同步的映射用以说明哪些后端存储哪种类型的数据，并表示所有客户端和后端都知道的联合配置。

当 HK-Weka客户端尝试访问某个文件或文件中的偏移量时，加密哈希函数会指示该后端所需的文件或偏移量。当执行集群扩展或发生组件故障时，后端的职责和功能会立即在各个组件之间重新分配。这是允许HK-Weka线性系统提高性能的基本机制，也是线性同步缩放大小与缩放性能的关键。例如，如果添加后端以使集群的大小增加一倍，则文件系统的不同部分将重新分发到新的后端，从而立即提供两倍性能。

此外，如果一个集群只是适度增长，比如从100个后端增加到110个后端，则没有必要重新分发所有数据，只有10%的现有数据将被复制到新的后端，以便平等地重新分配所有后端上的数据。这种数据平衡（扩展所有后端在所有读取操作中的参与度）对于扩展性能非常重要，可以确保没有空闲或过载后端，并且集群中的每个后端都存储相同数量的数据。

所有这些完全无缝操作的持续时间取决于根后端的容量和网络带宽。HK-Weka的无缝操作使得正在进行的操作不受影响，并且随着数据的重新分发还可以提高性能，完成重新分发过后可提供最佳容量和最佳性能。

数据缩减

HK-Weka系统增强的数据缩减功能可保持卓越的性能，能够显著减少各种工作负载。在HK-Weka并行文件系统中，可以寻找并减少彼此相似的数据块以单独存储数据块之间的差异，而传统数据缩减技术则需要数据块100%相似。上述操作可以按文件系统启用数据缩减，数据压缩率将取决于工作负载，无论是基于文本的数据、大规模非结构化数据集、日志分析、数据库、代码存储库和传感器数据等都可以压缩的非常出色。HK-Weka系统还提供了一个数据缩减估计工具（DRET），该工具可以在现有文件系统上运行，以计算数据集的缩减率。

运行方式

重新构建现代AI工作流

要在生产环境中成功部署AI项目，企业的基础架构必须能够快速处理非常大的数据集，并能够从各种来源中摄取结构化和非结构化数据。传统的高性能处理存储架构不断地将数据从一个存储系统移动到另一个存储系统（用于归档数据的对象存储、用于持久存储的NAS、用于快速存储的并行文件系统）。随着数据传输时间的延长，不仅增加了存储架构复杂性，还减慢了运行结果。对HK-Weka系统而言，它重新构建了的现代AI工作流。

设置和管理简单
 云原生