什么是 AWS HPC?高性能计算聚集了计算机能力来处理数据并以比单个计算机更高的速度执行复杂的计算。Amazon Web Services 提供了一套产品来优化 HPC 中使用的复杂工作负载的性能。
什么是高性能计算?
在企业和政府计算的早期,高性能设备非常庞大,通常占据整个房间甚至整个楼层。处理硬件和软件的发展不断降低高性能机器的尺寸和复杂性。超级计算机是设备的庞然大物,通常连接到多种形式的存储介质,并可通过位于场所的工作终端进行访问。
长期以来,这是访问高性能计算资源的唯一途径。硬件、互联网和云计算服务的发展从根本上改变了我们对高性能计算的看法。
一般来说,高性能计算有几个核心特征:
- 远程集群设备:现代 HPC 不是运行集中式超级计算机,而是使用分散的服务器集合,称为集群,通过云软件连接。这种方法允许管理员并行利用多个系统的存储和计算能力。
- 专用硬件:传统的超级计算机将使用顶级但传统的硬件,包括 CPU 和 RAM。现代 HPC 集群通常会部署由专门构建的现场可编程门阵列和 GPU 构建的系统,这些系统可以更轻松地处理并行处理作业并增加数据吞吐量。
- 远程服务:传统的超级计算机将允许通过远程终端共享访问系统资源——本质上,用户将登录到终端并在超级计算机上执行命令。现代 HPC 设置通常会通过大量托管应用程序、服务和基础架构提供更多控制,以支持尝试构建复杂系统的用户。
由于现代 HPC 系统的速度、可用性和灵活性,企业和科学用户可以获得经济高效且功能强大的计算资源,而通常无需独立实施和维护它们。
高性能计算有哪些用例?
虽然 HPC 不能供消费者普遍使用,甚至可能对中小型企业没有多大用处,但它正在为市场上一些最关键和最前沿的工业流程和消费者开发项目提供动力。
HPC架构的一些用途包括:
- 化学工程:许多工业操作涉及储存、运输和混合化学品和其他液体。即使是最微不足道的低效率也会对化学过程的成本和有效性产生巨大影响。作为计算流体动力学的一部分,HPC 平台通常用于为智能系统提供动力。
- 基因组测序:人类基因组的扫描、编目和测序非常复杂,需要大量的处理能力(和时间)才能完成。先进的云 HPC 正在帮助医学研究人员更好地了解具有挑战性的疾病和遗传状况。
- 预测分析:HPC 平台为零售、保险供应和金融服务领域的企业用户提供 PB 级数据模型趋势和模式,以根据惊人的洞察力做出明智的决策。这些分析可以推动业务运营、管理风险或帮助高管为不同的潜在组织成果做好准备。
- 生态模拟:绘制地质变化、天气模式和地震事件的地图与强大的分析非常相似——获取大量数据并通过 HPC 集群对其进行处理,以深入了解复杂系统的未来行为。
AWS HPC 的优缺点是什么?
Amazon Web Services (AWS) 是 Amazon 的HPC 云基础设施套件。它的主要卖点之一是它提供了多种云功能和合作伙伴集成,以支持希望在不部署其基础架构的情况下构建自己的应用程序和服务的企业客户。与亚马逊的大多数事物一样,AWS HPC 在公众对云基础设施的认识方面迅速走在了前列。它们使部署容器化操作系统、应用程序或存储变得相对容易,以支持软件即服务产品,并清楚地了解定价、规模和功能。
使用 AWS HPC 的一些好处包括:
- 易用性: AWS 向业务用户开放 HPC 的更重要步骤之一是消除这些组织与平台之间的障碍。亚马逊强调让组织更容易入职,提供易于理解的定价并维护全面的支持文档和视频库。
- 可扩展性:AWS 主要是一个公共云(具有私有和混合选项),这意味着资源、操作系统类型和虚拟机很容易实现和扩展。
- 灵活性:AWS 包括利用各种机器、支持 Windows 和 Linux 系统、各种云应用程序和编程语言环境。
WEKA:用于高强度工作负载的专用 HPC 云
对于需要专门的高性能混合云基础设施来应对最具挑战性的工作负载的组织,请考虑构建在 AWS 混合云基础设施上的 WEKA。WEKA 提供硬件、软件和专业知识,使研究人员和工程师能够在健康服务、基因组学、生命科学、机器学习和分析领域构建最复杂的系统。
使用 WEKA,您可以获得以下功能:
- 流线型和快速的云文件系统,将多个源组合到一个高性能计算系统中
- 业界最佳的 GPUDirect 性能(单个 DGX-2 为 113 Gbps,单个 DGX A100 为 162 Gbps)
- 针对治理、风险和合规性要求的动态和静态加密
- 边缘、核心和云开发的敏捷访问和管理
- 可扩展至数十亿文件的 EB 级存储