附录 1:HPC 群集网络

Microsoft HPC Pack 支持五种群集拓扑,旨在满足各种用户需求和性能、可伸缩性、可管理性和访问要求。 这些拓扑的区别是群集中的节点如何相互连接,以及如何连接到企业网络。 根据为群集选择的网络拓扑,某些网络服务(例如动态主机配置协议(DHCP)和网络地址转换(NAT)可由头节点提供给节点。

在设置 HPC 群集之前,必须选择用于群集的网络拓扑。

本部分包括以下主题:

HPC 群集网络

下表列出了并描述了 HPC 群集可连接到的网络。

网络名称 说明
企业网络 连接到头节点的组织网络,在某些情况下,连接到群集中的其他节点。 企业网络通常是大多数用户登录以执行其工作的公共或组织网络。 所有群集内部管理和部署流量均在企业网络上进行,除非专用网络和应用程序网络(可选)也会连接群集节点。
专用网络 在节点之间承载群集内通信的专用网络。 如果存在,则此网络将承载管理、部署和应用程序流量(如果没有应用程序网络)。
应用程序网络 专用网络,最好具有高带宽和低延迟。 此网络通常用于群集节点之间的并行消息传递接口(MPI)应用程序通信。

支持的 HPC 群集拓扑

HPC Pack 支持五种群集拓扑:

拓扑 1:在专用网络上隔离的计算节点

下图演示了头节点和计算节点如何连接到此拓扑中的群集网络。

CCS 群集拓扑 1

下表列出了有关此拓扑中不同组件的详细信息。

组件 说明
网络适配器 - 头节点有两个网络适配器。
- 每个计算节点都有一个网络适配器。
- 头节点同时连接到企业网络和专用网络。
- 计算节点仅连接到专用网络。
交通 - 专用网络承载头节点和计算节点之间的所有通信,包括部署、管理和应用程序流量(例如 MPI 通信)。
网络服务 - 此拓扑的默认配置在专用网络上启用 NAT,以便为计算节点提供地址转换以及对企业网络上服务和资源的访问。
- 默认情况下,在专用网络上启用 DHCP,以便将 IP 地址分配给计算节点。
- 如果专用网络上已安装 DHCP 服务器,则默认情况下将禁用 NAT 和 DHCP。
安全性 - 群集上的默认配置为企业网络打开防火墙,并为专用网络关闭防火墙。
选择此拓扑时的注意事项 - 群集性能更一致,因为群集内部通信路由到专用网络。
- 计算节点与企业网络上的资源(如数据库和文件服务器)之间的网络流量通过头节点。 因此,根据流量量,这可能会影响群集性能。
- 企业网络上的用户无法直接访问计算节点。 这在开发和调试并行应用程序以便在群集上使用时具有影响。
- 如果要将工作站节点添加到群集,并且这些节点连接到企业网络,则工作站节点与计算节点之间的通信是不可能的。

拓扑 2:企业和专用网络上的所有节点

下图演示了头节点和计算节点如何连接到此拓扑中的群集网络。

CCS 群集拓扑 2

下表列出了有关此拓扑中不同组件的详细信息。

组件 说明
网络适配器 - 头节点有两个网络适配器。
- 每个额外的群集节点都有两个网络适配器。
- 群集中的所有节点都连接到企业网络和专用专用群集网络。
交通 - 节点之间的通信(包括部署、管理和应用程序流量)在专用网络上进行。
- 可以直接将来自企业网络的流量路由到计算节点。
网络服务 - 此拓扑的默认配置在专用网络上具有 DHCPenabled,用于向计算节点提供 IP 地址。
- 此拓扑中不需要 NAT,因为计算节点连接到企业网络,因此默认情况下会禁用此选项。
安全性 - 群集上的默认配置为企业网络打开防火墙,并为专用网络关闭防火墙。
选择此拓扑时的注意事项 - 此拓扑提供更一致的群集性能,因为群集内部通信路由到专用网络。
- 此拓扑非常适合开发和调试应用程序,因为所有计算节点都连接到企业网络。
- 此拓扑便于企业网络上的用户访问计算节点。
- 此拓扑为计算节点提供对企业网络资源的直接访问。

拓扑 3:在专用网络和应用程序网络上隔离的计算节点

下图演示了头节点和计算节点如何连接到此拓扑中的群集网络。

CCS 群集拓扑 3

下表列出了有关此拓扑中不同组件的详细信息。

组件 说明
网络适配器 - 头节点有三个网络适配器:一个用于企业网络,一个用于专用网络,一个是连接到应用程序网络的高速适配器,用于高性能。
- 每个计算节点都有两个网络适配器,一个用于专用网络,另一个用于应用程序网络。
交通 - 专用网络在头节点与计算节点之间承载部署和管理通信。
- 群集上运行的 MPI 作业使用高性能应用程序网络进行跨节点通信。
网络服务 - 此拓扑的默认配置为专用网络启用了 DHCP 和 NAT,以提供计算节点的 IP 寻址和地址转换。 默认情况下,DHCP 在应用程序网络上启用,但未启用 NAT。
- 如果专用网络上已安装 DHCP 服务器,则默认情况下将禁用 NAT 和 DHCP。
安全性 - 群集上的默认配置为企业网络启用防火墙,并在专用网络和应用程序网络上关闭。
选择此拓扑时的注意事项 - 此拓扑提供更一致的群集性能,因为群集内部通信路由到专用网络,而应用程序通信则路由在单独的隔离网络上。
- 此拓扑中的企业网络上的用户无法直接访问计算节点。 这在开发和调试并行应用程序以便在群集上使用时具有影响。
- 如果要在群集中添加工作站节点,并且这些节点连接到企业网络,则工作站节点与计算节点之间的通信是不可能的。

拓扑 4:企业、专用和应用程序网络上的所有节点

下图演示了头节点和计算节点如何连接到此拓扑中的群集网络。

CCS 群集拓扑 4。

下表列出了有关此拓扑中不同组件的详细信息。

组件 说明
网络适配器 - 头节点和每个计算节点有三个网络适配器:一个用于企业网络,一个用于专用网络,一个是连接到应用程序网络的高速适配器,用于高性能。
交通 - 专用群集网络仅承载部署和管理流量。
- 应用程序网络传输延迟敏感的流量,例如节点之间的 MPI 通信。
- 来自企业网络的网络流量直接到达计算节点。
网络服务 - 此拓扑的默认配置为专用网络和应用程序网络启用了 DHCP,以便为两个网络上的计算节点提供 IP 地址。
- 专用网络和应用程序网络禁用 NAT,因为计算节点已连接到企业网络。
安全性 - 群集上的默认配置为企业网络启用防火墙,并在专用网络和应用程序网络上关闭。
选择此拓扑时的注意事项 - 此拓扑提供更一致的群集性能,因为群集内部通信路由到专用网络,而应用程序通信则路由在单独的独立网络上。
- 此拓扑非常适合开发和调试应用程序,因为所有群集节点都连接到企业网络。
- 此拓扑为企业网络上的用户提供对计算节点的直接访问。
- 此拓扑为计算节点提供对企业网络资源的直接访问。

拓扑 5:仅企业网络上的所有节点

下图演示了头节点和计算节点如何连接到此拓扑中的群集网络。

CCS 群集拓扑 5。

下表列出了有关此拓扑中不同组件的详细信息。

组件 说明
网络适配器 - 头节点有一个网络适配器。
- 所有计算节点都有一个网络适配器。
- 所有节点都在企业网络上。
交通 - 所有流量(包括群集内部、应用程序和企业流量)都通过企业网络进行传输。 这可以最大程度地提高对企业网络上用户和开发人员对计算节点的访问权限。
网络服务 - 此拓扑不需要 NAT 或 DHCP,因为计算节点已连接到企业网络。
安全性 - 群集上的默认配置为企业网络启用防火墙。
选择此拓扑时的注意事项 - 此拓扑为企业网络上的用户提供对计算节点的直接访问。
- 单个计算节点对企业网络上的资源的访问速度更快。
- 此拓扑(如拓扑 2 和 4)非常适合开发和调试应用程序,因为所有群集节点都连接到企业网络。
- 此拓扑为计算节点提供对企业网络资源的直接访问。
- 由于所有节点仅连接到企业网络,因此无法使用 HPC Pack 中的部署工具从裸机或通过 iSCSI 部署节点。
- 建议使用此拓扑添加工作站节点(通常已连接到企业网络),因为工作站节点能够与群集中的所有其他类型的节点通信。

Internet 协议版本支持

若要支持 HPC 网络,必须为 IPv4 启用群集节点上的网络适配器。 支持仅 IPv4 和双堆栈(IPv4 和 IPv6)配置。 只能为 IPv6 启用网络适配器。

HPC 网络服务

根据为 HPC 群集选择的网络拓扑,网络地址转换(NAT)或动态主机配置协议(DHCP)可由头节点提供给连接到不同群集网络的节点。

网络地址转换 (NAT)

网络地址转换(NAT)提供了将一个网络上计算机的 IPv4 地址转换为不同网络上计算机的 IPv4 地址的方法。

在头节点上启用 NAT 可使专用网络或应用程序网络上的节点访问企业网络上的资源。 如果另一台服务器在专用或应用程序网络上提供 NAT 或路由服务,则无需启用 NAT。 此外,如果所有节点都连接到企业网络,则不需要 NAT。

DHCP 服务器

DHCP 服务器将 IP 地址分配给网络客户端。 根据为群集选择的 HPC 群集和网络拓扑的检测到的配置,节点将从运行 DHCP 的头节点、专用网络上的专用 DHCP 服务器或通过来自企业网络上服务器的 DHCP 服务接收 IP 地址。

注意

如果在 HPC Pack 2012 头节点上启用 DHCP 服务器,则默认情况下不会安装 DHCP 管理工具。 如果需要 DHCP 管理工具,可以使用“添加角色和功能向导”GUI 或命令行工具在头节点上安装它们。 有关详细信息,请参阅 安装或卸载角色、角色服务或功能

Windows 防火墙配置

在群集中的节点上安装 HPC Pack 时,默认配置并启用两组特定于 HPC 的 Windows 防火墙规则:

  • HPC 专用 规则,这些规则允许头节点上的 Windows HPC 群集服务与群集节点相互通信。

  • HPC 公共 规则,使外部客户端能够与 Windows HPC 群集服务通信。

根据群集中节点的角色(例如头节点与计算节点),构成 HPC 专用 的规则和 HPC 公共 组将有所不同。

若要进一步管理防火墙设置,可以配置 HPC Pack 是包含还是从群集节点上的 Windows 防火墙中排除单个网络适配器。 如果从 Windows 防火墙中排除了网络适配器,则与该适配器通信和从该节点通信完全打开,这与节点上启用或禁用的 Windows 防火墙规则无关。

网络配置向导中的“防火墙设置”页可帮助你根据连接到这些网络适配器的 HPC 网络,指定将包含或排除在 Windows 防火墙中的网络适配器。 还可以指定不希望 HPC Pack 管理网络适配器排除项。

注意

如果允许 HPC Pack 为你管理网络适配器排除项,HPC Pack 会不断监视节点上的网络适配器排除项,并尝试将其还原到所选的设置。

如果将 HPC Pack 配置为管理网络适配器排除项,请为每个群集网络选择以下设置之一。

防火墙选择 说明
ON 请勿从 Windows 防火墙中排除连接到该 HPC 网络的网络适配器。 影响该网络上的所有节点(工作站节点除外)。
OFF 从 Windows 防火墙中排除连接到该 HPC 网络的网络适配器。 影响该网络上的所有节点(工作站节点除外)。

注意

必须使用符合组织安全策略的 Windows 防火墙配置。

其他注意事项

  • 使用网络配置向导更改防火墙设置时,这些更改将传播到群集中的所有现有节点(工作站节点和非托管服务器节点除外),但更改最多可能需要 5 分钟才能在节点上生效。

  • 如果 HPC 群集包含专用网络或应用程序网络,则默认选择是在这些网络上创建网络适配器排除项(即,这些 HPC 网络的默认设置 OFF)。 这提供了最佳性能和可管理性体验。 如果使用专用网络和应用程序网络,并且节点内安全性非常重要,请隔离头节点后面的专用网络和应用程序网络。

  • 具有高级安全性的 Windows 防火墙中的管理工具或 Active Directory 中的组策略设置可以替代 HPC Pack 配置的一些防火墙设置。 这可能会影响 Windows HPC 群集的功能。

  • 如果在头节点上卸载 HPC Pack,则会根据为 HPC 群集网络配置 Windows 防火墙的方式,在与群集网络的连接上默认启用 Windows 防火墙(或禁用)。 如果需要,可以在卸载 HPC Pack 后在 Windows 防火墙中手动重新配置受保护的连接。

  • 如果应用程序需要访问头节点或特定端口上的群集节点,则必须在 Windows 防火墙中手动配置这些应用程序的规则。

  • 可以使用 hpcfwutil 命令行工具检测、清除或修复 Windows HPC 群集中特定于 HPC 的 Windows 防火墙规则。 有关详细信息,请参阅 hpcfwutil

群集服务所需的防火墙端口

下表汇总了 HPC 群集节点上的服务所需的防火墙端口。 默认情况下,这些端口在安装 HPC Pack 期间在 Windows 防火墙中打开。 (请参阅下表后面的 Windows 防火墙规则表中的详细信息。

注意

如果使用非Microsoft防火墙,请手动配置必要的端口和规则,以便正确操作 HPC 群集。

端口号 协议 方向 用于
80 TCP 入站 任何
443 TCP 入站 任何
1,856 TCP 入站 HpcNodeManager.exe
5800, 5801, 5802, 5969, 5970 TCP 入站 HpcScheduler.exe
5974 TCP 入站 HpcDiagnostics.exe
5999 TCP 入站 HpcScheduler.exe
6729, 6730 TCP 入站 HpcManagement.exe
7997 注意: 从 HPC Pack 2008 R2 Service Pack 1 开始配置此端口。 TCP 入站 HpcScheduler.exe
8677 TCP 入站 Msmpisvc.exe
9087 TCP 入站 HpcBroker.exe
9090 TCP 入站 HpcSession.exe
9091 TCP 入站 SMSvcHost.exe
9092 TCP 入站 HpcSession.exe
9094 注意: 从 HPC Pack 2012 开始配置此端口。 TCP 入站 HpcSession.exe
9095 注意: 从 HPC Pack 2012 开始配置此端口。 TCP 入站 HpcBroker.exe
9096 注意: 从 HPC Pack 2012 开始配置此端口。 TCP 入站 HpcSoaDiagMon.exe
9100 - 9163 注意: HPC Pack 2012 中未配置这些端口。 TCP 入站 HpcServiceHost.exe,HpcServiceHost32.exe
9200 - 9263 注意: HPC Pack 2012 中未配置这些端口。 TCP 入站 HpcServiceHost.exe,HpcServiceHost32.exe
9794 TCP 入站 HpcManagement.exe
9892, 9893 TCP、UDP 注意: 此端口仅针对 HPC Pack 2012 中的 TCP 进行配置。 入站 HpcSdm.exe
9894 注意: 从 HPC Pack 2012 开始配置此端口。 TCP、UDP 入站 HpcMonitoringServer.exe

Microsoft HPC Pack 配置的 Windows 防火墙规则

在安装 HPC Pack 期间,将配置以下两个表中的 Windows 防火墙规则。 并非所有规则都在所有群集节点上配置。

注意

在下表中,“工作站节点”是指工作站节点和非托管服务器节点。 可以在 HPC Pack 2008 R2 Service Pack 3(SP3)中配置非托管服务器节点。

HPC 专用规则

规则名称 方向 群集节点 用于 协议 本地端口
HPC 部署服务器 (TCP-In) 入站 头节点 HpcManagement.exe TCP 9794
HPC 作业计划程序服务 (TCP-In, private) 入站 头节点 HpcScheduler.exe TCP 5970
HPC MPI 时钟同步(TCP-In) 入站 头节点, 代理节点, 计算节点, 工作站节点 Mpisync.exe TCP 任何
HPC MPI Etl 到 clog 转换 (TCP-In) 入站 头节点, 代理节点, 计算节点, 工作站节点 Etl2clog.exe TCP 任何
HPC MPI Etl 到 OTF 转换(TCP-In) 入站 头节点, 代理节点, 计算节点, 工作站节点 Etl2otf.exe TCP 任何
HPC MPI PingPong 诊断(TCP-In) 入站 头节点, 代理节点, 计算节点, 工作站节点 Mpipingpong.exe TCP 任何
HPC MPI 服务 (TCP-In) 入站 头节点, 代理节点, 计算节点, 工作站节点 Msmpisvc.exe TCP 8677
HPC Node Manager 服务(TCP-In) 入站 头节点, 代理节点, 计算节点, 工作站节点 HpcNodeManager.exe TCP 1,856
HPC 会话 (TCP-In,专用) 入站 头节点 HpcSession.exe TCP 9092
HPC SMPD (TCP-In) 入站 头节点, 代理节点, 计算节点, 工作站节点 HpcSmpd.exe TCP 任何
HPC 应用程序集成端口共享(TCP-Out) 出站 头节点,代理节点 SMSvcHost.exe TCP 任何
HPC MPI 时钟同步(TCP-Out) 出站 头节点, 代理节点, 计算节点, 工作站节点 Mpisync.exe TCP 任何
HPC MPI Etl 到 clog 转换 (TCP-Out) 出站 头节点, 代理节点, 计算节点, 工作站节点 Etl2clog.exe TCP 任何
HPC MPI Etl 到 OTF 转换(TCP-Out) 出站 头节点, 代理节点, 计算节点, 工作站节点 Etl2otf.exe TCP 任何
HPC MPI PingPong 诊断(TCP-Out) 出站 头节点, 代理节点, 计算节点, 工作站节点 Mpipingpong.exe TCP 任何
HPC Mpiexec (TCP-Out) 出站 头节点, 代理节点, 计算节点, 工作站节点 Mpiexec.exe TCP 任何
HPC Node Manager 服务(TCP-Out) 出站 头节点, 代理节点, 计算节点, 工作站节点 HpcNodeManager.exe TCP 任何

HPC 公共规则

规则名称 方向 群集节点 用于 协议 本地端口
HPC 应用程序集成端口共享(TCP-In) 入站 头节点,代理节点 SMSvcHost.exe TCP 9091
HPC Broker (TCP-In) 入站 头节点,代理节点 HpcBroker.exe TCP 9087, 9095
HPC Broker 辅助角色(HTTP-In)注意: 此规则是在具有 Service Pack 1 的 HPC Pack 2008 R2 中配置的。 入站 头节点,代理节点 任何 TCP 80, 443
HPC 诊断服务 (TCP-In) 入站 头节点 HpcDiagnostics.exe TCP 5974
HPC 文件暂存代理服务(TCP-In) 注意: 从具有 Service Pack 1 的 HPC Pack 2008 R2 开始配置此规则。 入站 头节点 HpcScheduler.exe TCP 7997
HPC 文件暂存辅助角色服务(TCP-In) 注意: 从具有 Service Pack 1 的 HPC Pack 2008 R2 开始配置此规则。 入站 头节点, 代理节点, 计算节点, 工作站节点 HpcNodeManager.exe TCP 7998
HPC 主机 (TCP-In) 入站 头节点, 代理节点, 计算节点, 工作站节点 HpcServiceHost.exe TCP - HPC Pack 2012:任意
- HPC Pack 2008 R2:9100 - 9163
用于控制器的 HPC 主机(TCP-In) 入站 头节点, 代理节点, 计算节点, 工作站节点 HpcServiceHost.exe TCP - HPC Pack 2012:任意
- HPC Pack 2008 R2:9200 - 9263
HPC 主机 x32 (TCP-In) 入站 头节点, 代理节点, 计算节点, 工作站节点 HpcServiceHost32.exe TCP - HPC Pack 2012:任意
- HPC Pack 2008 R2:9100 - 9163
用于控制器的 HPC 主机 x32 (TCP-In) 入站 头节点, 代理节点, 计算节点, 工作站节点 HpcServiceHost32.exe TCP - HPC Pack 2012:任意
- HPC Pack 2008 R2:9200 - 9263
HPC 作业计划程序服务(TCP-In) 入站 头节点 HpcScheduler.exe TCP 5800, 5801, 5969, 5999
HPC 管理服务 (TCP-In) 入站 头节点, 代理节点, 计算节点, 工作站节点 HpcManagement.exe TCP 6729, 6730
HPC Monitoring Server Service (TCP-In) 注意:从 HPC Pack 2012 开始配置此规则 入站 头节点, 代理节点, 计算节点, 工作站节点 HpcMonitoringServer.exe TCP 9894
HPC Monitoring Server (UDP-In) 注意: 从 HPC Pack 2012 开始配置此规则。 头节点 HpcMonitoring Server.exe UDP 9894
HPC 报告数据库(In) 入站 头节点 Sqlservr.exe 任何 任何
HPC SDM Store Service (TCP-In) 入站 头节点 HpcSdm.exe TCP 9892, 9893
HPC SDM 应用商店服务(UDP-In)注意: HPC Pack 2012 未配置此规则。 入站 头节点 HpcSdm.exe UDP 9893
HPC 会话 (HTTPS-In) 入站 头节点 任何 TCP 443
HPC 会话 (TCP-In) 入站 头节点 HpcSession.exe TCP 9090, 9094
HPC SOA Diag Monitor Service (TCP-in) 注意: 从 HPC Pack 2012 开始配置此规则。 入站 头节点 HpcSoaDiagMon.exe 9096
SQL 浏览器 (In) 入站 头节点 Sqlbrowser.exe 任何 任何
HPC Broker (Out) 出站 头节点,代理节点 HpcBroker.exe 任何 任何
HPC Broker Worker (TCP-Out) 出站 头节点,代理节点 HpcBrokerWorker.exe TCP 任何
HPC 作业计划程序服务(TCP-Out) 出站 头节点 HpcScheduler.exe TCP 任何
HPC 管理服务 (TCP-Out) 出站 头节点, 代理节点, 计算节点, 工作站节点 HpcManagement.exe TCP 任何
HPC 会话 (Out) 出站 头节点 HpcSession.exe 任何 任何
HPC SOA Diag Mon 服务(TCP-Out)注意:从 HPC Pack 2012 开始配置此规则 出站 头节点, 代理节点, 计算节点, 工作站节点 HPCSoaDiagMon.exe TCP 任何

用于与 Windows Azure 节点通信的防火墙端口

下表列出了任何内部或外部防火墙中必须默认打开的端口,以便使用 HPC Pack 2008 R2 和 Service Pack 3 或 Service Pack 4 或 HPC Pack 2012 部署和操作 Windows Azure 节点。

协议 方向 端口 目的
TCP 出站 443 HTTPS

- 节点部署
- 与 Windows Azure 存储通信
- 与 REST 管理 API 通信

非 HTTPS TCP 流量

- 面向服务的体系结构 (SOA) 服务
- 文件暂存
- 作业计划
TCP 出站 3389 RDP

- 与节点的远程桌面连接

下表列出了必须使用 HPC Pack 2008 R2 和 Service Pack 1 或 Service Pack 2 进行部署和操作的任何内部或外部防火墙中的端口。

协议 方向 端口 用途
TCP 出站 80 HTTP

- 节点部署
TCP 出站 443 HTTPS

- 节点部署
- 与 Windows Azure 存储通信
- 与 REST 管理 API 通信
TCP 出站 3389 RDP

- 与节点的远程桌面连接
TCP 出站 5901 面向服务的体系结构 (SOA) 服务

- SOA 中转站
TCP 出站 5902 SOA 服务

- SOA 代理控制
TCP 出站 7998 文件暂存
TCP 出站 7999 作业计划

要还原到早期 Windows Azure 防火墙端口配置的注册表设置

如果群集至少运行 HPC Pack 2008 R2 和 SP3,则可以使用 HPC Pack 2008 R2 和 SP1 或 SP2 所需的网络防火墙端口(而不是默认端口 443)将头节点配置为与 Windows Azure 通信。 若要更改所需的端口,请在 HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\HPC下配置注册表设置。 配置名为 WindowsAzurePortsSetting的 DWORD,并将数据设置为零(0)。 配置此注册表设置后,必须重启头节点才能重启 HPC 服务。 还必须确保正确配置任何内部或外部防火墙端口,并使用以前配置的端口设置重新部署部署的任何 Windows Azure 节点。

注意

错误地编辑注册表可能会严重损坏系统。 在对注册表进行更改之前,应备份计算机上的任何值数据。

网络资源