Azure Managed Lustre 文件系统先决条件

本文介绍在创建 Azure Managed Lustre 文件系统之前必须配置的先决条件。

网络先决条件

为 Azure 托管 Lustre 网络提供虚拟网络和子网。 这样就可以完全控制要应用的网络安全措施,包括哪些计算和其他服务可以访问 Azure 托管 Lustre。 确保遵循为 Azure 托管 Lustre 提供的网络和安全准则。 包括允许基本服务(例如 Lustre 协议、工程和诊断支持、Azure Blob 存储和安全监视)所需的连接。 如果网络设置禁用其中一项基本服务,则会导致产品体验下降或降低Microsoft的支持能力。

创建文件系统后,无法将其从一个网络或子网移至另一个网络或子网。

Azure Managed Lustre 仅接受 IPv4 地址。 不支持 IPv6。

网络大小要求

所需的子网大小取决于要创建的文件系统的大小。 下表大致估算了不同大小的 Azure Managed Lustre 文件系统所需的最小子网大小。

存储容量 推荐的 CIDR 前缀值
4 TiB 至 16 TiB /27 或更大
20 TiB 至 40 TiB /26 或更大
44 TiB 至 92 TiB /25 或更大
96 TiB 至 196 TiB /24 或更大
200 TiB 至 400 TiB /23 或更大

其他网络大小注意事项

规划虚拟网络和子网时,需考虑要位于 Azure Managed Lustre 子网或虚拟网络中的任何其他服务的要求。

如果将 Azure Kubernetes Service (AKS) 群集与 Azure Managed Lustre 文件系统配合使用,可以将 AKS 群集部署在与文件系统相同的子网中。 在这种情况下,除了 Lustre 文件系统的地址空间外,还必须为 AKS 节点和 Pod 提供足够的 IP 地址。 如果在虚拟网络中使用多个 AKS 群集,请确保虚拟网络有足够的容量容纳所有群集中的所有资源。 要了解有关 Azure Managed Lustre 和 AKS 的网络策略的更多信息,请参阅 AKS 子网访问

如果计划使用另一个资源在同一虚拟网络中托管计算 VM,请在为 Azure Managed Lustre 系统创建虚拟网络和子网之前,检查该过程的要求。 在同一子网中规划多个群集时,必须使用足够大的地址空间以满足所有群集的总需求。

子网访问和权限

默认情况下,无需进行任何特定更改便可启用 Azure Managed Lustre。 如果你的环境包含受限制的网络或安全策略,则应考虑以下指导:

访问类型 所需的网络设置
DNS 访问 默认值:使用基于 Azure 的 DNS 服务器。
高级: 使用自定义 DNS 服务器的配置指南
在 Azure Managed Lustre 子网上的主机之间访问 允许 Azure Managed Lustre 子网内的主机之间进行入站和出站访问。 例如,群集部署需要访问 TCP 端口 22 (SSH)。
Azure 云服务访问 将网络安全组配置为允许 Azure 托管 Lustre 文件系统从 Azure 托管 Lustre 子网内访问 Azure 云服务。

添加具有以下属性的出站安全规则:
- 端口:任意
- 协议:任意
- :虚拟网络
- 目标:“AzureCloud”服务标记
- 操作:允许

注意:配置 Azure 云服务还会启用 Azure 队列服务的必要配置。

有关详细信息,请参阅虚拟网络服务标记
Lustre 访问
(TCP 端口 988、1019-1023)
网络安全组必须允许 TCP 端口 988 和 TCP 端口范围 1019-1023 的入站和出站流量。 Azure Managed Lustre 子网上的主机之间以及任何客户端子网和 Azure Managed Lustre 子网之间需要允许这些规则。 其他任何服务都不能在 Lustre 客户端上保留或使用这些端口。 默认规则 65000 AllowVnetInBound65000 AllowVnetOutBound 满足此要求。

有关为 Azure Managed Lustre 文件系统配置网络安全组的详细指导,请参阅创建和配置网络安全组

已知的限制

以下已知限制适用于 Azure Managed Lustre 文件系统的虚拟网络设置:

  • Azure Managed Lustre 和 Azure NetApp Files 资源不能共享子网。 如果使用 Azure NetApp Files 服务,则必须在单独的子网中创建 Azure Managed Lustre 文件系统。 如果尝试在包含或曾包含 Azure NetApp 文件资源的子网中创建 Azure 托管 Lustre 文件系统,则部署会失败。
  • 如果在客户端上使用 ypbind 守护进程维护网络信息服务 (NIS) 绑定信息,则必须确保 ypbind 不保留端口 988。 可以手动调整 ypbind 保留的端口,或者确保系统启动基础结构在启动 ypbind 之前启动 Lustre 客户端挂载。

Note

创建 Azure Managed Lustre 文件系统后,文件系统的资源组中会出现几个新的网络接口。 它们的名称以 amlfs- 开头,以 -snic 结尾。 不要更改这些接口上的任何设置。 具体而言,保留加速网络设置的默认值(已启用)。 在这些网络接口上禁用加速网络会降低文件系统的性能。

Blob 集成先决条件(可选)

如果计划将 Azure Managed Lustre 文件系统与 Azure Blob 存储集成,请在创建文件系统之前完成以下先决条件。

要了解有关 Blob 集成的更多信息,请参阅将 Azure Blob 存储与 Azure Managed Lustre 文件系统配合使用

Azure Managed Lustre 可与启用了分层命名空间的存储帐户以及具有非分层或扁平命名空间的存储帐户配合使用。 适用以下细微差异:

  • 对于启用了分层命名空间的存储帐户,Azure Managed Lustre 从 Blob 标头读取 POSIX 属性。
  • 对于启用分层命名空间的存储帐户,Azure Managed Lustre 从 Blob 元数据读取 POSIX 属性。 会创建一个与 Blob 容器内容同名的空文件,用于保存元数据。 此文件是 Azure Managed Lustre 文件系统中实际数据目录的同级。

要将 Azure Blob 存储与 Azure Managed Lustre 文件系统集成,必须在创建文件系统之前创建或配置以下资源:

存储帐户

必须创建存储帐户或使用现有存储帐户。 存储帐户必须具有以下设置:

  • 帐户类型 - 兼容的存储帐户类型。 要了解更多信息,请参阅支持的存储帐户类型
  • 访问角色 - 允许 Azure Managed Lustre 系统修改数据的角色分配。 要了解更多信息,请参阅所需的访问角色
  • 访问密钥 - 存储帐户必须将存储帐户密钥访问设置设为“启用”
  • 子网访问 - 存储帐户必须可从 Azure 托管 Lustre 子网访问。 若要了解详细信息,请参阅 “启用子网访问”。

支持的存储帐户类型

以下存储帐户类型可与 Azure Managed Lustre 文件系统配合使用:

存储帐户类型 Redundancy
标准 本地冗余存储 (LRS)、异地冗余存储 (GRS)

区域冗余存储 (ZRS)、读取访问异地冗余存储 (RAGRS)、异地区域冗余存储 (GZRS)、读取访问异地区域冗余存储 (RA-GZRS)
高级版 - 块 Blob LRS、ZRS

有关存储帐户类型的更多信息,请参阅存储帐户类型

Blob 集成的访问角色

Azure Managed Lustre 需要授权才能访问你的存储帐户。 使用 Azure 基于角色的访问控制 (Azure RBAC) 授予文件系统对 Blob 存储的访问权限。

存储帐户所有者必须在创建文件系统之前添加这些角色:

Important

必须在创建 Azure Managed Lustre 文件系统之前添加这些角色。 如果文件系统无法访问你的 Blob 容器,文件系统创建将失败。 创建文件系统之前执行的验证无法检测容器访问权限问题。 角色设置在 Azure 环境中传播可能需要长达五分钟。

要为服务主体 HPC 缓存资源提供程序添加角色,请执行以下步骤:

  1. 导航到你的存储帐户,然后在左侧导航窗格中“选择访问控制 (IAM)”
  2. 选择添加>添加角色分配,打开“添加角色分配”页面。
  3. 分配角色。
  4. 将“HPC 缓存资源提供程序”添加到该角色。

    Tip

    如果找不到 HPC 缓存资源提供程序,请改为搜索“storagecache”storagecache 资源提供程序是产品正式发布前的服务主体名称。

  5. 重复步骤 3 和步骤 4 以添加每个角色。

有关详细步骤,请参阅使用 Azure 门户分配 Azure 角色

启用子网访问

配置存储帐户的网络访问,以启用来自所有网络或使用 Azure 托管 Lustre 系统配置的子网的公共访问。 如果选择禁用对存储帐户(专用终结点)的公共访问,请参阅 专用终结点

若要从 Azure 托管 Lustre 子网启用存储帐户访问,请执行以下步骤:

  1. 进入存储帐户,并在左侧导航窗格中点击展开“安全性 + 网络”
  2. 选择“网络”。
  3. 在“公共网络访问”下,选择单选按钮以 启用来自所选虚拟网络和 IP 地址的公共访问(建议)或 启用来自所有网络的公共访问。 如果选择 “从所选虚拟网络和 IP 地址启用公共访问”,请继续执行以下步骤。 如果选择 “从所有网络启用公共访问”,请跳转到下面的最后一步以 “保存”。 显示“网络访问”部分中所选虚拟网络和 IP 地址的“启用公共访问”的屏幕截图。
  4. 在“虚拟网络”下,单击“ 添加现有虚拟网络”。
  5. 在右侧,选择 Azure 托管 Lustre 使用的虚拟网络和子网。
  6. 单击 “启用”
  7. 在左上角,单击“ 保存”。

Blob 容器

必须在同一存储帐户中有两个单独的 Blob 容器,它们用于以下目的:

  • 数据容器:存储帐户中的 Blob 容器,包含要在 Azure Managed Lustre 文件系统中使用的文件。
  • 日志容器:存储帐户中用于导入/导出日志的第二个容器。 必须将日志存储在与数据容器不同的容器中。

Note

以后可以从客户端向文件系统添加文件。 创建文件系统后,添加到原始 Blob 容器的文件不会被导入至由 Azure 托管的 Lustre 文件系统,除非您 创建导入作业

专用终结点(可选)

如果在 Blob 设置中使用专用终结点,为确保 Azure Managed Lustre 可以解析 SA 名称,必须在创建新终结点期间启用“与专用 DNS 区域集成”的专用终结点设置。

  • 与专用 DNS 区域集成:必须设置为“是”

显示终结点设置过程的 DNS 选项卡的屏幕截图。

后续步骤