VNet의 리소스에 대한 프라이빗 연결 구성

이 페이지에서는 Azure Databricks 계정 콘솔을 사용하여 Azure 부하 분산 장치를 통해 서버리스 컴퓨팅에서 VNet(가상 네트워크)의 리소스로 Private Link 연결을 구성하는 방법을 설명합니다.

서버리스 컴퓨팅에 대한 프라이빗 연결을 구성하면 다음을 제공합니다.

• 전용 및 프라이빗 연결: 프라이빗 엔드포인트는 Azure Databricks 계정에만 연결되므로 VNet 리소스에 대한 액세스가 권한 있는 작업 영역으로만 제한됩니다. 이렇게 하면 안전한 전용 통신 채널이 만들어집니다.
• 향상된 데이터 반출 완화: Unity 카탈로그를 사용하는 Azure Databricks Serverless는 기본 제공 데이터 반출 보호를 제공하지만 Private Link는 추가 네트워크 방어 계층을 제공합니다. 프라이빗 서브넷에 VNet 리소스를 배치하고 전용 프라이빗 엔드포인트를 통한 액세스를 제어하여 제어된 네트워크 환경 외부에서 무단 데이터 이동의 위험을 크게 줄일 수 있습니다.

요구 사항

• 계정 및 작업 영역은 Enterprise 계획에 있어야 합니다.
• Azure Databricks 계정의 계정 관리자입니다.
• 프라이빗 연결을 사용하도록 설정된 지역에 하나 이상의 활성 서버리스 작업 영역이 배포되어 있습니다. 지원되는 지역은 서버리스 가용성을 참조하세요.
• 부하 분산 장치에는 가상 네트워크 및 서브넷이 있으며 리소스는 이 서브넷에 있습니다.
• 각 Azure Databricks 계정에는 지역당 최대 10개의 NCC가 있을 수 있습니다.
• 각 지역에는 필요에 따라 1~10개의 NCC에 분산된 100개의 프라이빗 엔드포인트가 있을 수 있습니다.
• 각 NCC는 최대 50개의 작업 영역에 연결할 수 있습니다.
• VNet의 리소스에 대한 프라이빗 연결에 대한 각 프라이빗 엔드포인트 규칙은 최대 10개의 도메인 이름을 지원합니다.
• DNS 추적 및 DNS 리디렉션은 지원되지 않습니다. 모든 도메인 이름은 백 엔드 리소스로 직접 확인되어야 합니다.

1단계: Azure 부하 분산 장치 만들기

VNet 리소스의 프런트 엔드 역할을 하는 Azure Load Balancer를 만듭니다. 이 부하 분산 장치는 Private Link 서비스에 연결됩니다.

부하 분산 장치를 만들려면 빠른 시작의 지침에 따라 Azure Portal을 사용하여 VM의 부하를 분산하는 내부 부하 분산 장치를 만듭니다. 다음을 완료합니다.

1. 부하 분산 장치 리소스를 만듭니다.
2. 프런트 엔드 IP 구성을 추가 합니다. Private Link 서비스의 진입점입니다.
3. 백 엔드 풀을 추가 합니다. 이 풀에는 VNet 리소스의 IP 주소가 포함됩니다.
4. 상태 프로브 만들기: 백 엔드 리소스의 가용성을 모니터링하도록 상태 프로브를 구성합니다.
5. 부하 분산 규칙 추가: 들어오는 트래픽을 백 엔드 풀에 분산하는 규칙을 정의합니다.

2단계: Private Link 서비스 만들기

프라이빗 엔드포인트에 부하 분산 장치를 안전하게 노출하려면 Private Link 서비스를 만들어야 합니다. Private Link 서비스가 부하 분산 장치와 동일한 지역에 만들어졌는지 확인합니다.

자세한 내용은 Azure 설명서: Azure Portal 을 사용하여 Private Link 서비스 만들기를 참조하세요.

3단계: 기존 NCC(네트워크 연결 구성) 개체 만들기 또는 사용

Azure Databricks의 NCC 개체는 작업 영역에 대한 프라이빗 연결 설정을 정의합니다. NCC가 이미 있는 경우 이 단계를 건너뜁니다. NCC 개체를 만들려면 다음을 수행합니다.

1. 계정 관리자 권한으로 계정 콘솔로 이동합니다.
2. 사이드바에서 보안을 클릭합니다.
3. 네트워크 연결 구성을 클릭합니다.
4. 네트워크 구성 추가를 클릭합니다.
5. NCC의 이름을 입력합니다.
6. 지역을 선택합니다. 이는 작업 영역 지역과 일치해야 합니다.
7. 추가를 클릭합니다.

4단계: 프라이빗 엔드포인트 만들기

이 단계에서는 Private Link 서비스를 Azure Databricks NCC에 연결합니다. 프라이빗 엔드포인트를 만들려면 다음을 수행합니다.

1. 계정 콘솔에서 보안을 클릭합니다.
2. 네트워크 연결 구성을 클릭합니다.
3. 3단계에서 만든 NCC 개체를 선택합니다.
4. 프라이빗 엔드포인트 규칙 탭에서 프라이빗 엔드포인트 규칙 추가를 클릭합니다.
5. Azure 리소스 ID 필드에 Private Link 서비스의 전체 리소스 ID를 붙여넣습니다. Private Link 서비스의 개요 페이지에서 Azure Portal에서 이 ID를 찾습니다. 예제 ID: /subscriptions/\<subscription-id\>/resourceGroups/\<resource-group-name\>/providers/Microsoft.Network/privateLinkServices/\<private-link-service-name\>.
6. 도메인 이름 필드에 VNet 리소스에서 사용하는 사용자 지정 도메인 이름을 추가합니다. 이러한 도메인 이름은 부하 분산 장치의 백 엔드 풀에 있는 IP 구성에 매핑되어야 합니다.
7. 추가를 클릭합니다.
8. 새로 추가된 프라이빗 엔드포인트 규칙의 상태 열이 .인지 PENDING확인합니다.

5단계: 리소스의 프라이빗 엔드포인트 허용

Databricks에서 프라이빗 엔드포인트 규칙을 만든 후 Azure Portal에서 연결 요청을 승인해야 합니다. 연결을 승인하려면 다음을 수행합니다.

1. Azure Portal에서 Private Link 센터로 이동합니다.
2. Private Link 서비스를 선택합니다.
3. 부하 분산 장치와 연결된 Private Link 서비스를 찾아 선택합니다.
4. 설정의 왼쪽 사이드바에서 프라이빗 엔드포인트 연결을 선택합니다.
5. 보류 중인 프라이빗 엔드포인트를 선택합니다.
6. 승인을 클릭하여 연결을 수락합니다.
7. 메시지가 표시되면 예선택합니다.
8. 승인 후 연결 상태가 승인됨으로 변경됩니다.

연결이 완전히 설정되려면 10분 정도 걸릴 수 있습니다.

6단계: 프라이빗 엔드포인트 상태 확인

프라이빗 엔드포인트 연결이 Azure Databricks 쪽에서 성공적으로 설정되었는지 확인합니다. 연결을 확인하려면 다음을 수행합니다.

1. Azure Databricks 계정 콘솔에서 네트워크 연결 구성 페이지를 새로 고칩니다.
2. 프라이빗 엔드포인트 규칙 탭에서 새 프라이빗 엔드포인트의 상태 열이 ESTABLISHED있는지 확인합니다.

7단계: 하나 이상의 작업 영역에 NCC 연결

이 단계에서는 구성된 프라이빗 연결을 Azure Databricks 작업 영역과 연결합니다. 작업 영역이 원하는 NCC에 이미 연결된 경우 이 단계를 건너뜁니다. 작업 영역에 NCC를 연결하려면 다음을 수행합니다.

1. 왼쪽 탐색 영역에서 작업 영역 으로 이동합니다.
2. 기존 작업 영역을 선택합니다.
3. 작업 영역 업데이트를 선택합니다.
4. 네트워크 연결 구성에서 드롭다운을 선택하고 만든 NCC를 선택합니다.
5. 이 NCC를 적용하려는 모든 작업 영역에 대해 반복합니다.

다음 단계

• Azure 리소스에 대한 프라이빗 연결 구성: Private Link를 사용하여 공용 인터넷을 우회하여 가상 네트워크에서 Azure 서비스에 대한 안전하고 격리된 액세스를 설정합니다. Azure 리소스에 대한 프라이빗 연결 구성을 참조하세요.
• 프라이빗 엔드포인트 규칙 관리: 연결을 허용하거나 거부하는 특정 규칙을 정의하여 Azure 프라이빗 엔드포인트 간 네트워크 트래픽을 제어합니다. 비공개 엔드포인트 규칙 관리를 참조하세요.
• 서버리스 컴퓨팅 액세스를 위한 방화벽 구성: 서버리스 컴퓨팅 환경에 대한 인바운드 및 아웃바운드 네트워크 연결을 제한하고 보호하는 방화벽을 구현합니다. 서버리스 컴퓨팅 액세스를 위한 방화벽 구성을 참조하세요.
• 데이터 전송 및 연결 비용 이해: 데이터 전송 및 연결은 Azure Databricks 서버리스 환경으로 데이터를 이동하는 것을 의미합니다. 서버리스 제품에 대한 네트워킹 요금은 Azure Databricks 서버리스 컴퓨팅을 사용하는 고객에게만 적용됩니다. Databricks 서버리스 네트워킹 비용 이해 참조