예측 I/O란?

예측 I/O는 데이터 상호 작용에 대한 성능을 향상시키는 Azure Databricks 최적화의 컬렉션입니다. 예측 I/O 기능은 다음 범주로 그룹화됩니다.

• 가속화된 읽기는 데이터를 스캔하고 읽는 데 걸리는 시간을 줄입니다.
• 가속화된 업데이트는 업데이트, 삭제 및 병합 중에 다시 작성해야 하는 데이터의 양을 줄입니다.

예측 I/O는 Azure Databricks의 Photon 엔진에만 적용됩니다.

예측 I/O를 사용하여 읽기 가속화

예측 I/O는 지원되는 컴퓨팅 형식에 대한 모든 작업에 대한 데이터 검색 및 필터링 성능을 가속화하는 데 사용됩니다.

예측 I/O는 딥 러닝 기술을 적용하여 다음을 수행하여 검사 성능을 향상시킵니다.

• 데이터를 읽고 실제로 필요한 데이터만 검사하는 가장 효율적인 액세스 패턴을 결정합니다.
• 쿼리 결과를 생성하는 데 필요하지 않은 열과 행의 디코딩을 제거합니다.
• 행과 일치하는 선택적 쿼리에서 쿼리 조건의 확률을 계산합니다. 쿼리가 실행되면 이러한 확률을 사용하여 일치하는 다음 행이 발생할 위치를 예상하고 클라우드 스토리지에서만 해당 데이터를 읽습니다.

예측 I/O를 사용하여 업데이트 가속화

업데이트에 대한 예측 I/O는 다음 Photon 지원 컴퓨팅 유형을 사용하여 삭제 벡터를 사용하도록 설정된 모든 테이블에 자동으로 사용됩니다.

• 서버리스 SQL 웨어하우스.
• Pro SQL 웨어하우스.
• Databricks Runtime 14.0 이상을 실행하는 클러스터.

삭제 벡터란?을 참조하세요.

Delta Lake 테이블 속성을 설정하여 Delta Lake 테이블에서 삭제 벡터를 지원할 수 있습니다. 다음 예제와 같이 테이블을 만드는 동안 삭제 벡터를 사용하도록 설정하거나 기존 테이블을 변경합니다.

CREATE TABLE <table-name> [options] TBLPROPERTIES ('delta.enableDeletionVectors' = true);

ALTER TABLE <table-name> SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

예측 I/O는 삭제 벡터를 활용하여 델타 테이블에서 데이터를 수정하는 동안 전체 파일 다시 쓰기 빈도를 줄여 업데이트를 가속화합니다. 예측 I/O는 DELETE, MERGE, 및 UPDATE 작업을 최적화합니다.

레코드가 업데이트되거나 삭제될 때 데이터 파일의 모든 레코드를 다시 작성하는 대신 예측 I/O는 삭제 벡터를 사용하여 레코드가 대상 데이터 파일에서 제거되었음을 나타냅니다. 추가 데이터 파일은 업데이트를 나타내는 데 사용됩니다.

테이블에 대한 후속 읽기는 최근 테이블 버전에 명시된 변경 내용을 적용하여 현재 테이블 상태를 확인합니다.