다음을 통해 공유


Spark의 DAG에서 비용이 많이 드는 읽기를 식별하는 방법

DAG에 접근하기

비용이 많이 드는 작업을 보고 있다고 가정하면 먼저 읽기를 수행하는 단계의 ID가 필요합니다. 여기서 스테이지 ID는 194입니다.

스테이지 ID

이제 SQL DAG에 도착해야 합니다. 작업 페이지 맨 위로 스크롤하여 연결된 SQL 쿼리를 클릭합니다.

SQL ID

이제 DAG 가 표시됩니다. 그렇지 않으면 조금 더 스크롤해보세요, 그러면 보일 거예요.

SQL DAG

경우에 따라 DAG를 따르고 데이터가 어디에서 오는지 확인할 수 있습니다. 다른 경우에는 기록해 둔 스테이지 ID를 찾습니다.

SQL 스테이지 DAG

그런 다음 "스캔" 노드를 찾아야 합니다. 이 경우 다음과 같은 테이블을 transactions읽고 있음을 쉽게 알 수 있습니다.

검사 DAG

경우에 따라 읽는 데이터의 위치를 가져오기 위해 노드를 클릭하거나 롤오버해야 할 수 있습니다.