다음을 통해 공유

Databricks Runtime 12.2 LTS (데이터브릭스 런타임 12.2 LTS)

다음 릴리스 정보는 Apache Spark 3.3.2에서 제공하는 Databricks Runtime 12.2 LTS에 대한 정보를 제공합니다.

Databricks는 2023년 3월에 이 버전을 릴리스했습니다.

참고 항목

LTS는 이 버전이 장기 지원 중이라는 의미입니다. Databricks Runtime LTS 버전 수명 주기를 참조하세요.

팁

지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.

동작 변경 내용

[호환성이 손상되는 변경] 새 Python 버전을 사용하려면 Databricks Connect V1 Python 클라이언트를 업데이트해야 합니다.

참고 항목

후속 업데이트는 Databricks Runtime 12.2 LTS의 Python 버전을 3.9.21로 이동합니다. 3.9.21 버전은 동작 변경을 도입하지 않습니다.

필요한 보안 패치를 적용하기 위해 Databricks Runtime 12.2 LTS의 Python 버전이 3.9.5에서 3.9.19로 업그레이드됩니다. 이러한 변경으로 인해 특정 PySpark 함수를 사용하는 클라이언트에서 오류가 발생할 수 있으므로 Databricks Runtime 12.2 LTS와 함께 Python용 Databricks Connect V1을 사용하는 모든 클라이언트는 Python 3.9.7 이상으로 업데이트해야 합니다.

새로운 기능 및 향상 기능

Python이 3.9.19에서 3.9.21로 업그레이드됨

Databricks Runtime 12.2 LTS의 Python 버전은 3.9.19에서 3.9.21로 업데이트됩니다.

Delta Lake 스키마 진화는 병합 문에서 원본 열 지정을 지원합니다.

이제 스키마 진화를 사용하는 경우 병합 문에 대한 삽입 또는 업데이트 작업의 원본 테이블에만 있는 열을 지정할 수 있습니다. Databricks Runtime 12.1 이하에서는 병합을 사용하여 스키마 진화에만 INSERT * 또는 UPDATE SET * 작업을 사용할 수 있습니다. Delta Lake 병합을 위한 자동 스키마 진화를 참조하세요.

구조적 스트리밍 워크로드는 공유 액세스 모드를 사용하는 클러스터에서 지원됩니다.

이제 구조적 스트리밍을 사용하여 표준 액세스 모드를 사용하여 컴퓨팅에서 Unity 카탈로그와 상호 작용할 수 있습니다. 몇 가지 제한 사항이 적용됩니다. Unity 카탈로그에서 지원하는 구조적 스트리밍 기능을 참조하세요.

예측 I/O의 새로운 기능

이제 싱크에 대한 광자 Foreachbatch 지원을 사용할 수 있습니다. 원본에서 스트리밍하고 델타 테이블로 병합하거나 여러 싱크에 쓰는 워크로드는 이제 광자화된 Foreachbatch 싱크의 이점을 누릴 수 있습니다.

암시적 횡적 열 별칭 지원

이제 Azure Databricks는 기본적으로 암시적 횡적 열 별칭을 지원합니다. 이제 동일한 SELECT 목록의 앞부분에 지정된 식을 다시 사용할 수 있습니다. 예를 들어 지정된 SELECT 1 AS a경우 a + 1 AS bin a 은 a + 1 이전에 정의된 1 AS a대로 확인할 수 있습니다. 확인 순서에 따라 자세한 내용은 이름 확인을 확인합니다. 이 기능을 끄려면 .로 설정할 spark.sql.lateralColumnAlias.enableImplicitResolutionfalse수 있습니다.

새 forEachBatch 기능

이제 Photon은 데이터 싱크에 쓰는 데 사용할 foreachBatch 때 지원됩니다.

쿼리 페더레이션에 대한 표준화된 연결 옵션

이제 통합 옵션 집합(호스트, 포트, 데이터베이스, 사용자, 암호)을 사용하여 쿼리 페더레이션에서 지원되는 데이터 원본에 연결할 수 있습니다. Port 는 선택 사항이며 지정하지 않는 한 각 데이터 원본에 대한 기본 포트 번호를 사용합니다.

배열 관리를 위한 확장 SQL 함수 라이브러리

이제 array_compact 사용하여 배열에서 모든 NULL 요소를 제거할 수 있습니다. 배열에 요소를 추가하려면 array_append 사용합니다.

문자열을 익명화하는 새 마스크 함수

마스크 함수를 호출하여 중요한 문자열 값을 익명화합니다.

일반적인 오류 조건은 이제 SQLSTATE를 반환합니다.

이제 Databricks 런타임에 문서화된 SQLSTATE 값이 포함된 대부분의 오류 조건은 SQL 표준 규격 방식으로 오류를 테스트하는 데 사용할 수 있습니다.

FROM 절에서 생성기 함수 호출

이제 쿼리의 일반 절에서 분해FROM테이블 반환 생성기 함수를 호출할 수 있습니다. 이렇게 하면 생성기 함수 호출이 다른 기본 제공 및 사용자 정의 테이블 함수와 정렬됩니다.

프로토콜 버퍼에 대한 지원은 일반적으로 사용할 수 있습니다.

함수와 from_protobuf 함수를 to_protobuf 사용하여 이진 형식과 구조체 형식 간에 데이터를 교환할 수 있습니다. 읽기 및 쓰기 프로토콜 버퍼를 참조하세요.

Notebook 변수 및 함수에 대한 정의로 이동

Notebook에서 변수 또는 함수 이름을 마우스 오른쪽 단추로 클릭하여 변수이동합니다.

라이브러리 자동 가져오기를 위한 Notebook 빠른 수정

이제 Databricks Notebook은 라이브러리 자동 가져오기를 위한 빠른 수정 기능을 제공합니다. pandas와 같은 라이브러리를 가져오는 것을 잊어버린 경우 밑줄이 그은 구문 경고 위로 마우스를 가져간 다음 빠른 수정을 클릭하면 이 기능을 사용하려면 작업 영역에서 Databricks Assistant를 사용하도록 설정해야 합니다.

버그 수정

  • update, delete 및 merge 명령과 관련된 빈 트랜잭션에 대한 델타 커밋 동작의 일관성이 향상되었습니다. WriteSerializable 격리 수준에서 변경 내용이 없는 명령은 이제 빈 커밋을 만듭니다. Serializable 격리 수준에서 이러한 빈 트랜잭션은 이제 커밋을 만들지 않습니다.

동작 변경

새 횡적 열 별칭 기능을 사용하여 동작 변경

새 횡적 열 별칭 기능은 이름 확인 중에 다음과 같은 경우에 대한 동작 변경을 도입합니다.

  • 이제 횡적 열 별칭이 이름이 같은 상관 관계 참조보다 우선합니다. 예를 들어 이 쿼리SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)의 경우 내부 c1 내부가 상관 관계 참조c1 AS c2로 확인되었지만 이제는 횡적 열 별칭으로 변경됩니다t.c11 AS c1. 이제 쿼리가 .를 반환합니다 NULL.
  • 이제 횡적 열 별칭이 동일한 이름의 함수 매개 변수보다 우선합니다. 예를 들어 함수의 경우 함수 CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xx 본문의 함수 본문이 함수 매개 변수 x로 확인되었지만 함수 본문의 횡적 열 별칭 x + 1 으로 변경됩니다. 이제 쿼리가 .를 SELECT * FROM func(1) 반환합니다 2, 2.
  • 횡적 열 별칭 기능을 해제하려면 .로 spark.sql.lateralColumnAlias.enableImplicitResolution설정합니다false. 자세한 내용은 이름 확인을 참조 하세요.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • filelock 버전을 3.8.2에서 3.9.0으로 변경
    • joblib에서 1.1.0에서 1.1.1로
    • platformdirs 버전 2.6.0에서 2.6.2로
    • 1.0.3에서 1.0.4로의 whatthepatch
  • 업그레이드된 R 라이브러리:
    • 클래스 7.3-20에서 7.3-21로
    • codetools 버전 0.2-18에서 0.2-19로 업데이트
    • 질량 7.3-58에서 7.3-58.2까지
    • nlme 버전 3.1-160에서 3.1-162로 변경됨
    • Rserve 1.8-11에서 1.8-12로
    • SparkR 3.3.1에서 3.3.2로

동작 변경

  • 이제 사용자는 정의된 위치로 스키마를 만들 때 모든 파일에 대한 권한과 SELECT 권한이 MODIFY 필요합니다.

Apache Spark

Databricks Runtime 12.2에는 Apache Spark 3.3.2가 포함됩니다. 이 릴리스에는 Databricks Runtime 12.1(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-42416] [SC-123205][sc-122851][SQL] 날짜 집합 작업은 분석된 논리 계획을 다시 해결하지 않아야 합니다.
  • [SPARK-41848] 되돌리기 "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] TaskResourceProfile로 과다 예약된 작업 수정"
  • [SPARK-42162] [SC-122711][es-556261] 커밋 식의 큰 트리를 정식화하기 위한 메모리 최적화로 MultiCommutativeOp 식 소개
  • [SPARK-42406] [SC-122998][protobuf][Cherry-pick] Protobuf 함수에 대한 재귀 깊이 설정 수정
  • [SPARK-42002] [SC-122476][connect][PYTHON] DataFrameWriterV2 구현
  • [SPARK-41716] [SC-122545][connect] _catalog_to_pandas를 _execute_and_fetch로 이름 변경하기 in Catalog
  • [SPARK-41490] [SC-121774][sql] _LEGACY_ERROR_TEMP_2441 이름 할당
  • [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] Catalog.cacheTable를 구현하고, isCached를 확인하며 uncache를 수행합니다.
  • [SPARK-42191] [SC-121990][sql] udf 'luhn_check' 지원
  • [SPARK-42253] [SC-121976][python] 중복된 오류 클래스를 검색하기 위한 테스트 추가
  • [SPARK-42268] [SC-122251][connect][PYTHON] Protos에 UserDefinedType 추가
  • [SPARK-42231] [SC-121841][sql] MISSING_STATIC_PARTITION_COLUMN을 internalError로 변경
  • [SPARK-42136] [SC-122554] BroadcastHashJoinExec 출력 분할 계산 리팩터링
  • [SPARK-42158] [SC-121610][sql] _LEGACY_ERROR_TEMP_1003을 FIELD_NOT_FOUND에 통합하십시오.
  • [SPARK-42192] [12.x][sc-121820][PYTHON] pyspark/sql/dataframe.py 에서 PySparkTypeError로 TypeError 마이그레이션
  • [SPARK-35240] 되돌리기 "[SC-118242][ss] CheckpointFileManager 사용 ...
  • [SPARK-41488] [SC-121858][sql] _LEGACY_ERROR_TEMP_1176(및 1177)에 이름을 할당하기
  • [SPARK-42232] [SC-122267][sql] 이름 바꾸기 오류 클래스: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480][sql] 하위 쿼리 병합 후 고유 집계 다시 쓰기
  • [SPARK-42306] [SC-122539][sql] _LEGACY_ERROR_TEMP_1317를 UNRESOLVED_COLUMN.WITH_SUGGESTION에 통합
  • [SPARK-42234] [SC-122354][sql] 이름 바꾸기 오류 클래스: UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437][core] SparkContext가 중지된 경우 IOException 내에서 handleBlockRemovalFailure를 무시합니다.
  • [SPARK-41295] [SC-122442][spark-41296][SQL] 오류 클래스 이름 바꾸기
  • [SPARK-42320] [SC-122478][sql] _LEGACY_ERROR_TEMP_2188 이름 할당
  • [SPARK-42255] [SC-122483][sql] _LEGACY_ERROR_TEMP_2430 이름 할당
  • [SPARK-42156] [SC-121851][connect] SparkConnectClient에서 지금 RetryPolicies를 지원합니다.
  • [SPARK-38728] [SC-116723][sql] 오류 클래스 점검: FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] PySpark의 자체 포함 예제
  • [SPARK-39347] [SC-122457][ss] 이벤트 시간 < 0일 때 시간 창 계산에 대한 버그 수정
  • [SPARK-42336] [SC-122458][core] ResourceAllocator에서 getOrElse() 대신 contains() 사용
  • [SPARK-42125] [SC-121827][connect][PYTHON] Spark Connect의 Pandas UDF
  • [SPARK-42217] [SC-122263][sql] Window를 사용하여 쿼리에서 암시적 횡적 열 별칭 지원
  • [SPARK-35240] [SC-118242][ss] 검사점 파일 조작에 CheckpointFileManager 사용
  • [SPARK-42294] [SC-122337][sql] V2 테이블의 DESCRIBE 출력에 열 기본값 포함
  • [SPARK-41979] "되돌리기 "[12.x][sc-121190][SQL] 오류 클래스에서 오류 메시지에 누락된 점 추가.""
  • [SPARK-42286] [SC-122336][sql] CAST를 사용하는 복잡한 expr에 대한 이전 codegen 코드 경로로 대체
  • [SPARK-42275] [SC-122249][connect][PYTHON] 정적 타입 지정에서 내장 함수인 list, dict 사용을 피하십시오.
  • [SPARK-41985] [SC-122172][sql] 추가적인 열 해결 규칙 중앙 집중화
  • [SPARK-42126] [SC-122330][python][CONNECT] Spark Connect의 Python 스칼라 UDF에 대한 DDL 문자열의 반환 형식 허용
  • [SPARK-42197] [SC-122328][sc-121514][CONNECT] JVM 초기화 및 원격 로컬 모드로 설정하도록 별도의 구성 그룹을 다시 사용합니다.
  • [SPARK-41575] [SC-120118][sql] _LEGACY_ERROR_TEMP_2054 이름 할당
  • [SPARK-41985] 되돌리기 "[SC-122172][sql] 더 많은 열 확인 규칙 중앙 집중화"
  • [SPARK-42123] [SC-122234][sc-121453][SQL] DESCRIBE 및 SHOW CREATE TABLE 출력에 열 기본값 포함
  • [SPARK-41985] [SC-122172][sql] 추가적인 열 해결 규칙 중앙 집중화
  • [SPARK-42284] [SC-122233][connect] 클라이언트 테스트를 실행하기 전에 연결 서버 어셈블리가 빌드되었는지 확인 - SBT
  • [SPARK-42239] [SC-121790][sql] MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY 통합
  • [SPARK-42278] [SC-122170][sql] DS V2 푸시다운은 JDBC 방언 자체 컴파일 SortOrder 을 지원합니다.
  • [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics는 Python UDAF를 처리해야 합니다.
  • [SPARK-41979] “[12.x][sc-121190][SQL] 오류 클래스의 오류 메시지에 추가된 누락된 점을 되돌립니다.”
  • [SPARK-42224] [12.x][sc-121708][CONNECT] TypeError를 Spark Connect 함수의 오류 프레임워크로 마이그레이션
  • [SPARK-41712] [12.x][sc-121189][PYTHON][connect] Spark Connect 오류를 PySpark 오류 프레임워크로 마이그레이션합니다.
  • [SPARK-42119] [SC-121913][sc-121342][SQL] 내장 테이블 값 함수 inline 및 inline_outer 추가
  • [SPARK-41489] [SC-121713][sql] _LEGACY_ERROR_TEMP_2415 이름 할당
  • [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] PySparkValueError 및 PySparkTypeError 소개
  • [SPARK-42081] [SC-121723][sql] 계획 변경 유효성 검사 개선
  • [SPARK-42225] [12.x][sc-121714][CONNECT] SparkConnectIllegalArgumentException을 추가하여 Spark Connect 오류를 정확하게 처리합니다.
  • [SPARK-42044] [12.x][sc-121280][SQL] 에 대한 잘못된 오류 메시지 수정 MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x][sc-121712][PS] Series를 사용하여 DataFrame을 만들 때 열 매개 변수를 허용합니다.
  • [SPARK-42078] [12.x][sc-120761][PYTHON] JVM에서 throw한 오류를 PySparkException으로 마이그레이션합니다.
  • [SPARK-42133] [12.x][sc-121250] SparkConnect Scala Client에 기본 데이터 세트 API 메서드 추가
  • [SPARK-41979] [12.x][sc-121190][SQL] 오류 클래스에서 오류 메시지에 누락된 구두점을 추가합니다.
  • [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Spark Connect에서 스칼라형 인라인 Python UDF
  • [SPARK-42051] [SC-121994][sql] HiveGenericUDF에 대한 Codegen 지원
  • [SPARK-42257] [SC-121948][core] 사용되지 않는 변수 외부 정렬기 제거
  • [SPARK-41735] [SC-121771][sql] SparkListenerSQLExecutionEnd에 STANDARD 대신 MINIMAL 사용
  • [SPARK-42236] [SC-121882][sql] 구체화 NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][sql] PIVOT_AFTER_GROUP_BY에 대한 오류 메시지 개선
  • [SPARK-42229] [SC-121856][core] SparkCoreErrors를 오류 클래스로 이전
  • [SPARK-42163] [SC-121839][sql] 접을 수 없는 배열 인덱스 또는 맵 키에 대한 스키마 정리 수정
  • [SPARK-40711] [SC-119990][sql] 창에 대한 유출 크기 메트릭 추가
  • [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] createDataFrame가 AtomicType -> StringType 강제 변환을 지원하도록 만들기
  • [SPARK-42202] [SC-121837][connect][테스트] E2E 테스트 서버 중지 논리 개선
  • [SPARK-41167] [SC-117425][sql] 다중 'like' 성능을 개선하기 위해 균형 잡힌 식 트리 조건자를 생성합니다.
  • [SPARK-41931] [SC-121618][sql] 불완전한 복합 형식 정의에 대한 더 나은 오류 메시지
  • [SPARK-36124] [SC-121339][sc-110446][SQL] UNION을 통한 상관 관계가 있는 하위 쿼리 지원
  • [SPARK-42090] [SC-121290][3.3] RetryingBlockTransferor에서 sasl 재시도 횟수 소개
  • [SPARK-42157] [SC-121264][core] spark.scheduler.mode=FAIR 는 FAIR 스케줄러를 제공해야 합니다.
  • [SPARK-41572] [SC-120772][sql] _LEGACY_ERROR_TEMP_2149에 이름을 지정하십시오
  • [SPARK-41983] [SC-121224][sql] 이름 바꾸기 및 오류 메시지 개선 NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024][sql] INDEX_NOT_FOUND에 대한 오류 메시지를 개선
  • [SPARK-41994] [SC-121210][sc-120573] SQLSTATE 할당(1/2)
  • [SPARK-41415] [SC-121117][3.3] SASL 요청 다시 시도
  • [SPARK-38591] [SC-121018][sql] flatMapSortedGroups 및 cogroupSorted 추가
  • [SPARK-41975] [SC-120767][sql] 오류 메시지를 개선하기 위해 INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158][sql][PROTOBUF] Protobuf 함수에 대한 누락된 옵션 추가
  • [SPARK-41984] [SC-120769][sql] 이름 바꾸기 및 오류 메시지 개선 RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196][sql] 오류 클래스에 대한 NPE 수정: CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176][connect][PYTHON] 's doctest에서 withField잘못된 열 이름 수정
  • [SPARK-41283] [SC-121175][connect][PYTHON] 연결에 추가 array_append
  • [SPARK-41960] [SC-120773][sql] _LEGACY_ERROR_TEMP_1056에 이름을 지정한다.
  • [SPARK-42134] [SC-121116][sql] 참조된 특성 없이 필터를 처리하도록 getPartitionFiltersAndDataFilters()를 수정합니다.
  • [SPARK-42096] [SC-121012][connect] 모듈에 대한 connect 일부 코드 정리
  • [SPARK-42099] [SC-1211114][spark-41845][CONNECT][python] 수정 count(*) 및 count(col(*))
  • [SPARK-42045] [SC-120958][sc-120450][SQL] ANSI SQL 모드: Round/Bround에서 정수 오버플로에 대한 오류를 반환해야 합니다.
  • [SPARK-42043] [SC-120968][connect] E2E 테스트를 사용하여 Scala 클라이언트 결과
  • [SPARK-41884] [SC-121022][connect] 단순 튜플을 중첩된 행으로 지원
  • [SPARK-42112] [SC-121011][sql][SS] 함수를 닫기 전에 ContinuousWriteRDD#compute null 검사 추가 dataWriter
  • [SPARK-42077] [SC-120553][connect][PYTHON] 리터럴이 지원되지 않는 DataType에 대해 TypeError를 throw해야 합니다.
  • [SPARK-42108] [SC-120898][sql] 분석기로 Count(*)을 Count(1)로 변환하기
  • [SPARK-41666] [SC-120928][sc-119009][PYTHON] 매개 변수화된 SQL을 지원 sql()
  • [SPARK-40599] [SC-120930][sql] 대안이 모든 종류의 Seq가 될 수 있도록 multiTransform 규칙 형식 완화
  • [SPARK-41574] [SC-120771][sql] _LEGACY_ERROR_TEMP_2009를 INTERNAL_ERROR로 업데이트.
  • [SPARK-41579] [SC-120770][sql] _LEGACY_ERROR_TEMP_1249 이름 할당
  • [SPARK-41974] [SC-120766][sql] INCORRECT_END_OFFSET을INTERNAL_ERROR로 변환
  • [SPARK-41530] [SC-120916][sc-118513][CORE] MedianHeap을 백분위수로 이름 바꾸기 및 백분위수 지원
  • [SPARK-41757] [SC-120608][spark-41901][CONNECT] 열 클래스에 대한 문자열 표현 수정
  • [SPARK-42084] [SC-120775][sql] 정규화된 액세스 전용 제한 누출 방지
  • [SPARK-41973] [SC-120765][sql] _LEGACY_ERROR_TEMP_1311 이름 할당
  • [SPARK-42039] [SC-120655][sql] SPJ: KeyGroupedPartitioning#partitionValuesOpt에서 옵션 제거
  • [SPARK-42079] [SC-120712][connect][PYTHON] proto 메시지 이름 바꾸기 toDF 및 withColumnsRenamed
  • [SPARK-42089] [SC-120605][connect][PYTHON] 중첩된 람다 함수의 변수 이름 문제 해결
  • [SPARK-41982] [SC-120604][sql] 문자열 형식의 파티션은 숫자 형식으로 취급해서는 안 됩니다.
  • [SPARK-40599] [SC-120620][sql] TreeNode에 multiTransform 메서드를 추가하여 대안을 생성합니다.
  • [SPARK-42085] [SC-120556][connect][PYTHON] from_arrow_schema가 중첩 형식을 지원하도록 만듦.
  • [SPARK-42057] [SC-120507][sql][PROTOBUF] 오류 보고에서 예외가 처리되는 방식을 수정합니다.
  • [SPARK-41586] [12.x][모든 테스트][SC-120544][python] PySpark에 대한 소개 pyspark.errors 및 오류 클래스.
  • [SPARK-41903] [SC-120543][connect][PYTHON] Literal 은 1-dim ndarray를 지원해야 합니다.
  • [SPARK-42021] [SC-120584][connect][PYTHON] createDataFrame을 array.array 지원하도록 만들기
  • [SPARK-41896] [SC-120506][sql] 행 인덱스로 필터링하면 빈 결과가 반환됩니다.
  • [SPARK-41162] [SC-119742][sql] 집계를 사용하여 자체 조인에 대한 안티 및 세미 조인 수정
  • [SPARK-41961] [SC-120501][sql] LATERAL을 사용하여 테이블 반환 함수 지원
  • [SPARK-41752] [SC-120550][sql][UI] 루트 실행에서 중첩된 실행 그룹화
  • [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] 리터럴은 Numpy 데이터 형식을 지원해야 합니다.
  • [SPARK-42028] [SC-120344][connect][PYTHON] 나노초 타임스탬프 잘라내기
  • [SPARK-42011] [SC-120534][connect][PYTHON] DataFrameReader.csv 구현
  • [SPARK-41990] [SC-120532][sql] V1에서 V2 필터 변환 대신 FieldReference.column 사용 apply
  • [SPARK-39217] [SC-120446][sql] DPP가 프루닝 작업에 Union 로직을 포함하는 것을 지원합니다.
  • [SPARK-42076] [SC-120551][connect][PYTHON] 데이터 변환 프로세스를 arrow -> rows 의 conversion.py으로 추출하기
  • [SPARK-42074] [SC-120540][sql] SQL 클래스 등록을 적용하기 위해 KryoSerializer 안의 TPCDSQueryBenchmark을(를) 사용하도록 설정합니다.
  • [SPARK-42012] [SC-120517][connect][PYTHON] DataFrameReader.orc 기능 구현
  • [SPARK-41832] [SC-120513][connect][PYTHON] 수정 DataFrame.unionByName, allow_missing_columns 추가
  • [SPARK-38651] [SC-120514] [SQL] 더하다 spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert ExpressionProxy를 자식으로 수락해야 합니다.
  • [SPARK-41232] [SC-120073][sql][PYTHON] array_append 함수 추가
  • [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader는 경로 목록을 지원해야 합니다.
  • [SPARK-42071] [SC-120533][core] KyroSerializer에 등록 scala.math.Ordering$Reverse
  • [SPARK-41986] [SC-120429][sql] SinglePartition에 순서 섞기 소개
  • [SPARK-42016] [SC-120428][connect][PYTHON] 중첩 열과 관련된 테스트 사용
  • [SPARK-42042] [SC-120427][connect][PYTHON] DataFrameReader 에서 StructType 스키마를 지원해야 합니다.
  • [SPARK-42031] [SC-120389][core][SQL] 재정의할 필요가 없는 메서드 정리 remove
  • [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] 중첩 형식을 지원하도록 만들기 createDataFrame(rows/lists/tuples/dicts)
  • [SPARK-41437] [SC-117601][sql][ALL TESTS] v1 쓰기 대체를 위해 입력 쿼리를 두 번 최적화하지 마세요.
  • [SPARK-41840] [SC-119719][connect][PYTHON] 누락된 별칭 추가 groupby
  • [SPARK-41846] [SC-119717][connect][PYTHON] 창 함수에 문서 테스트 사용
  • [SPARK-41914] [SC-120094][sql] FileFormatWriter는 outputOrdering에 액세스하기 전에 AQE 계획을 구체화합니다.
  • [SPARK-41805] [SC-119992][sql] WindowSpecDefinition에서 식 재사용
  • [SPARK-41977] [SC-120269][spark-41978][CONNECT] SparkSession.range에 float 값을 인수로 사용할 수 있도록 수정합니다.
  • [SPARK-42029] [SC-120336][connect] 시작 실패를 방지하기 위해 connect-common Guava 음영 규칙 추가
  • [SPARK-41989] [SC-120334][python] pyspark.pandas에서 로깅 구성을 중단하지 않도록 방지
  • [SPARK-42003] [SC-120331][sql] ResolveGroupByAll에서 중복 코드 줄이기
  • [SPARK-41635] [SC-120313][sql] 모든 오류 보고로 그룹 수정
  • [SPARK-41047] [SC-120291][sql] 반올림 함수 문서 개선
  • [SPARK-41822] [SC-120122][connect] Scala/JVM 클라이언트에 대한 gRPC 연결 설정
  • [SPARK-41879] [SC-120264][connect][PYTHON] DataFrame.collect 중첩 형식을 지원할 수 있도록 개선하기
  • [SPARK-41887] [SC-120268][connect][PYTHON] 목록 형식 매개 변수를 허용하도록 DataFrame.hint 수정하기
  • [SPARK-41964] [SC-120210][connect][PYTHON] 지원되지 않는 IO 함수 목록 추가
  • [SPARK-41595] [SC-120097][sql] FROM 절에서 generator 함수 explode/explode_outer 지원
  • [SPARK-41957] [SC-120121][connect][PYTHON] DataFrame.hint에 대한 doctest를 활성화하기
  • [SPARK-41886] [SC-120141][connect][PYTHON] DataFrame.intersect doctest 출력의 순서가 다릅니다.
  • [SPARK-41442] [SC-117795][sql][ALL TESTS] 유효한 메트릭과 병합하는 경우에만 SQLMetric 값 업데이트
  • [SPARK-41944] [SC-120046][연결] 로컬 원격 모드가 켜진 경우 구성 전달
  • [SPARK-41708] [SC-119838][sql] v1write 정보 끌어오기 WriteFiles
  • [SPARK-41780] [SC-120000][sql] 매개 변수가 regexp 잘못되었을 때 INVALID_PARAMETER_VALUE.PATTERN을 throw해야 합니다.
  • [SPARK-41889] [SC-119975][sql] invalidPatternError 및 리팩터링 오류 클래스에 근본 원인 연결 INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028][sql] AvroScanBuilder 및 JsonScanBuilder 사례 클래스 만들기
  • [SPARK-41945] [SC-120010][connect][PYTHON] Python: 클라이언트 손실 열 데이터를 pyarrow와 연결합니다. Table.to_pylist
  • [SPARK-41690] [SC-119102][sc-119087][SQL][connect] 비종속적 인코더
  • [SPARK-41354] [SC-119995][connect][PYTHON] RepartitionByExpression을 구현하다
  • [SPARK-41581] [SC-119997][sql] _LEGACY_ERROR_TEMP_1230을(를) INTERNAL_ERROR으로 변경
  • [SPARK-41928] [SC-119972][connect][PYTHON] 지원되지 않는 목록 추가 functions
  • [SPARK-41933] [SC-119980][연결] 서버를 자동으로 시작하는 로컬 모드 제공
  • [SPARK-41899] [SC-119971][connect][PYTHON] createDataFrame'은 사용자가 제공한 DDL 스키마를 준수해야 합니다.
  • [SPARK-41936] [SC-119978][connect][PYTHON] withMetadata를 사용하여 withColumns 프로토를 재사용하십시오.
  • [SPARK-41898] [SC-119931][connect][PYTHON] Window.rowsBetween, Window.rangeBetween 매개 변수 유형 검사 파이씨파크와의 동등성
  • [SPARK-41939] [SC-119977][connect][PYTHON] 함수에 대해 catalog 지원되지 않는 목록 추가
  • [SPARK-41924] [SC-119946][connect][PYTHON] StructType에서 메타데이터를 지원하고 구현 DataFrame.withMetadata
  • [SPARK-41934] [SC-119967][connect][PYTHON] 지원되지 않는 함수 목록 추가 session
  • [SPARK-41875] [SC-119969][connect][PYTHON] 다음 테스트 사례 추가 Dataset.to()
  • [SPARK-41824] [SC-119970][connect][PYTHON] 연결에 대한 설명의 doctest를 무시하십시오.
  • [SPARK-41880] [SC-119959][connect][PYTHON] 함수 from_json 가 리터럴이 아닌 스키마를 수락하게 만들기
  • [SPARK-41927] [SC-119952][connect][PYTHON] 지원되지 않는 목록 추가 GroupedData
  • [SPARK-41929] [SC-119949][connect][PYTHON] 함수 추가 array_compact
  • [SPARK-41827] [SC-119841][connect][PYTHON] 허용 열 목록 만들기 GroupBy
  • [SPARK-41925] [SC-119905][sql] 기본적으로 사용 spark.sql.orc.enableNestedColumnVectorizedReader
  • [SPARK-41831] [SC-119853][connect][PYTHON] 허용 열 목록 만들기 DataFrame.select
  • [SPARK-41455] [SC-119858][connect][PYTHON] DataFrame.collect 표준 시간대 정보를 제거하도록 한다
  • [SPARK-41923] [SC-119861][connect][PYTHON] 지원되지 않는 목록에 추가 DataFrame.writeTo
  • [SPARK-41912] [SC-119837][sql] 하위 쿼리는 CTE의 유효성을 검사하지 않아야 합니다.
  • [SPARK-41828] [SC-119832][connect][PYTHON][12.x] createDataFrame 빈 데이터 프레임 지원을 구현하다
  • [SPARK-41905] [SC-119848][connect] 슬라이스에서 이름을 문자열로 지원
  • [SPARK-41869] [SC-119845][connect] dropDuplicates에서 단일 문자열 거부
  • [SPARK-41830] [SC-119840][connect][PYTHON] DataFrame.sample PySpark와 동일한 매개 변수 허용
  • [SPARK-41849] [SC-119835][connect] DataFrameReader.text 구현
  • [SPARK-41861] [SC-119834][sql] v2 ScanBuilders의 build()가 유형별 스캔을 반환하도록 만들다
  • [SPARK-41825] [SC-119710][connect][PYTHON] 관련 문서 테스트 활성화 DataFrame.show
  • [SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] None/NaN을 올바르게 처리하도록 createDataFrame
  • [SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][PYTHON] 널/NaN/Array/Binary를 올바르게 처리하기 DataFrame.collect
  • [SPARK-39318] [SC-119713][sql] tpch-plan-stability WithStats 골든 파일 제거
  • [SPARK-41791] [SC-119745] 새 파일 원본 메타데이터 열 형식 추가
  • [SPARK-41790] [SC-119729][sql] TRANSFORM 판독기 및 작성기 형식을 올바르게 설정
  • [SPARK-41829] [SC-119725][connect][PYTHON] 누락된 순서 지정 매개 변수를 SortsortWithinPartitions에 추가합니다.
  • [SPARK-41576] [SC-119718][sql] _LEGACY_ERROR_TEMP_2051에 이름을 할당하다
  • [SPARK-41821] [SC-119716][connect][PYTHON] DataFrame.describe에 대한 문서 테스트 수정
  • [SPARK-41871] [SC-119714][connect] DataFrame 힌트 매개 변수는 str, float 또는 int일 수 있습니다.
  • [SPARK-41720] [SC-119076][sql] UnresolvedFunc를 UnresolvedFunctionName으로 이름 바꾸기
  • [SPARK-41573] [SC-119567][sql] _LEGACY_ERROR_TEMP_2136 이름 할당
  • [SPARK-41862] [SC-119492][sql] Orc 판독기에서 DEFAULT 값과 관련된 수정 버그 수정
  • [SPARK-41582] [SC-119482][sc-118701][CORE][sql] 대신 다시 사용 INVALID_TYPED_LITERAL_LEGACY_ERROR_TEMP_0022

유지 관리 업데이트

Databricks Runtime 12.2 유지 관리 업데이트를 참조 하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.5 LTS
    • 참고: Databricks 런타임 컨테이너에서 사용하는 Ubuntu 버전입니다. Databricks 런타임 컨테이너는 다른 Ubuntu 버전 또는 Linux 배포를 사용할 수 있는 클라우드 공급자의 가상 머신에서 실행됩니다.
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.9.21
  • R: 4.2.2
  • 델타 레이크: 2.2.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
argon2-cffi 21.3.0 argon2-cffi-bindings (아르곤2-CFFI 바인딩) 21.2.0 에이에스티토큰 2.0.5
속성들 21.4.0 역호출 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 검정색 22.3.0 표백제 4.1.0
boto3 1.21.32 보토코어 1.24.32 서티피 2021.10.8
cffi 1.15.0 챠데트 4.0.0 문자셋 정규화기 2.0.4
에서 8.0.4 암호화 3.4.8 자전거 타는 사람 0.11.0
사이톤 (Cython) 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
장식자 5.1.1 defusedxml (디퓨즈드 XML) 0.7.1 distlib (디스트립 라이브러리) 0.3.6
docstring을 Markdown으로 변환하기 0.11 진입 지점 0.4 실행 중 0.8.3
구성 요소 개요 1.0.0 fastjsonschema (파스트제이슨스키마) 2.16.2 파일 잠금 3.9.0
폰트툴즈 (fonttools) 4.25.0 아이드나 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils (아이파이썬 젠유틸스) 0.2.0 ipywidgets (아이파이위젯) 7.7.2
Jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib (잡리브) 1.1.1 JSON 스키마 4.4.0 주피터-클라이언트 (jupyter-client) 6.1.12
주피터 코어 (jupyter_core) 4.11.2 jupyterlab-pygments 0.1.2 주피터랩 위젯 1.0.0
키위솔버 (kiwisolver) 1.3.2 MarkupSafe (마크업세이프) 2.0.1 matplotlib (매트플롯립) 3.5.1
matplotlib-inline (매트플롯립-인라인) 0.1.2 맥케이브 0.7.0 미스튠 (Mistune) 0.8.4
mypy-extensions (마이파이-익스텐션) 0.4.3 nb클라이언트 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio (파이썬 비동기 I/O 라이브러리) 1.5.5 nodeenv 1.7.0
Notebook 6.4.8 numpy (파이썬의 수치 계산용 라이브러리) 1.21.5 패키징 21.3
팬더 1.4.2 pandocfilters 1.5.0 파르소 0.8.3
패스스펙 (pathspec) 0.9.0 바보 0.5.2 pexpect (피엑스펙트) 4.8.0
픽클쉐어 0.7.5 베개 9.0.1 파이썬 패키지 설치 도구 pip 21.2.4
플랫폼 디렉토리 2.6.2 plotly (데이터 시각화 라이브러리) 5.6.0 플러기 1.0.0
prometheus-client 0.13.1 prompt-toolkit (프롬프트 도구 키트) 3.0.20 프로토버프 (protobuf) 3.19.4
psutil (시스템 및 프로세스 유틸리티용 Python 라이브러리) 5.8.0 psycopg2 2.9.3 PtyProcess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes (파이플레이크스) 2.5.0 파이그먼츠 2.11.2 PyGObject 3.36.0
파이썬 ODBC 라이브러리 pyodbc 4.0.32 pyparsing (파이썬 파싱 라이브러리) 3.0.4 피라이트(Pyright) 1.1.283
pyrsistent 0.18.0 python-dateutil (파이썬 날짜 유틸) 2.8.2 파이썬-LSP-JSON-RPC 1.0.0
python-lsp-server (파이썬 LSP 서버) 1.6.0 pytz (파이썬의 타임존 계산을 위한 라이브러리) 2021.3 pyzmq 22.3.0
요청사항 2.27.1 requests-unixsocket (요청-유닉스소켓) 0.2.0 로프 0.22.0
s3transfer 0.5.0 scikit-learn (파이썬 머신러닝 라이브러리) 1.0.2 scipy (과학 컴퓨팅 라이브러리) 1.7.3
바다에서 태어난 0.11.2 Send2Trash 1.8.0 setuptools (셋업툴즈) 61.2.0
6 1.16.0 수프시브 2.3.1 ssh-import-id 명령어 5.10
스택 데이터 0.2.0 statsmodels (파이썬 통계 모형 라이브러리) 0.13.2 끈기 8.0.1
끝났다 0.13.1 테스트 경로 0.5.0 threadpoolctl 2.2.0
토크나이즈-RT 4.2.1 tomli 1.2.2 토네이도 6.1
트레잇렛츠 5.1.1 타이핑_익스텐션 4.1.1 ujson (파이썬에서 JSON 직렬화를 위한 라이브러리) 5.1.0
사용자 개입 없는 자동 업데이트 0.1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth(문자의 너비를 계산하는 함수) 0.2.5 웹인코딩 0.5.1 왓더패치 1.0.4
바퀴 0.37.0 widgetsnbextension (위젯 확장 프로그램) 3.6.1 yapf 0.31.0

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2022-11-11)에서 설치됩니다. 스냅샷을 더 이상 사용할 수 없습니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 10.0.0 askpass (비밀번호 입력 요청) 1.1 assertthat (어설트댓) 0.2.1
백포트 (기존 소프트웨어에 새로운 기능이나 수정을 추가하는 것) 1.4.1 기반 4.2.2 base64enc 0.1-3
조각 4.0.4 비트64 4.0.5 덩어리 1.2.3
부츠 1.3-28 양조하다 1.0-8 활기 1.1.3
빗자루 1.0.1 bslib 0.4.1 캐시미어 1.0.6
콜러 3.7.3 캐럿 6.0-93 셀레인저 (cellranger) 1.1.0
크론 2.3-58 수업 7.3-21 커맨드 라인 인터페이스 (CLI) 3.4.1
클리퍼 0.8.0 시계 0.6.1 클러스터 2.1.4
코드 도구 0.2-19 색 공간 2.0-3 코먼마크 1.8.1
컴파일러 4.2.2 환경 설정 0.3.1 cpp11 0.4.3
크레용 1.5.2 자격 증명 1.3.2 컬 4.3.3
데이터 테이블(data.table) 1.14.4 데이터세트 4.2.2 DBI 1.1.3
dbplyr 2.2.1 설명 1.4.2 개발자 도구 2.4.5
디포브젝트 0.3.5 소화하다 0.6.30 아래로 비추는 조명 0.4.2
dplyr (데이터 조작을 위한 R 패키지) 1.0.10 dtplyr 1.2.2 e1071 1.7-12
줄임표 0.3.2 평가하다 0.18 팬시 1.0.3
색상 2.1.1 패스트맵 1.1.0 폰트어썸 (fontawesome) 0.4.0
포캣츠 0.5.2 포이치 (foreach) 1.5.2 외국의 0.8-82
구축하다 0.2.0 fs 1.5.2 미래 1.29.0
퓨처.어플라이 1.10.0 가글하다 1.2.1 제네릭(generics) 0.1.3
거트 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet (통계 및 기계 학습 소프트웨어 패키지) 4.1-4 글로벌 0.16.1
접착제 1.6.2 구글 드라이브 2.0.0 구글시트4 1.0.1
고워 (Gower) 1.0.0 그래픽스 4.2.2 grDevices 4.2.2
그리드 4.2.2 gridExtra 2.3 gsubfn 0.7
지테이블 0.3.1 안전모 1.2.0 안식처 2.5.1
더 높다 0.9 에이치엠에스 (HMS) 1.1.2 HTML 도구 0.5.3
HTML 위젯 1.5.4 httpuv 1.6.6 httr 1.4.4
아이디 1.0.1 이것 0.3.1 아이프레드 0.9-13
아이소밴드 0.2.6 이터레이터 (반복자) 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 니터 1.40
라벨링 0.4.2 나중에 1.3.0 격자 0.20-45
용암 1.7.0 주기 1.0.3 listenv (리슨브) 0.8.0
루브리데이트 1.9.0 magrittr 2.0.3 마크다운 1.3
질량 7.3-58.2 행렬 1.5-1 메모하다 2.0.1
메서드 4.2.2 mgcv 1.8-41 마임 0.12
미니 사용자 인터페이스 (Mini UI) 0.1.1.1 ModelMetrics 1.2.2.2 모델러 0.1.9
먼셀 (Munsell) 0.5.0 nlme 3.1-162 엔넷 7.3-18
numDeriv (넘데리브) 2016년 8월부터 1월 1일까지 오픈SSL (OpenSSL은 암호화 라이브러리입니다) 2.0.4 평행 4.2.2
평행하게 1.32.1 기둥 1.8.1 pkgbuild(팩키지 빌드) 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
플로거 0.2.0 plyr (플레이어) 1.8.7 칭찬 1.0.0
프리티유닛 1.1.1 pROC 패키지 1.18.0 프로세스엑스 3.8.0
프로드림 (prodlim) 2019.11.13 profvis 0.3.7 진행률 1.2.2
프로그레스알 0.11.0 약속들 1.2.0.1 프로토 1.0.0
프록시 0.4-27 Ps 1.7.2 고양이의 그르렁거림 0.3.5
r2d3 0.2.6 R6 2.5.1 라그 1.2.4
랜덤 포레스트 (randomForest) 4.7-1.1 rappdirs (랩디르) 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
리더(Reader) 2.1.3 readxl (엑셀 파일 읽기 기능) 1.4.1 레시피 1.0.3
재대결 1.0.1 리매치2 2.1.2 리모컨/원격 2.4.2
레프렉스(문제의 재현 가능한 예시) 2.0.2 reshape2 1.4.4 rlang 1.0.6
r마크다운 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart (의사결정트리 구축을 위한 R 패키지) 4.1.19 rprojroot 2.0.3 Rserve (R서브) 1.8-12
RSQLite 2.2.18 rstudioapi 0.14 알버전즈 2.1.2
rvest (웹 스크래핑을 위한 R 패키지) 1.0.3 sass 0.4.2 저울 1.2.1
선택기 0.4-2 세션정보 1.2.2 형태 1.4.6
반짝이는 1.7.3 소스툴스 (sourcetools) 0.1.7 sparklyr (스파클리알) 1.7.8
SparkR 3.3.2 공간적 7.3-11 스플라인 4.2.2
sqldf (SQL 데이터프레임 패키지) 0.4–11 스퀘어엠 2021년 1월 통계 4.2.2
통계4 4.2.2 문자열 처리 소프트웨어 "stringi" 1.7.8 stringr 1.4.1
생존 3.4-0 시스템 3.4.1 시스템 글꼴 1.0.4
티클티케이 (tcltk) 4.2.2 testthat (테스트댓) 3.1.5 텍스트 형태화 0.3.6
tibble (티블) 3.1.8 tidyr 1.2.1 tidyselect (티디셀렉트) 1.2.0
tidyverse (타이디버스) 1.3.2 시간 변경 0.1.1 시간과 날짜 4021.106
tinytex 0.42 도구들 4.2.2 tzdb 0.3.0
URL체커 1.0.1 사용해보세요 2.1.6 utf8 1.2.2
유틸리티 4.2.2 UUID (범용 고유 식별자) 1.1-0 vctrs 0.5.0
비리디스라이트 0.4.1 부르릉 1.6.0 왈도 0.4.0
수염 0.4 위드알 2.5.0 xfun 0.34
xml2 1.3.3 엑스오픈 1.0.0 엑스테이블 1.8-4
YAML (야믈) 2.3.6 지퍼 2.2.2

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr (구문 분석 도구) antlr (구문 분석 도구) 2.7.7
com.amazonaws 아마존 키네시스 클라이언트 (amazon-kinesis-client) 1.12.0
com.amazonaws aws-java-sdk-autoscaling (AWS 자바 SDK 자동 확장) 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront (AWS Java SDK 클라우드프론트) 1.12.189
com.amazonaws aws-java-sdk-cloudhsm (AWS 자바 SDK 클라우드HSM) 1.12.189
com.amazonaws aws-java-sdk-cloudsearch (AWS Java SDK 클라우드서치) 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK 코드디플로이) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity (AWS 자바 SDK - Cognito 아이덴티티) 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws AWS Java SDK 구성 1.12.189
com.amazonaws aws-java-sdk-core (AWS 자바 SDK 코어) 1.12.189
com.amazonaws aws-java-sdk-datapipeline (데이터 파이프라인을 위한 AWS Java SDK) 1.12.189
com.amazonaws aws-java-sdk-directconnect (AWS Java SDK 다이렉트커넥트) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs (AWS Java 소프트웨어 개발 키트 - ECS) 1.12.189
com.amazonaws aws-java-sdk-efs (AWS와 EFS 관련 소프트웨어 개발 키트) 1.12.189
com.amazonaws aws-java-sdk-elasticache (AWS Java SDK 엘라스티캐시) 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk (AWS용 Java SDK - Elastic Beanstalk) 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (AWS Java SDK - 엘라스틱로드밸런싱) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder (AWS Java SDK 엘라스틱 트랜스코더) 1.12.189
com.amazonaws aws-java-sdk-emr (아우스-자바-sdk-emr) 1.12.189
com.amazonaws AWS 자바 SDK 글래시어 (aws-java-sdk-glacier) 1.12.189
com.amazonaws aws-java-sdk-glue (AWS 자바 SDK 글루) 1.12.189
com.amazonaws AWS 자바 SDK IAM 1.12.189
com.amazonaws aws-java-sdk-importexport (AWS Java SDK 내보내기 기능) 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms (AWS 자바 SDK KMS) 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs (AWS 자바 SDK 로그) 1.12.189
com.amazonaws AWS-Java-SDK-머신러닝 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds (AWS Java 개발자용 SDK - RDS) 1.12.189
com.amazonaws aws-java-sdk-redshift (AWS 자바 SDK 레드시프트) 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws AWS Java SDK SNS (AWS의 자바 개발자 키트 - SNS) 1.12.189
com.amazonaws aws-java-sdk-sqs (AWS Java SDK의 SQS 모듈) 1.12.189
com.amazonaws aws-java-sdk-ssm (AWS Java SDK의 SSM 모듈) 1.12.189
com.amazonaws aws-java-sdk-storagegateway (AWS Java SDK 스토리지 게이트웨이) 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS-Java-SDK-지원 1.12.189
com.amazonaws AWS Java SDK SWF 라이브러리 1.11.22
com.amazonaws aws-java-sdk-workspaces (AWS Java SDK 작업 공간) 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 스트림 2.9.6
com.databricks Rserve (R서브) 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded (크리오 쉐이디드) 4.0.2
com.esotericsoftware 민로그 1.3.0
com.fasterxml 동급생 1.3.4
com.fasterxml.jackson.core 잭슨 애노테이션즈 2.13.4
com.fasterxml.jackson.core 잭슨-코어 2.13.4
com.fasterxml.jackson.core 잭슨 데이터바인드 (jackson-databind) 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (잭슨 데이터 포맷 CBOR) 2.13.4
com.fasterxml.jackson.datatype 잭슨 데이터타입 조다 (jackson-datatype-joda) 2.13.4
com.fasterxml.jackson.datatype 잭슨 데이터 타입 JSR310 (jackson-datatype-jsr310) 2.13.4
com.fasterxml.jackson.module 잭슨 모듈 - 파라네이머 (jackson-module-paranamer) 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 (자바 스칼라 모듈) 2.13.4
com.github.ben-manes.카페인 카페인 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib 네이티브_레퍼런스-자바 1.1
com.github.fommil.netlib 네이티브_레퍼런스-자바-네이티브스 1.1
com.github.fommil.netlib native_system-java (네이티브 시스템 자바) 1.1
com.github.fommil.netlib 네이티브 시스템-자바-네이티브스 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (JSON 처리를 위한 자바 라이브러리) 2.8.6
com.google.crypto.tink 팅크 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 구아바 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.릴리스
com.lihaoyi 소스코드_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (애저 데이터 레이크 저장소 SDK) 2.3.9
com.microsoft.sqlserver (마이크로소프트 SQL 서버) mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (압축 알고리즘 LZF) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer 파라네이머 2.8
com.trueaccord.lenses 렌즈_2.12 0.4.12
com.twitter (도메인 이름) chill-java (칠자바) 0.10.0
com.twitter (도메인 이름) chill_2.12 0.10.0
com.twitter (도메인 이름) util-app_2.12 7.1.0
com.twitter (도메인 이름) util-core_2.12 7.1.0
com.twitter (도메인 이름) util-function_2.12 7.1.0
com.twitter (도메인 이름) util-jvm_2.12 7.1.0
com.twitter (도메인 이름) util-lint_2.12 7.1.0
com.twitter (도메인 이름) util-registry_2.12 7.1.0
com.twitter (도메인 이름) util-stats_2.12 7.1.0
com.typesafe 환경 설정 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers (유니보시티-파서스) 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec (커먼즈 코덱) commons-codec (커먼즈 코덱) 1.15
코먼스-컬렉션즈 코먼스-컬렉션즈 3.2.2
커먼즈-DBCP 커먼즈-DBCP 1.4
커먼즈-파일업로드 커먼즈-파일업로드 1.3.3
커먼즈-HTTP 클라이언트 커먼즈-HTTP 클라이언트 3.1
commons-io commons-io 2.11.0
커먼즈-랭 커먼즈-랭 2.6
commons-logging (커먼즈 로깅) commons-logging (커먼즈 로깅) 1.1.3
commons-pool (커먼즈 풀) commons-pool (커먼즈 풀) 1.5.4
dev.ludovic.netlib 아르팩 (ARPACK) 2.2.1
dev.ludovic.netlib 블라스 2.2.1
dev.ludovic.netlib 래팩 (LAPACK) 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 에어컴프레서 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core (메트릭스 코어) 4.1.1
io.dropwizard.metrics 메트릭스-그래파이트 (metrics-graphite) 4.1.1
io.dropwizard.metrics 메트릭스-헬스체크 4.1.1
io.dropwizard.metrics 메트릭스-젯티9 4.1.1
io.dropwizard.metrics 메트릭스-JMX 4.1.1
io.dropwizard.metrics 메트릭스-JSON 4.1.1
io.dropwizard.metrics metrics-jvm (메트릭스-JVM) 4.1.1
io.dropwizard.metrics 메트릭스-서블릿 4.1.1
io.netty netty-all 4.1.74.Final
io.netty 네티-버퍼 (Netty-Buffer) 4.1.74.Final
io.netty netty-codec (넷티 코덱) 4.1.74.Final
io.netty 넷티-커먼 4.1.74.Final
io.netty 넷티 핸들러 4.1.74.Final
io.netty netty-resolver (네티 리졸버) 4.1.74.Final
io.netty netty-tcnative-클래스 2.0.48.Final
io.netty 넷티-트랜스포트 4.1.74.Final
io.netty netty-transport-classes-epoll (넷티 트랜스포트 클래스 에폴) 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 (리눅스용 소프트웨어 패키지 이름) 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty 네티-트랜스포트-네이티브-유닉스-커먼 (netty-transport-native-unix-common) 4.1.74.Final
io.prometheus 심플클라이언트 0.7.0
io.prometheus 심플클라이언트_커먼 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus 심플클라이언트_푸시게이트웨이 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
자카르타.annotation 자카르타 애노테이션-API (jakarta.annotation-api) 1.3.5
jakarta.servlet jakarta.servlet-api (자카르타 서블릿 API) 4.0.3
jakarta.validation jakarta.validation-api (자카르타 검증 API) 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 활성화 1.1.1
javax.el javax.el-api (자바 API) 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta (자바 트랜잭션 API) 1.1
javax.transaction 트랜잭션-API 1.1
javax.xml.bind jaxb-api 2.2.11
자볼루션 자볼루션 5.5.1
제이라인 제이라인 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna (넷.자바.데브.제이엔에이) 제이엔에이 5.8.0
net.razorvine 피 클 1.2
net.sf.jpam 제이팜 1.1
net.sf.opencsv opencsv (오픈CSV 라이브러리) 2.3
net.sf.supercsv 슈퍼-CSV 2.2.0
네트.스노우플레이크 snowflake-ingest SDK (소프트웨어 개발 키트) 0.9.6
네트.스노우플레이크 snowflake-jdbc (스노우플레이크 JDBC) 3.13.22
net.sourceforge.f2j arpack_전체_결합 0.1
org.acplt.remotetea remotetea-oncrpc (리모트티-온씨알피씨) 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR 런타임 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr 문자열템플릿 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant 안트-런처 1.9.2
org.apache.arrow 화살표 형식 7.0.0
org.apache.arrow arrow-memory-core (애로우-메모리-코어) 7.0.0
org.apache.arrow 애로우-메모리-네티 7.0.0
org.apache.arrow 화살표 벡터 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc (아브로 IPC) 1.11.0
org.apache.avro avro-mapred (아브로-맵레드) 1.11.0
org.apache.commons (오픈 소스 자바 라이브러리) commons-collections4 (공용 컬렉션4) 4.4
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-컴프레스 1.21
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-크립토 1.1.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-랭3 (commons-lang3) 3.12.0
org.apache.commons (오픈 소스 자바 라이브러리) 커먼즈-매쓰3 3.6.1
org.apache.commons (오픈 소스 자바 라이브러리) commons-text (커먼즈 텍스트) 1.10.0
org.apache.curator 큐레이터-의뢰인 관계 2.13.0
org.apache.curator curator-framework (큐레이터 프레임워크) 2.13.0
org.apache.curator 큐레이터의 레시피 2.13.0
org.apache.derby 더비 10.14.2.0
org.apache.hadoop hadoop-client-api (하둡 클라이언트 API) 3.3.4-databricks
org.apache.hadoop 하둡 클라이언트 런타임 (hadoop-client-runtime) 3.3.4
org.apache.hive hive-beeline (하이브 비라인, 하둡에서 SQL 쿼리를 실행하고 관리하는 명령어) 2.3.9
org.apache.hive hive-CLI 2.3.9
org.apache.hive hive-jdbc (하이브 JDBC) 2.3.9
org.apache.hive hive-llap-client (하이브 LLAP 클라이언트) 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive 하이브-세르데 2.3.9
org.apache.hive 하이브-심스 2.3.9
org.apache.hive 하이브-스토리지-API 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims 하이브-쉼스-커먼 2.3.9
org.apache.hive.shims 하이브-심스-스케줄러 2.3.9
org.apache.httpcomponents HTTP 클라이언트 (httpclient) 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy 아이비 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core (로그4j-코어) 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos 메소스-쉐이디드-프로토버프 (mesos-shaded-protobuf) 1.4.0
org.apache.orc orc-core (오크 코어) 1.76
org.apache.orc orc-mapreduce (오크-맵리듀스) 1.76
org.apache.orc orc-shims (오크-심스) 1.76
org.apache.parquet 파케트 컬럼 1.12.3-databricks-0002
org.apache.parquet 파케-커먼 (parquet-common) 1.12.3-databricks-0002
org.apache.parquet 파케트 인코딩 1.12.3-databricks-0002
org.apache.parquet 파켓 형식 구조 1.12.3-databricks-0002
org.apache.parquet 파켓-하둡 (parquet-hadoop) 1.12.3-databricks-0002
org.apache.parquet 파케-잭슨 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9 음영 처리 4.20
org.apache.yetus 관객 주석 0.13.0
org.apache.zookeeper 동물 사육사 3.6.2
org.apache.zookeeper 동물원 관리자-쥬트 3.6.2
org.checkerframework 체커-퀄 3.5.0
org.codehaus.jackson jackson-core-asl (자바 라이브러리) 1.9.13
org.codehaus.jackson jackson-mapper-asl (잭슨-매퍼-ASL) 1.9.13
org.codehaus.janino 커먼스-컴파일러 3.0.16
org.codehaus.janino 자니노 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus 데이터뉴클리어스-코어 4.1.17
org.datanucleus datanucleus-rdbms (데이터누클리어스-알디비엠에스) 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client (제티 클라이언트) 9.4.46.v20220331
org.eclipse.jetty 제티-컨티뉴에이션 (Jetty-Continuation) 9.4.46.v20220331
org.eclipse.jetty 제티-HTTP (Jetty-HTTP) 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi (제티-JNDI) 9.4.46.v20220331
org.eclipse.jetty 제티-플러스 (jetty-plus) 9.4.46.v20220331
org.eclipse.jetty jetty-proxy (제티 프록시) 9.4.46.v20220331
org.eclipse.jetty 제티-시큐리티 (jetty-security) 9.4.46.v20220331
org.eclipse.jetty 제티 서버 (Jetty Server) 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty 제티 서블릿(jetty-servlets) 9.4.46.v20220331
org.eclipse.jetty 제티 유틸 (jetty-util) 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty 제티 웹앱 (jetty-webapp) 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓 API 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓 클라이언트 (websocket-client) 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓-커먼 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓-서버 9.4.46.v20220331
org.eclipse.jetty.websocket 웹소켓-서블릿 (websocket-servlet) 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2 위치 탐색기 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi 자원 탐색기 1.0.3
org.glassfish.hk2.external aopalliance-재패키지 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey 컨테이너 서블릿 (jersey-container-servlet) 2.36
org.glassfish.jersey.containers 저지-컨테이너-서블릿-코어 2.36
org.glassfish.jersey.core 제르시 클라이언트 2.36
org.glassfish.jersey.core 저지-커먼 2.36
org.glassfish.jersey.core 저지 서버 (jersey-server) 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator 하이버네이트 검증기 (hibernate-validator) 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging(로그 관리 시스템) 3.3.2.최종
org.jdbi jdbi 2.63.1
org.jetbrains 주석 17.0.0
org.joda joda-convert (조다 변환 라이브러리) 1.7
org.jodd jodd-core (조드 코어 라이브러리) 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc MariaDB 자바 클라이언트 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis 옵제네시스 (objenesis) 2.5.1
org.postgresql PostgreSQL (포스트그레에스큐엘) 42.3.3
org.roaringbitmap 로어링비트맵 (RoaringBitmap) 0.9.25
org.roaringbitmap 간격 조정용 판 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 테스트 인터페이스 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 사용하지 않음 1.0.0
org.threeten threeten-extra (쓰리텐-엑스트라) 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel 스파이어-유틸_2.12 0.17.0
org.typelevel 스파이어_2.12 (spire_2.12) 0.17.0
org.wildfly.openssl 와일드플라이-OpenSSL 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml 스네이크야AML (snakeyaml) 1.24
금 금 2.0.8
pl.edu.icm 제이 라지 어레이스 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider (아마존 코레토 크립토 프로바이더) 1.6.1-linux-x86_64
software.amazon.ion ion-java (아이온-자바) 1.0.2
스택스 (Stax) stax-api 1.0.1
  • Last updated on