Udostępnij przez

Databricks Runtime 8.3 (EoS)

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Poniższe uwagi do wydania zawierają informacje o środowiskach Databricks Runtime 8.3 i Databricks Runtime 8.3 Photon zasilanych przez Apache Spark 3.1.1. Usługa Databricks wydała tę wersję w czerwcu 2021 roku. Photon jest w publicznej wersji zapoznawczej.

Nowe funkcje i ulepszenia

Wygenerowane kolumny w tabelach delty (publiczna wersja zapoznawcza)

Delta Lake obsługuje teraz kolumny generowane automatycznie, które są specjalnym typem kolumny, których wartości są automatycznie generowane na podstawie funkcji określonej przez użytkownika względem innych kolumn w tabeli Delta. Większość wbudowanych funkcji SQL umożliwia generowanie wartości tych wygenerowanych kolumn. Na przykład możesz automatycznie wygenerować kolumnę daty (na potrzeby partycjonowania tabeli według daty) z kolumny znacznika czasu; wszystkie operacje zapisu w tabeli wymagają tylko określenia danych dla kolumny sygnatury czasowej. Tabele delty można tworzyć z wygenerowanymi kolumnami przy użyciu interfejsów API SQL, Scala, Java lub Python.

Aby uzyskać więcej informacji, zobacz kolumny generowane przez Delta Lake.

Funkcje i ulepszenia automatycznego modułu ładującego

Wnioskowanie schematu dla plików CSV w narzędziu do automatycznego ładowania

Funkcja automatycznego ładowania obsługuje teraz wnioskowanie schematu i ewolucję w plikach CSV. Moduł automatycznego ładowania zapewnia następujące możliwości w oparciu o istniejący analizator CSV na platformie Apache Spark:

  • Scalanie schematów: Automatyczny ładownik może pozyskiwać pliki CSV, które mają różne schematy (różna liczba kolumn, różna kolejność kolumn) w różnych plikach.
  • Uratowana kolumna danych: możesz użyć uratowanych kolumn danych, aby uratować nieoczekiwane dane, które mogą pojawić się w plikach CSV. Obejmuje to dane, których nie można przeanalizować w oczekiwanym typie danych, kolumny o innej wielkości liter lub z wartościami null w nagłówku, oraz dodatkowe kolumny, które nie były częścią oczekiwanego schematu.

Aby uzyskać szczegółowe informacje, zobacz Konfigurowanie wnioskowania schematu i ewolucji w Auto Loader.

Ulepszony czas uruchamiania strumieni Auto Loader

Strumienie Auto Loader teraz asynchronicznie realizują wstępne wypełnianie strumienia podczas pierwszego uruchomienia, co prowadzi do znacznie szybszego czasu rozruchu strumienia. Może to umożliwić szybkie iterowanie kodu przy użyciu danych produkcyjnych, szczególnie w przypadku konieczności pozyskiwania danych z katalogów zawierających miliony lub miliardy plików.

Ponadto czas uruchamiania strumieni, które są ponownie uruchamiane, został także ulepszony, ponieważ zrównolegliliśmy pobieranie i wysyłanie plików RocksDB, które Auto Loader wykorzystuje do zapewnienia semantyki dokładnie raz.

Szybsze wyświetlanie listy katalogów w narzędziu do automatycznego ładowania

Znacznie poprawiliśmy wydajność wyświetlania list katalogów w Auto Loaderze. Efektem ubocznym tej poprawy wydajności jest to, że strumień może wystosowywać więcej żądań na listę do systemu przechowywania, gdy nie ma nowych danych do przetworzenia, co może prowadzić do wzrostu opłat za te żądania. Ogólnie rzecz biorąc, firma Databricks zaleca określenie rozsądnego interwału wyzwalania dla potoków przesyłania strumieniowego w środowisku produkcyjnym. Zobacz Zagadnienia dotyczące przesyłania strumieniowego w kontekście strukturalnym.

Zmniejszone obciążenie pamięci dla punktów kontrolnych automatycznego ładowania

Strumienie modułu Auto Loader teraz automatycznie i asynchronicznie czyszczą nieaktualne pliki w katalogu punktu kontrolnego, aby zapobiec nieograniczonemu wzrostowi jego rozmiaru i zmniejszyć koszty przechowywania.

Funkcja automatycznego ładowania zawiera ścieżkę pliku w uratowanych kolumnach danych, jeśli są dostępne

Uratowana kolumna danych automatycznie udostępnia ścieżkę pliku uratowanych danych, jeśli ma zastosowanie w kolumnie o nazwie _file_ path. Może to pomóc w śledzeniu głównej przyczyny problemów z jakością danych. Kolumna nie jest uwzględniana, jeśli schemat danych zawiera kolumnę o nazwie _file_path. W razie potrzeby możesz użyć spark.databricks.sql.rescuedDataColumn.filePath.name konfiguracji SQL, aby zmienić nazwę kolumny.

Automatyczne ładowanie obsługuje zmiany nazw plików w usłudze Azure Data Lake Storage w trybie powiadamiania o plikach

Funkcja automatycznego ładowania obsługuje teraz zdarzenia BlobRenamed w usłudze Azure Data Lake Storage, gdy działa w trybie powiadomień o plikach. Aby przetworzyć pliki przekazane do kontenera usługi Azure Data Lake Storage za pomocą operacji zmiany nazwy z powiadomieniami o plikach, uruchom nowy strumień z Auto Loader przy użyciu środowiska Databricks Runtime 8.3. Aby upewnić się, że plik jest przetwarzany dokładnie raz, upewnij się, że katalog źródłowy, z którego jest zmieniany plik, nie jest obserwowany przez moduł automatycznego ładowania.

Utwórz tabele Delta za pomocą nowych programowalnych interfejsów API (publiczna wersja zapoznawcza)

Teraz można programowo tworzyć nowe tabele delty (przy użyciu języków Scala, Java i Python) bez używania interfejsów API ramki danych. Nowe interfejsy API DeltaTableBuilder i DeltaColumnBuilder umożliwiają określenie wszystkich szczegółów tabeli, które można określić przy użyciu CREATE TABLESQL.

Aby uzyskać więcej informacji, zobacz Tworzenie tabeli.

Poprawne obliczanie rozmiarów tabel delty w usłudze SQL ANALYZE

Istniejąca logika analizy niepoprawnie oblicza rozmiar tabeli dla tabel delty i aktualizuje wykaz o nieprawidłowym rozmiarze. Poprawka polega na pobraniu rozmiaru tabeli Delta z logu Delta.

Szczegółowe metryki wydajności bazy danych RocksDB podczas korzystania z bazy danych RocksDBStateStore

Jeśli skonfigurowano zapytanie przesyłania strumieniowego ze strukturą do używania RocksDB jako magazynu stanów, możesz teraz uzyskać lepszy wgląd w wydajność bazy danych RocksDB z szczegółowymi metrykami na temat opóźnień pobierania/umieszczania, opóźnień kompaktowania, trafień pamięci podręcznej itd. Te metryki są dostępne za pośrednictwem interfejsów API StreamingQueryProgress i StreamingQueryListener do monitorowania przesyłania strumieniowego zapytania.

Aby uzyskać więcej informacji, zobacz Configure RocksDB state store on Azure Databricks (Konfigurowanie magazynu stanów bazy danych RocksDB w usłudze Azure Databricks).

Automatyczne zoptymalizowane zapisy

Zoptymalizowane zapisy w partycjonowanych tabelach delty są teraz automatycznie włączone na potrzeby aktualizacji i usuwania zapytań zawierających podzapytania.

Włącz sprzężenia zasobnikowe, jeśli tylko jedna strona sprzężenia jest zasobnikowa

Nowa konfiguracja spark.databricks.sql.minBucketsForBucketedJoin umożliwia sprzężenia zasobnikowego, jeśli tylko jedna strona sprzężenia jest zasobnikowana, a liczba zasobników nie jest mniejsza niż ta wartość konfiguracji. Domyślnie ta wartość konfiguracji jest taka sama jak domyślna liczba partycji mieszania (200).

Ulepszone zabezpieczenia podczas definiowania funkcji użytkownika (Spark) (publiczna wersja zapoznawcza)

Funkcje current_user informacji o użytkowniku i is_member nie mogą być już zastępowane przez funkcje tymczasowe, w tym Python spark.udf.register lub SQL create or replace temp function.

Zmniejszona liczba żądań do rejestru schematów dla zapytań przy użyciu from_avro

Zapytania z from_avro z obsługą rejestru schematów nie generują już tyle samo żądań do tej usługi, co pozwala zaoszczędzić koszty operacyjne.

Wiele wyników w R z ListResults (publiczna wersja przedpremierowa)

Notesy języka R usługi Databricks obsługują teraz wiele wyników w każdej komórce. Wcześniej dla każdej komórki notatnika renderowano tylko jeden wynik. Obecnie wyniki pojedynczej komórki w notesach języka R są wyświetlane w następującej kolejności:

  1. RShiny URL
  2. fabuła (if referring to a storyline) / działka (if referring to a piece of land)
  3. dane wyjściowe displayHTML
  4. Tabele
  5. stdout

Uaktualnienia biblioteki

  • Uaktualniona biblioteka języka Python:
    • Program koalas został uaktualniony z wersji 1.7.0 do wersji 1.8.0.
    • Biblioteka pandas została uaktualniona z wersji 1.1.3 do wersji 1.1.5.
    • s3transfer uaktualniony z wersji 0.3.4 do 0.3.6.
  • Uaktualniona biblioteka języka R:
    • Usługa SparkR została uaktualniona z wersji 3.1.1 do wersji 3.1.2.
  • Uaktualniona biblioteka Języka Java:
    • mariadb-java-client z wersji 2.1.2 do 2.2.5.
    • Kolumna parquet z wersji 1.10.1-databricks6 do 1.10.1-databricks9
    • parquet-common od 1.10.1-databricks6 do 1.10.1-databricks9
    • kodowanie parquet z 1.10.1-databricks6 do 1.10.1-databricks9
    • parquet-hadoop z wersji 1.10.1-databricks6 do 1.10.1-databricks9
    • parquet-jackson z 1.10.1-databricks6 do 1.10.1-databricks9

Apache Spark

Środowisko Databricks Runtime 8.3 obejmuje platformę Apache Spark 3.1.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 8.2 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-34614] [SQL] Tryb ANSI: Rzutując ciąg na wartość logiczną, powinno zgłaszać wyjątek w przypadku błędu parsowania
  • [SPARK-34246] [KONTYNUACJA] Zmień definicję "findTightestCommonT...
  • [SPARK-35213] [SQL] Zachowaj poprawną kolejność zagnieżdżonych struktur w złożonych operacjach z użyciem withField
  • [SPARK-35096] [SQL] SchematPruning powinien być zgodny z konfiguracją spark.sql.caseSensitive
  • [SPARK-35227] [BUILD] Aktualizacja resolvera dla pakietów spark w usłudze SparkSubmit
  • [SPARK-35224] [SQL] Naprawianie przepełnienia buforu w MutableProjectionSuite
  • [SPARK-34245] [CORE] Upewnij się, że Master usuwa executory, które nie wysłały stanu zakończenia
  • [SPARK-34856] [SQL] Tryb ANSI: pozwól na rzutowanie złożonych typów na typ ciągowy
  • [SPARK-34946] [SQL] Blokuj nieobsługiwane skorelowane podzapytywanie skalarne w agregacji
  • [SPARK-35014] Naprawiono wzorzec PhysicalAggregation, aby nie przerabiać wyrażeń, które można złożyć.
  • [SPARK-34769] [SQL] AnsiTypeCoercion: zwróć najbliższy con...

Środowisko systemu

  • System operacyjny: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (kompilacja 1.8.0_282-b08)
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: R w wersji 4.0.4 (2021-02-15)
  • Usługa Delta Lake 1.0.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
appdirs 1.4.4 asn1crypto 1.4.0 odpowiedź zwrotna 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certyfikat 2020.12.5 cffi 1.14.3 chardet 3.0.4
kryptografia 3.1.1 rowerzysta 0.10.0 Cython 0.29.21
dekorator 4.4.2 distlib 0.3.1 docutils 0.15.2
punkty wejścia 0,3 aspekty — omówienie 1.0.0 blokada plików 3.0.12
IDNA 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Koale 1.8.0 biblioteka matplotlib 3.2.2
numpy 1.19.2 Pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5
pip (menedżer pakietów Pythona) 20.2.4 kreślenie 4.14.3 zestaw narzędzi prompt 3.0.8
Protobuf (w skrócie od Protocol Buffers) 3.17.0 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 2.4.7 PySocks 1.7.1
python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.1 pytz (biblioteka Pythona do obliczeń stref czasowych) 2020.5 pyzmq 19.0.2
żądania 2.24.0 Ponawiam próbę... 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy (biblioteka naukowa dla Pythona) 1.5.2 urodzony na morzu 0.10.0
setuptools 50.3.1 Sześć 1.15.0 statsmodels - biblioteka do modelowania statystycznego 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlety 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 szerokość(wcwidth) 0.2.5
wheel 0.35.1

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki Microsoft CRAN z dnia 2020-11-02.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 potwierdzić to 0.2.1 wsteczna kompatybilność (backports) 1.2.1
baza 4.0.4 base64enc 0.1-3 BH 1.72.0-3
odrobina 4.0.4 bit-64 4.0.5 blob 1.2.1
uruchomienie 1.3-27 warzyć 1.0-6 Brio 1.1.0
miotła 0.7.2 dzwoniący 3.5.1 karetka 6.0-86
cellranger 1.1.0 Chroń 2.3-56 klasa 7.3-18
CLI 2.2.0 clipr 0.7.1 klaster 2.1.1
codetools 0.2-18 przestrzeń kolorów 2.0-0 commonmark 1,7
kompilator 4.0.4 konfiguracja 0,3 cover 3.5.1
cpp11 0.2.4 kredka 1.3.4 dane logowania 1.3.0
Crosstalk 1.1.0.1 skręt 4.3 tabela danych 1.13.4
zestawy danych 4.0.4 DBI 1.1.0 dbplyr 2.0.0
opis 1.2.0 devtools 2.3.2 diffobj 0.3.2
skrót 0.6.27 dplyr 1.0.2 DT 0,16
wielokropek 0.3.1 ocenić 0,14 fani 0.4.1
kolory 2.0.3 szybka mapa 1.0.1 dla kotów 0.5.0
foreach 1.5.1 zagraniczny 0.8-81 kuźnia 0.2.0
Fs 1.5.0 przyszłość 1.21.0 typy ogólne 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globalna 0.14.0
klej 1.4.2 Gower 0.2.2 grafika 4.0.4
grDevices 4.0.4 siatka 4.0.4 gridExtra 2.3
gsubfn 0,7 gtabela 0.3.0 przystań 2.3.1
wyższy 0,8 HMS 0.5.3 htmltools – narzędzie do tworzenia stron internetowych 0.5.0
widżety HTML 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iteratory 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr (narzędzie do generowania dynamicznych raportów w R) 1,30
Etykietowanie 0.4.2 później 1.1.0.1 krata 0.20-41
lawa 1.6.8.1 opóźnienie 0.2.2 cykl życia 0.2.0
nasłuchiwanie 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 MASA 7.3-53.1 Macierz 1.3-2
zapamiętywanie 1.1.0 metody 4.0.4 mgcv 1.8-33
mim 0,9 Metryki modelu 1.2.2.2 modeler 0.1.8
munsell 0.5.0 nlme 3.1-152 sieć neuronowa (nnet) 7.3-15
numDeriv 2016.8-1.1 openssl 1.4.3 równoległy 4.0.4
równolegle 1.22.0 filar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 pochwała 1.0.0 prettyunits 1.1.1
Proc 1.16.2 Procesx 3.4.5 prodlim 2019.11.13
Postęp 1.2.2 Obietnice 1.1.1 Proto 1.0.0
PS 1.5.0 mruczenie 0.3.4 r2d3 0.2.3
R6 2.5.0 "randomForest" 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
czytnik 1.4.0 readxl (biblioteka do odczytu plików Excel) 1.3.1 przepisy 0.1.15
rewanż 1.0.1 rewanż 2 2.1.2 Piloty zdalnego sterowania 2.2.0
przykład powtarzalny 0.3.0 zmień kształt2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown (narzędzie do tworzenia dokumentów w R) 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
wersje R 2.0.2 rvest 0.3.6 waga 1.1.1
selektor 0.4-2 informacje o sesji 1.1.1 kształt 1.4.5
błyszczący 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 przestrzenny 7.3-11 Splajnów 4.0.4
sqldf 0.4-11 KWADRAT 2020.5 Statystyki 4.0.4
statystyki4 4.0.4 łańcuchy 1.5.3 stringr 1.4.0
przetrwanie 3.2-7 sys 3.4 tcltk 4.0.4
PokazyNauczania 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
czasData 3043.102 tinytex 0,28 narzędzia 4.0.4
użyjtego 2.0.0 utf8 1.1.4 narzędzia 4.0.4
UUID (Uniwersalnie Unikalny Identyfikator) 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 wąs 0,4 Withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
Xtable 1.8-4 yaml 2.2.1 suwak 2.1.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-automatyczne-skalowanie 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm (zestaw narzędzi Java dla usługi CloudHSM) 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy (biblioteka do zarządzania wdrażaniem kodu w AWS) 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config (konfiguracja aws-java-sdk) 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect (pakiet narzędzi programistycznych dla Java do współpracy z AWS Direct Connect) 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr (biblioteka SDK Java dla usługi Amazon EMR) 1.11.655
com.amazonaws AWS Java SDK dla Glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws AWS-Java-SDK-ImportExport 1.11.655
com.amazonaws AWS SDK dla Javy - Kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-uczenie-maszynowe 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds (pakiet programistyczny Java dla AWS RDS) 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts (pakiet programistyczny Java dla AWS STS) 1.11.655
com.amazonaws wsparcie dla aws-java-sdk 1.11.655
com.amazonaws aws-java-sdk-swf-biblioteki 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics odtwarzać strumieniowo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kriogeniczno-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core adnotacje Jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat Jackson-format-danych-CBOR 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib rdzeń 1.1.2
com.github.fommil.netlib natywne_odniesienie-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib natywny_system java 1.1
com.github.fommil.netlib system natywny-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib "netlib-native_system-linux-x86_64-natives" 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guawa 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.WYDANIE
com.lihaoyi kodźródłowy_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK do przechowywania danych Azure Data Lake) 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf (biblioteka do kompresji danych) 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses soczewki_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfiguracja 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednoznaczności 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
Zbiory Commons Zbiory Commons 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
wspólne przesyłanie plików wspólne przesyłanie plików 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift kompresor powietrza 0.10
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metryki-kontrola zdrowia 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metryki w formacie JSON 4.1.1
io.dropwizard.metrics metryki-JVM 4.1.1
io.dropwizard.metrics serwlety metryczne 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx moduł zbierający 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
\ jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction interfejs programistyczny transakcji 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
drzewa Maven hive-2.3__hadoop-2.7 liball_deps_2.12
net.razorvine pirolit 4:30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake SDK do pobierania danych Snowflake 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc (niedostępne w lokalnym języku) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr Szablon łańcucha 3.2.1
org.apache.ant mrówka 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant program uruchamiający Ant 1.9.2
org.apache.arrow format strzałki 2.0.0
org.apache.arrow strzałka-pamięć-rdzeń 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow wektor strzałki 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-tekst 1.6
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-klient 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop Hadoop-HDFS (Hadoop Distributed File System) 2.7.4
org.apache.hadoop Klient aplikacji Hadoop MapReduce 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle (moduł mieszający klienta w Hadoop MapReduce) 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client (klient Hadoop YARN) 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common (Wspólne komponenty serwera Hadoop YARN) 2.7.4
org.apache.hive hive-beeline (narzędzie do interakcji z bazą danych Hive) 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive Klient hive-llap 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive magazyn metadanych Hive 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive podkładki hive 2.3.7
org.apache.hive hive-storage-api (interfejs do przechowywania danych hive) 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims harmonogram osłon/imitacji ula 2.3.7
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy bluszcz 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc podkładki orc-shim 1.5.12
org.apache.parquet parquet-kolumna 1.10.1-databricks9
org.apache.parquet parquet-wspólny 1.10.1-databricks9
org.apache.parquet kodowanie Parquet 1.10.1-databricks9
org.apache.parquet format Parquet 2.4.0
org.apache.parquet Parquet-Hadoop (framework do analizy danych) 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity szybkość pracy 1.5
org.apache.xbean xbean-asm7-cieniowany 4.15
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. opiekun zwierząt 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapujący-ASL 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino Komponent kompilatora commons 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-kontynuacja 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty Jetty-plus 9.4.36.v20210114
org.eclipse.jetty serwer pośredniczący Jetty 9.4.36.v20210114
org.eclipse.jetty moduł bezpieczeństwa Jetty 9.4.36.v20210114
org.eclipse.jetty Jetty Server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty Jetty-aplikacja internetowa 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-lokalizator-zasobów 1.0.3
org.glassfish.hk2.external aopalliance-zapakowane ponownie 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers serwlet kontenerowy Jersey 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core dzianina-zwykła 2.30
org.glassfish.jersey.core serwer jersey 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media - "jersey-media-jaxb" не wymaga tłumaczenia, gdyż jest to nazwa techniczna, ale dla polskich odbiorców warto dodać opis lub kontynuować bez zmian, jeżeli nazwa już jako taka przyjęła się w lokalnym użyciu. 2.30
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0 Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging (narzędzie do rejestrowania zdarzeń w JBoss) 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Podkładki regulacyjne 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark Nieużywane 1.0.0
org.springframework spring-core (podstawowy moduł Spring) 4.1.4.WYDANIE
org.springframework test sprężynowy 4.1.4.WYDANIE
org.threeten ThreeTen Extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinista_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
oprogramowanie.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc (standard szyfrowania XML) xmlenc (standard szyfrowania XML) 0.52
  • Last updated on