Udostępnij przez

Databricks Runtime 4.0 (EoS)

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Usługa Databricks wydała tę wersję w marcu 2018 roku.

Ważne

Ta wersja została uznana za przestarzałą 1 listopada 2018 r. Aby uzyskać więcej informacji na temat zasad i harmonogramu wycofywania środowiska Databricks Runtime, zobacz Cykl życia wsparcia Databricks.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 4.0 obsługiwanym przez platformę Apache Spark.

Zmiany i ulepszenia

  • Źródło danych JSON próbuje teraz automatycznie wykrywać kodowanie zamiast zakładać, że ma on być utF-8. W przypadkach, gdy automatyczne wykrywanie nie powiedzie się, użytkownicy mogą określić opcję zestawu znaków, aby wymusić określone kodowanie. Zobacz Automatyczne wykrywanie zestawu znaków.
  • Ocenianie i przewidywanie przy użyciu potoków Spark MLlib w strumieniu strukturalnym jest w pełni obsługiwane.
  • Eksportowanie modeli uczenia maszynowego w usłudze Databricks jest w pełni obsługiwane. Dzięki tej funkcji możesz wytrenować model MLlib platformy Spark w usłudze Databricks, wyeksportować go za pomocą wywołania funkcji i użyć biblioteki usługi Databricks w wybranym systemie, aby zaimportować model i ocenić nowe dane.
  • Nowa implementacja źródła danych Platformy Spark oferuje skalowalny dostęp do odczytu/zapisu w usłudze Azure Synapse Analytics. Zobacz Spark — Łącznik usługi Synapse Analytics.
  • Schemat from_json funkcji jest teraz zawsze konwertowany na wartość null. Innymi słowy, wszystkie pola, w tym zagnieżdżone, mogą mieć wartość null. Dzięki temu dane są zgodne ze schematem, uniemożliwiając uszkodzenie po zapisaniu danych do parquet, gdy brakuje pola w danych, a schemat dostarczony przez użytkownika deklaruje pole jako niepuste.
  • Uaktualniono niektóre zainstalowane biblioteki języka Python:
    • futures: od 3.1.1 do 3.2.0
    • pandas: od 0.18.1 do 0.19.2
    • pyarrow: od 0.4.1 do 0.8.0
    • setuptools: od 38.2.3 do 38.5.1
    • tornado: od 4.5.2 do 4.5.3
  • Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.
  • Uaktualniono zestaw AWS Java SDK z wersji 1.11.126 do wersji 1.11.253.
  • Uaktualniono sterownik JDBC programu SQL Server z wersji 6.1.0.jre8 do 6.2.2.jre8.
  • Uaktualniono sterownik PostgreSQL JDBC z wersji 9.4-1204-jdbc41 do wersji 42.1.4.

Apache Spark

Środowisko Databricks Runtime 4.0 obejmuje platformę Apache Spark 2.3.0.

Core, PySpark i Spark SQL

Główne funkcje

  • Wektoryzowany czytnik ORC: [SPARK-16060]: Dodaje obsługę nowego czytnika ORC, który znacznie poprawia przepływność skanowania ORC poprzez wektoryzacja (2–5x). Aby włączyć czytelnika, użytkownicy mogą ustawić wartość spark.sql.orc.implnative.
  • Serwer historii platformy Spark w wersji 2: [SPARK-18085]: nowy serwer historii platformy Spark (SHS), który zapewnia lepszą skalowalność dla aplikacji na dużą skalę z bardziej wydajnym mechanizmem przechowywania zdarzeń.
  • Interfejs API źródła danych w wersji 2: [SPARK-15689][SPARK-22386]: eksperymentalny interfejs API umożliwiający podłączanie nowych źródeł danych na platformie Spark. Nowy interfejs API próbuje rozwiązać kilka ograniczeń interfejsu API w wersji 1 i ma na celu ułatwienie tworzenia wysoce wydajnych, łatwych w obsłudze i rozszerzalnych zewnętrznych źródeł danych. Ten interfejs API jest nadal w trakcie aktywnego opracowywania i należy oczekiwać zmian, które mogą wpłynąć na kompatybilność.
  • Ulepszenia wydajności PySpark: [SPARK-22216][SPARK-21187]: Znaczne ulepszenia wydajności i współdziałania języka Python dzięki szybkiej serializacji danych i wektoryzacji wykonywania.

Wydajność i stabilność

Inne istotne zmiany

Przesyłanie strumieniowe ze strukturą

Ciągłe przetwarzanie

  • Nowy aparat wykonawczy, który może wykonywać zapytania strumieniowe z opóźnieniem end-to-end poniżej milisekundy, poprzez zmianę tylko jednej linii kodu użytkownika. Aby dowiedzieć się więcej, zobacz przewodnik programowania.

Połączenia strumień-strumień

  • Możliwość łączenia dwóch strumieni danych, buforowania wierszy do momentu nadejścia pasujących tupli w drugim strumieniu. Predykaty mogą być używane w kolumnach czasu zdarzenia w celu ograniczenia ilości stanu, który należy zachować.

Interfejs API przesyłania strumieniowego w wersji 2

  • Eksperymentalny interfejs API do podłączania nowych źródeł i odbiorników, który działa w przypadku przetwarzania wsadowego, mikrosadowego i ciągłego. Ten interfejs API jest nadal w trakcie aktywnego opracowywania, a zmiany powodujące niezgodność powinny być oczekiwane.

MLlib

Podkreśla

  • Przewidywanie uczenia maszynowego działa teraz z ustrukturalizowanym przesyłaniem strumieniowym, za pomocą zaktualizowanych interfejsów API. Szczegółowe informacje są następujące.

Nowe i ulepszone interfejsy API

  • [SPARK-21866]: Wbudowana obsługa odczytywania obrazów w ramce danych (Scala/Java/Python).
  • [SPARK-19634]: Funkcje DataFrame dla statystyk opisowych dla kolumn wektorów (Scala/Java).
  • [SPARK-14516]: ClusteringEvaluator dostrajania algorytmów klastrowania, obsługujące sylwetkę Cosine i kwadratowe metryki sylwetki Euklidesa (Scala/Java/Python).
  • [SPARK-3181]: Niezawodna regresja liniowa z utratą hubera (Scala/Java/Python).
  • [SPARK-13969]: FeatureHasher transformer (Scala/Java/Python).
  • Obsługa wielu kolumn dla kilku transformatorów funkcji:
  • [SPARK-21633] i SPARK-21542]: Ulepszona obsługa niestandardowych komponentów potoków w Pythonie.

Nowe funkcje

  • [SPARK-21087]: CrossValidator i TrainValidationSplit może zbierać wszystkie modele podczas dopasowywania (Scala/Java). Pozwala to na sprawdzenie lub zapisanie wszystkich dopasowanych modeli.
  • [SPARK-19357]: Meta-algorytmy CrossValidator, TrainValidationSplit, OneVsRest obsługują parametr równoległości do dopasowywania wielu modeli podrzędnych w równoległych zadaniach platformy Spark.
  • [SPARK-17139]: Podsumowanie modelu dla regresji logistycznej wielomianowej (Scala/Java/Python)
  • [SPARK-18710]: Dodaj przesunięcie w GLM.
  • [SPARK-20199]: Dodano featureSubsetStrategy parametr do GBTClassifier i GBTRegressor. Użycie tego do podpróbkowania może znacznie poprawić szybkość trenowania; ta opcja była kluczową siłą xgboost.

Inne istotne zmiany

  • [SPARK-22156]: Stałe Word2Vec skalowanie szybkości nauki przy użyciu num iteracji. Nowy wskaźnik uczenia jest zgodny z oryginalnym Word2Vec kodem języka C i powinien zapewnić lepsze wyniki z trenowania.
  • [SPARK-22289]: Dodano JSON obsługę parametrów macierzy (Naprawiono błąd dotyczący trwałości uczenia maszynowego LogisticRegressionModel przy użyciu granic współczynników).
  • [SPARK-22700]: Bucketizer.transform niepoprawnie porzuca wiersz zawierający NaN. Gdy parametr handleInvalid został ustawiony na "skip", Bucketizer pomijałby wiersz z prawidłową wartością w kolumnie wejściowej NaN, jeśli inna kolumna, która nie ma wpływu na działanie, zawierała wartość.
  • [SPARK-22446]: Optymalizator Catalyst czasami spowodował StringIndexerModel zgłoszenie nieprawidłowego wyjątku "Nieznana etykieta", gdy handleInvalid ustawiono wartość "błąd". Może się to zdarzyć w przypadku przefiltrowanych danych z powodu przesuwania predykatu, co powoduje błędy nawet po odfiltrowaniu nieprawidłowych wierszy z wejściowego zestawu danych.
  • [SPARK-21681]: Naprawiono usterkę przypadku krawędzi w regresji logistycznej wielomianowej, która spowodowała nieprawidłowe współczynniki, gdy niektóre funkcje miały zero wariancji.
  • Główne optymalizacje:
    • [SPARK-22707]: Zmniejszone zużycie pamięci dla programu CrossValidator.
    • [SPARK-22949]: Zmniejszone zużycie pamięci dla programu TrainValidationSplit.
    • [SPARK-21690]: Imputer powinien trenować przy użyciu jednokrotnego przejścia przez dane.
    • [SPARK-14371]: OnlineLDAOptimizer unika przekazywania statystyk do węzła sterującego dla każdej mini partii.

SparkR

Głównym celem SparkR w wersji 2.3.0 było poprawienie stabilności UDF (funkcji zdefiniowanych przez użytkownika) oraz dodanie kilku nowych opakować SparkR dla istniejących interfejsów API.

Główne funkcje

GraphX

Optymalizacje

  • [SPARK-5484]: Punkty kontrolne Pregel są tworzone okresowo, aby uniknąć StackOverflowErrors.
  • [SPARK-21491]: Niewielka poprawa wydajności w kilku miejscach.

Elementy wycofywane z użytku

Pyton

  • [SPARK-23122]: Wycofanie register* dla UDF w SQLContext i Catalog w PySpark

MLlib

  • [SPARK-13030]: OneHotEncoder został przestarzały i zostanie usunięty w wersji 3.0. Został on zastąpiony przez nowy OneHotEncoderEstimatorelement . OneHotEncoderEstimator nazwa zostanie zmieniona na OneHotEncoder w wersji 3.0 (ale OneHotEncoderEstimator będzie przechowywana jako alias).

Zmiany zachowania

SparkSQL

  • [SPARK-22036]: Domyślnie operacje arytmetyczne między liczbami dziesiętnymi zwracają zaokrągloną wartość, jeśli dokładna reprezentacja nie jest możliwa (zamiast zwracać NULL w poprzednich wersjach)
  • [SPARK-22937]: Gdy wszystkie dane wejściowe są binarne, program SQL elt() zwraca dane wyjściowe jako binarne. W przeciwnym razie zwraca wartość jako ciąg. W poprzednich wersjach zawsze zwracany był jako ciąg niezależnie od typów danych wejściowych.
  • [SPARK-22895]: Predykaty deterministyczne łączenia/filtru, które znajdują się po pierwszych predykatach niedeterministycznych, są również przenoszone przez operatory podrzędne, jeśli to możliwe. W poprzednich wersjach te filtry nie kwalifikowały się do wypychania predykatu.
  • [SPARK-22771]: Gdy wszystkie dane wejściowe są binarne, functions.concat() zwraca dane wyjściowe jako binarne. W przeciwnym razie zwraca wartość jako ciąg. W poprzednich wersjach zawsze zwracany był jako ciąg niezależnie od typów danych wejściowych.
  • [SPARK-22489]: Jeśli któraś ze stron sprzężenia jest możliwa do rozgłoszenia, preferujemy rozgłaszać tabelę, która jest jawnie określona w wskazówce dotyczącej rozgłaszania.
  • [SPARK-22165]: Wnioskowanie dotyczące kolumn partycji wcześniej identyfikowało niepoprawny wspólny typ dla różnych typów wnioskowanych. Na przykład wcześniej zakończyło się to typem double jako wspólnym typem dla double i date. Teraz znajduje prawidłowy wspólny typ dla takich konfliktów. Aby uzyskać szczegółowe informacje, zobacz przewodnik po migracji.
  • [SPARK-22100]: Funkcja wcześniej akceptowała dane wejściowe typu percentile_approx i generowała wyniki typu numeric. Teraz obsługuje date typ, timestamp typ i numeric typy jako typy wejściowe. Typ wyniku jest również zmieniany tak samo jak typ danych wejściowych, co jest bardziej uzasadnione dla percentyli.
  • [SPARK-21610]: zapytania z nieprzetworzonych plików JSON/CSV są niedozwolone, gdy przywoływane kolumny zawierają tylko wewnętrzną uszkodzoną kolumnę rekordu (nazwaną _corrupt_record domyślnie). Zamiast tego możesz buforować lub zapisywać przeanalizowane wyniki, a następnie wysyłać to samo zapytanie.
  • [SPARK-23421]: Od wersji Spark 2.2.1 i 2.3.0 schemat jest zawsze wnioskowany w czasie wykonywania, gdy tabele źródła danych mają kolumny występujące zarówno w schemacie partycji, jak i w schemacie danych. Wywnioskowany schemat nie zawiera kolumn partycjonowanych. Podczas odczytywania tabeli platforma Spark uwzględnia wartości partycji tych nakładających się kolumn zamiast wartości przechowywanych w plikach źródła danych. W wersji 2.2.0 i 2.1.x wnioskowany schemat jest partycjonowany, ale dane tabeli są niewidoczne dla użytkowników (tj. zestaw wyników jest pusty).

PySpark

  • [SPARK-19732]: na.fill() lub fillna akceptuje booleany i zastępuje wartości null booleanami. W poprzednich wersjach platformy Spark narzędzie PySpark po prostu je ignoruje i zwraca oryginalny zestaw danych/ramkę danych.
  • [SPARK-22395]: biblioteka pandas 0.19.2 lub górna jest wymagana do korzystania z funkcji związanych z biblioteką pandas, takich jak toPandas, createDataFrame z ramki danych biblioteki pandas itp.
  • [SPARK-22395]: Zachowanie wartości znacznika czasu dla funkcji związanych z biblioteką pandas zostało zmienione w celu poszanowania strefy czasowej sesji, która jest ignorowana w poprzednich wersjach.
  • [SPARK-23328]: df.replace nie pozwala pominąć value , gdy to_replace nie jest słownikiem. Wcześniej value mogło być pominięte w innych przypadkach i miało None domyślnie, co jest sprzeczne z intuicją i podatne na błędy.

MLlib

  • Istotne zmiany interfejsu API: zmieniono hierarchię klas i cech dla podsumowań modelu regresji logistycznej, aby były czystsze i lepiej uwzględniały dodanie podsumowania wieloklasowego. Jest to zmiana powodująca problemy z kompatybilnością w kodzie użytkownika, który rzutuje element LogisticRegressionTrainingSummary na wartość BinaryLogisticRegressionTrainingSummary. Użytkownicy powinni zamiast tego użyć model.binarySummary metody . Zobacz [SPARK-17139]: aby uzyskać więcej szczegółów (zwróć uwagę, że to jest interfejs API). Nie ma to wpływu na metodę podsumowania języka Python, która nadal będzie działać poprawnie zarówno w przypadku przypadków wielomianowych, jak i binarnych.
  • [SPARK-21806]: BinaryClassificationMetrics.pr(): pierwszy punkt (0.0, 1.0) jest mylący i został zastąpiony przez (0.0, p), gdzie precyzja p odpowiada najniższemu punktowi czułości.
  • [SPARK-16957]: Drzewa decyzyjne używają teraz ważonych punktów środkowych podczas wybierania wartości podzielonych. Może to spowodować zmianę wyników uczenia modelu.
  • [SPARK-14657]: RFormula bez przechwycenia teraz wyprowadza kategorię referencyjną podczas kodowania terminów ciągu w celu dopasowania do natywnego zachowania języka R. Może to spowodować zmianę wyników uczenia modelu.
  • [SPARK-21027]: Domyślna równoległość używana w OneVsRest jest teraz ustawiona na 1 (tj. szeregowa). We wcześniejszych wersjach, w tym 2.2, poziom równoległości został ustawiony na domyślny rozmiar puli wątków w języku Scala. Może to zmienić wydajność.
  • [SPARK-21523]: Uaktualniono Breeze do 0.13.2. Obejmowało to ważną poprawkę błędu w silnej metodzie wyszukiwania linii Wolfe dla L-BFGS.
  • [SPARK-15526]: Zależność JPMML jest teraz cieniowana.
  • Zobacz również sekcję "Poprawki błędów", aby uzyskać informacje o zmianach zachowania wynikających z naprawiania usterek.

Znane problemy

  • [SPARK-23523][SQL]: Nieprawidłowy wynik spowodowany przez regułę OptimizeMetadataOnlyQuery.
  • [SPARK-23406]: Usterki w sprzężeniach strumień-strumień.

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji dla środowiska Databricks Runtime 4.0.

Środowisko systemu

  • System operacyjny: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_151
  • Scala: 2.11.8
  • Python: 2.7.12 (lub 3.5.2, jeśli używasz języka Python 3)
  • R: R w wersji 3.4.3 (2017-11-30)
  • Klastry procesora GPU: zainstalowane są następujące biblioteki procesora GPU FIRMY NVIDIA:
    • Kierowca Tesla 375.66
    • CUDA 8.0
    • CUDNN 6.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
ansi2html 1.1.1 argparse (biblioteka do analizy argumentów w Pythonie) 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certyfikat 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
kryptografia 1.5 rowerzysta 0.10.0 Cython 0.24.1
dekorator 4.0.10 docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 kontrakty terminowe 3.2.0 ggplot 0.6.8
html5lib 0,999 IDNA 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml jest biblioteką do analizy XML i HTML. 3.6.4 MarkupSafe 0.23 biblioteka matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
pexpect 4.0.1 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.4 Poduszka 3.3.1
pip (menedżer pakietów Pythona) 9.0.1 warstwa 3.9 zestaw narzędzi prompt 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing – biblioteka do przetwarzania tekstu w Pythonie 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil (biblioteka Pythona do zarządzania datami) 2.5.3 python-geohash 0.8.5 pytz (biblioteka Pythona do obliczeń stref czasowych) 1.06.2016
żądania 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy (biblioteka naukowa dla Pythona) 0.18.1 Przeszukać 0.32 urodzony na morzu 0.7.1
setuptools 38.5.1 simplejson 3.8.2 simples3 1.0
singledispatch (pojedyncze wywołanie) 3.4.0.3 Sześć 1.10.0 statsmodels - biblioteka do modelowania statystycznego 0.6.1
tornado 4.5.3 traitlety 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 szerokość(wcwidth) 0.1.7 wheel 0.30.0
wsgiref 0.1.2

Zainstalowane biblioteki języka R

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
abind (funkcja w programowaniu) 1.4-5 potwierdzić to 0.2.0 portowanie wsteczne 1.1.1
baza 3.4.3 BH 1.65.0-1 bindr 0.1
bindrcpp 0,2 odrobina 1.1-12 bit-64 0.9-7
bitops 1.0-6 blob 1.1.0 uruchomienie 1.3-20
warzyć 1.0-6 miotła 0.4.3 samochód 2.1-6
karetka 6.0-77 Chroń 2.3-51 klasa 7.3-14
klaster 2.0.6 codetools 0,2-15 przestrzeń kolorów 1.3-2
commonmark 1.4 kompilator 3.4.3 kredka 1.3.4
kręcić się 3.0 Zakrzepica żył mózgowych (CVST) 0.2-1 tabela danych 1.10.4-3
zbiory danych 3.4.3 DBI 0,7 ddalpha 1.3.1
DEoptimR 1.0-8 Opis 1.1.1 devtools 1.13.4
dichromata 2.0-0 skrót 0.6.12 dimRed 0.1.0
DoMC 1.3.4 dplyr 0.7.4 Odzyskiwanie po katastrofie 0.0.2
foreach 1.4.3 zagraniczny 0.8-69 Gbm 2.1.3
ggplot2 2.2.1 git2r 0.19.0 glmnet 2.0-13
klej 1.2.0 Gower 0.1.2 grafika 3.4.3
grDevices 3.4.3 siatka 3.4.3 gsubfn 0.6-6
gtabela 0.2.0 H2O 3.16.0.1 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
Iteratory 1.0.8 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 Etykietowanie 0,3 krata 0.20-35
lawa 1.5.1 opóźnienie 0.2.1 mniejszy 0.3.2
lme4 1.1-14 lubridate 1.7.1 magrittr 1.5
mapproj 1.2-5 Mapy 3.2.0 MASA 7.3-48
Macierz 1.2-11 MatrixModels 0.4-1 zapamiętywanie 1.1.0
metody 3.4.3 mgcv 1.8-23 mim 0,5
minqa 1.2.4 mnormt 1.5-5 Metryki modelu 1.1.0
munsell 0.4.3 mvtnorm 1.0-6 nlme 3.1-131
nloptr 1.0.4 sieć neuronowa (nnet) 7.3-12 numDeriv 2016.8-1
openssl 0.9.9 równoległy 3.4.3 pbkrtest 0.4-7
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.1-1
plyr 1.8.4 pochwała 1.0.0 Proc 1.10.0
prodlim 1.6.1 Proto 1.0.0 Psych 1.7.8
mruczenie 0.2.4 quantreg 5.34 R.methodsS3 1.7.1
R.oo 1.21.0 R.utils 2.6.0 R6 2.2.2
"randomForest" 4.6-12 RColorBrewer 1.1-2 Rcpp 0.12.14
RcppEigen 0.3.3.3.1 RcppRoll 0.2.2 RCurl 1.95-4.8
przepisy 0.1.1 zmień kształt2 1.4.2 rlang 0.1.4
robustbase 0.92-8 RODBC 1.3-15 roxygen2 6.0.1
rpart 4.1-12 rprojroot 1.2 Rserve 1.7-3
RSQLite 2.0 rstudioapi 0,7 waga 0.5.0
sfsmisc 1.1-1 Sp 1.2-5 SparkR 2.3.0
Rozrzednia 1.77 przestrzenny 7.3-11 Splajny 3.4.3
sqldf 0.4-11 statmod 1.4.30 Statystyki 3.4.3
statystyki4 3.4.3 łańcuchy 1.1.6 stringr 1.2.0
przetrwanie 2.41-3 tcltk 3.4.3 Demonstarcje nauczania 2.10
testthat 1.0.2 tibble 1.3.4 tidyr 0.7.2
tidyselect 0.2.3 czasData 3042.101 narzędzia 3.4.3
narzędzia 3.4.3 viridisLite 0.2.0 wąs/wibrys 0.3-2
Withr 2.1.0 xml2 1.1.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws Klient Amazon Kinesis 1.7.3
com.amazonaws aws-java-sdk-automatyczne-skalowanie 1.11.253
com.amazonaws aws-java-sdk-cloudformation 1.11.253
com.amazonaws aws-java-sdk-cloudfront 1.11.253
com.amazonaws aws-java-sdk-cloudhsm (zestaw narzędzi Java dla usługi CloudHSM) 1.11.253
com.amazonaws aws-java-sdk-cloudsearch 1.11.253
com.amazonaws aws-java-sdk-cloudtrail 1.11.253
com.amazonaws aws-java-sdk-cloudwatch 1.11.253
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.253
com.amazonaws aws-java-sdk-codedeploy (biblioteka do zarządzania wdrażaniem kodu w AWS) 1.11.253
com.amazonaws aws-java-sdk-cognitoidentity 1.11.253
com.amazonaws aws-java-sdk-cognitosync 1.11.253
com.amazonaws aws-java-sdk-config (konfiguracja aws-java-sdk) 1.11.253
com.amazonaws aws-java-sdk-core 1.11.253
com.amazonaws aws-java-sdk-datapipeline 1.11.253
com.amazonaws aws-java-sdk-directconnect (pakiet narzędzi programistycznych dla Java do współpracy z AWS Direct Connect) 1.11.253
com.amazonaws aws-java-sdk-directory 1.11.253
com.amazonaws aws-java-sdk-dynamodb 1.11.253
com.amazonaws aws-java-sdk-ec2 1.11.253
com.amazonaws aws-java-sdk-ecs 1.11.253
com.amazonaws aws-java-sdk-efs 1.11.253
com.amazonaws aws-java-sdk-elasticache 1.11.253
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.253
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.253
com.amazonaws aws-java-sdk-elastictranscoder 1.11.253
com.amazonaws aws-java-sdk-emr (biblioteka SDK Java dla usługi Amazon EMR) 1.11.253
com.amazonaws AWS Java SDK dla Glacier 1.11.253
com.amazonaws aws-java-sdk-iam 1.11.253
com.amazonaws AWS-Java-SDK-ImportExport 1.11.253
com.amazonaws AWS SDK dla Javy - Kinesis 1.11.253
com.amazonaws aws-java-sdk-kms 1.11.253
com.amazonaws aws-java-sdk-lambda 1.11.253
com.amazonaws aws-java-sdk-logs 1.11.253
com.amazonaws aws-java-sdk-uczenie-maszynowe 1.11.253
com.amazonaws aws-java-sdk-opsworks 1.11.253
com.amazonaws aws-java-sdk-rds (pakiet programistyczny Java dla AWS RDS) 1.11.253
com.amazonaws aws-java-sdk-redshift 1.11.253
com.amazonaws aws-java-sdk-route53 1.11.253
com.amazonaws aws-java-sdk-s3 1.11.253
com.amazonaws aws-java-sdk-ses 1.11.253
com.amazonaws aws-java-sdk-simpledb 1.11.253
com.amazonaws aws-java-sdk-simpleworkflow 1.11.253
com.amazonaws aws-java-sdk-sns 1.11.253
com.amazonaws aws-java-sdk-sqs 1.11.253
com.amazonaws aws-java-sdk-ssm 1.11.253
com.amazonaws aws-java-sdk-storagegateway 1.11.253
com.amazonaws aws-java-sdk-sts (pakiet programistyczny Java dla AWS STS) 1.11.253
com.amazonaws wsparcie dla aws-java-sdk 1.11.253
com.amazonaws aws-java-sdk-swf-biblioteki 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.253
com.amazonaws jmespath-java 1.11.253
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics odtwarzać strumieniowo 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.3.0-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb kompilatorwtyczka_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kriogenicznie zacienione 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.0.0
com.fasterxml.jackson.core Adnotacje Jackson 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat Jackson-format-danych-CBOR 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib rdzeń 1.1.2
com.github.fommil.netlib natywne_odniesienie-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib natywny_system java 1.1
com.github.fommil.netlib system natywny-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib "netlib-native_system-linux-x86_64-natives" 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guawa 15,0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.WYDANIE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk (SDK do przechowywania danych Azure Data Lake) 2.0.11
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf (biblioteka do kompresji danych) 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter relaks_2.11 0.8.4
com.twitter pakiet parquet-hadoop 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe konfiguracja 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity parsery jednoznaczności 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
Zbiory Commons Zbiory Commons 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2,2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift sprężarka powietrza 0,8
io.dropwizard.metrics metryki —rdzeń 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metryki-kontrole zdrowia 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metryki w formacie JSON 3.1.5
io.dropwizard.metrics metryki-JVM 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics serwlety metriki-servlety 3.1.5
io.netty Netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx moduł zbierający 0,7
javax.activation aktywacja 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pirolit 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr Szablon łańcucha 3.2.1
org.apache.ant mrówka 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant program uruchamiający Ant 1.9.2
org.apache.arrow format strzałki 0.8.0
org.apache.arrow pamięć typu arrow 0.8.0
org.apache.arrow wektor strzałki 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0 w fazie inkubacji
org.apache.calcite rdzeń kalcytowy 1.2.0 w fazie inkubacji
org.apache.calcite calcite-linq4j 1.2.0 w fazie inkubacji
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-klient 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop Hadoop-HDFS (Hadoop Distributed File System) 2.7.3
org.apache.hadoop Klient aplikacji Hadoop MapReduce 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle (moduł mieszający klienta w Hadoop MapReduce) 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client (klient Hadoop YARN) 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common (Wspólne komponenty serwera Hadoop YARN) 2.7.3
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy bluszcz 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet kolumna Parquet 1.8.2-databricks1
org.apache.parquet parquet-wspólny 1.8.2-databricks1
org.apache.parquet kodowanie w formacie Parquet 1.8.2-databricks1
org.apache.parquet format Parquet 2.3.1
org.apache.parquet Parquet-Hadoop (framework do analizy danych) 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-cieniowany 4.4
org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. opiekun zwierząt 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapujący-ASL 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-kompilator 3.0.8
org.codehaus.janino Janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-kontynuacja 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty Jetty-plus 9.3.20.v20170531
org.eclipse.jetty serwer pośredniczący Jetty 9.3.20.v20170531
org.eclipse.jetty moduł bezpieczeństwa Jetty 9.3.20.v20170531
org.eclipse.jetty serwer Jetty 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty Jetty-aplikacja internetowa 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 lokalizator hk2 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-lokalizator-zasobów 1.0.1
org.glassfish.hk2.external aopalliance-zapakowane ponownie 2.4.0-b34
org.glassfish.hk2.external javax.inject (pakiet w języku Java) 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guawa 2.22.2
org.glassfish.jersey.containers serwlet kontenerowy Jersey 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core dzianina-zwykła 2.22.2
org.glassfish.jersey.core serwer jersey 2.22.2
org.glassfish.jersey.media - "jersey-media-jaxb" не wymaga tłumaczenia, gdyż jest to nazwa techniczna, ale dla polskich odbiorców warto dodać opis lub kontynuować bez zmian, jeżeli nazwa już jako taka przyjęła się w lokalnym użyciu. 2.22.2
org.hibernate moduł sprawdzania poprawności hibernacji 5.1.1.Ostateczna
org.iq80.snappy Żwawy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging (narzędzie do rejestrowania zdarzeń w JBoss) 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline (narzędzie do interakcji z bazą danych Hive) 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive magazyn metadanych Hive 1.2.1.spark2
org.spark-project.spark.spark Nieużywane 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core (podstawowy moduł Spring) 4.1.4.WYDANIE
org.springframework test wiosenny 4.1.4.WYDANIE
org.tukaani xz 1.0
org.typelevel mechanik_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
oprogramowanie.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc (standard szyfrowania XML) xmlenc (standard szyfrowania XML) 0.52
  • Last updated on