Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Uwaga
Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Aby zapoznać się ze wszystkimi obsługiwanymi wersjami Databricks Runtime, zobacz notatki o wydaniu, wersje i zgodność środowiska Databricks Runtime.
Usługa Databricks wydała tę wersję w lipcu 2019 r. W sierpniu 2019 r. ogłoszono Długoterminowe Wsparcie Techniczne (LTS). Wsparcie zakończyło się 27 lipca 2021 r. Databricks Runtime 5.5 - wydanie z przedłużonym wsparciem (EoS) zostało wydane 8 lipca 2021 r. i przedłużono wsparcie wersji 5.5 do grudnia 2021 r. Używa systemu Ubuntu 18.04.5 LTS zamiast przestarzałej dystrybucji Ubuntu 16.04.6 LTS używanej w oryginalnym środowisku Databricks Runtime 5.5 LTS. Wsparcie systemu Ubuntu 16.04.6 LTS zakończyło się 1 kwietnia 2021 r.
Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 5.5 obsługiwanym przez platformę Apache Spark.
Nowe funkcje
Automatyczna optymalizacja Delta Lake na Azure Databricks
Obecnie podczas zapisywania danych w magazynie w chmurze należy skompaktować pliki w celu uzyskania optymalnej wydajności operacji we/wy. Musisz martwić się o odpowiedni rozmiar pliku, jak często kompaktować pliki, jak duży klaster do użycia itd. Aby rozwiązać ten problem, z przyjemnością ogłaszamy ogólną dostępność rozwiązania Auto Optimize with Delta Lake on Azure Databricks (Automatyczna optymalizacja za pomocą usługi Delta Lake w usłudze Azure Databricks). Podczas każdego zapisu w tabelach Delta automatycznie określamy odpowiednie rozmiary plików i kompaktujemy pliki, dzięki czemu nie musisz martwić się o optymalizację układu przechowywania. Podczas zapisu, jeśli opcja auto-optimize jest true, usługa Azure Databricks automatycznie określa, czy jest wymagana optymalizacja i optymalizuje małe pliki. Aby uzyskać szczegółowe informacje, zobacz Konfigurowanie usługi Delta Lake w celu kontrolowania rozmiaru pliku danych.
Delta Lake na Azure Databricks poprawiła wydajność zapytań agregacji min, max i liczby.
Wydajność zapytań agregacyjnych z użyciem funkcji min, max i liczba dla Delta Lake na platformie Azure Databricks została znacząco poprawiona dzięki zmniejszeniu ilości odczytywanych danych. Te zapytania są teraz uruchamiane przy użyciu statystyk i wartości partycji w metadanych, a nie skanowania danych.
Szybsze potoki przetwarzania modelu dzięki ulepszonemu źródłu danych plików binarnych i funkcji UDF z iteratorem skalarnym w pandas (wersja publiczna dostępna do wglądu)
Zadania uczenia maszynowego, szczególnie w domenie obrazu i wideo, często muszą działać na dużej liczbie plików. W środowisku Databricks Runtime 5.4 wprowadziliśmy źródło danych dla plików binarnych, aby ułatwić przetwarzanie ETL dowolnych plików, takich jak obrazy, do tabel platformy Spark. W środowisku Databricks Runtime 5.5 dodaliśmy opcję , recursiveFileLookupaby ładować pliki cyklicznie z zagnieżdżonych katalogów wejściowych. Zobacz Plik binarny.
Źródło danych pliku binarnego umożliwia równoległe wykonywanie zadań wnioskowania modelu z tabel Spark za pomocą skalarnej funkcji pandas UDF. Jednak może być konieczne zainicjowanie modelu dla każdej partii rekordów, co powoduje dodatkowe obciążenie. W Databricks Runtime 5.5 wprowadziliśmy z powrotem nowy typ funkcji UDF biblioteki pandas o nazwie „scalar iterator” z gałęzi głównej Apache Spark. Za jego pomocą można zainicjować model tylko raz i zastosować model do wielu partii wejściowych, co może spowodować przyspieszenie 2–3x dla modeli, takich jak ResNet50. Zobacz Seria do skalarnych UDF.
Interfejs API do zarządzania sekretami w notesach R
Interfejs Secrets API pozwala wprowadzać sekrety do notesów bez ich trwałego kodowania. Ten interfejs API jest teraz dostępny w notesach języka R oprócz istniejącej obsługi notesów języka Python i Scala. Możesz użyć funkcji dbutils.secrets.get do uzyskania tajemnic. Tajne informacje są redagowane przed wydrukowaniem do komórki notatnika.
Ulepszenia
- Obsługa uruchamiania operacji SQL usługi Delta Lake w języku Python
foreachBatch: usunęliśmy znane ograniczenie braku możliwości zapisywania w tabelach delty z poziomuforeachBatchzapytania przesyłania strumieniowego ze strukturą zdefiniowanego w języku Python. Jest to przydatne w typowych obciążeniach przesyłania strumieniowego języka Python; na przykład Zapisywanie agregacji przesyłania strumieniowego w trybie aktualizacji przy użyciu funkcji MERGE i foreachBatch. - Wydajność tabel Delta przechowywanych w usłudze Azure Data Lake Gen2: sprawdzanie najnowszej wersji tabeli Delta w usłudze ADLS polega teraz jedynie na sprawdzeniu końca dziennika transakcji, zamiast na wymienianiu wszystkich dostępnych wersji. Ta optymalizacja sprawia, że
UPDATEjest operacją o stałym czasie, co znacznie poprawia opóźnienie. - Skalowalność optymalizacji
ZORDER BY: Porządkowanie Z w bardzo dużych tabelach Delta teraz używa mniejszych jednostek pracy, które podlegają zaawansowanej kontroli dopuszczania. Ta funkcja poprawia stabilność tej operacji bez poświęcania wykorzystania klastra. - Zwiększona wydajność poleceń DML w tabelach z dużą liczbą kolumn: Teraz przeprowadzamy lepsze oczyszczanie kolumn podczas skanowania pod kątem pasujących danych w
UPDATE,DELETEiMERGEpoleceniach. - Obsługa konfiguracji VNet i punktów końcowych usługi na platformie Spark — łącznik usługi Synapse Analytics: dodaliśmy ścieżki usługi ADL Gen2 do listy dozwolonych jako lokalizacje danych tymczasowych (
.option("tempDir", "abfss://...") oraz dodaliśmy nową opcję o nazwieuseAzureMSI, która ma być używana zamiastforward_spark_azure_storage_credentialsw przypadku skonfigurowania usługi Synapse Analytics do uwierzytelniania za pośrednictwem tożsamości zarządzanych na koncie magazynu V2. - Automatyczne unieważnienie buforowania dysku: buforowanie dysku automatycznie wykrywa pliki, które zostały zmodyfikowane lub zastąpione po buforowaniu. Wszystkie nieaktualne wpisy są automatycznie unieważniane i usuwane z pamięci podręcznej. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks.
- Uaktualniono koło biblioteki języka Python z wersji 0.33.3 do 0.33.4.
- Uaktualniono bibliotekę języka R nlme z wersji 3.1-139 do 3.1-140.
Poprawki błędów
- Naprawiono anulowanie poleceń języka R, które nie uruchamiają zadań platformy Spark. Wcześniej polecenia języka R, które nie uruchamiają zadań platformy Spark, można anulować, ale stan notesów zostanie utracony; Polecenia można teraz anulować bez utraty stanu notesu.
- Usuwanie lub przenoszenie zarządzanej tabeli powoduje teraz unieważnienie buforowanego dziennika usługi Delta Lake.
- Usunięto usterkę, która mogła powodować niepowodzenie przy zapisywaniu punktu kontrolnego Delta Lake z powodu
FileAlreadyExistsException. - Scala REPL ustawia teraz właściwą flagę
-target:jvm-1.8do obsługi wywoływania metod Java korzystających z funkcji Java 8.
Apache Spark
Środowisko Databricks Runtime 5.5 obejmuje platformę Apache Spark 2.4.3. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 5.4 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:
- [SPARK-24695] Umożliwienie zwracania wartości typu CalendarInterval przez funkcje zdefiniowane przez użytkownika
- [SPARK-28056] dodaj docstring/doctest dla SCALAR_ITER w pandas UDF
- [SPARK-28185] Zamyka generator, gdy funkcje UDF Python przestaną działać przedwcześnie
- [SPARK-24703] Obsługa mnożenia interwałów
- [SPARK-27018][CORE] Naprawa nieprawidłowego usunięcia pliku kontrolnego w programie PeriodicCheckpointer
- [SPARK-28127][SQL] Mikrooptymalizacja metody mapChildren w TreeNode
- [SPARK-26038] Decimal doScalaBigInt/toJavaBigInteger dla typów Decimal, które nie mieszczą się w long
- [SPARK-26555][SQL] zabezpieczanie wątku sprawdzania podtypu scalaReflection
- [SPARK-28081][ML] Obsługa dużych wielkości słownika w word2vec
- [SPARK-21882][CORE] OutputMetrics nie zlicza poprawnie zapisanych bajtów w funkcji saveAsHadoopDataset
- [SPARK-28030] konwertowanie filePath na URI w źródle danych plików binarnych
- [SPARK-27803][SQL][PYTHON] Naprawa przycinania kolumn dla funkcji Pythona zdefiniowanej przez użytkownika
- [SPARK-27917][SQL] kanoniczna forma obiektu CaseWhen jest niepoprawna
- [SPARK-27798][SQL] from_avro nie powinna zwracać tej samej wartości podczas konwersji na relację lokalną
- [SPARK-27873][SQL] columnNameOfCorruptRecord nie należy porównywać z nazwami kolumn w nagłówku CSV podczas wyłączania egzekwowania schematu
- [SPARK-27907][SQL] HiveUDAF powinna zwracać wartość NULL w przypadku 0 wierszy
- [SPARK-27699][SQL] Częściowo przenieść w dół alternatywne predykaty w Parquet/ORC
- [SPARK-27868][CORE] Lepsza wartość domyślna i dokumentacja dla kolejki oczekujących połączeń serwera gniazd.
- [SPARK-27869][CORE] Usuwanie poufnych informacji z właściwości systemu w interfejsie użytkownika
- [SPARK-27863][SQL][BACKPORT-2.4] Pliki metadanych i pliki tymczasowe nie powinny być liczone jako pliki danych
- [SPARK-27657][ML] Napraw format dziennika funkcji ml.util.Instrumentation.logFai...
- [SPARK-27858][SQL] Poprawka dotycząca deserializacji Avro w typach unii z wieloma typami innych niż null
- [SPARK-27711][CORE] Wyłącz InputFileBlockHolder na końcu zadań
- [SPARK-27351][SQL] Nieprawidłowe oszacowanie liczby wierszy wyjściowych po oszacowaniu zagregowanego dla kolumny zawierającej tylko wartości null
- [SPARK-27539][SQL] Naprawa niedokładnego oszacowania liczby wierszy wyjściowych agregacji w kolumnie zawierającej wartości null
- [SPARK-27800][SQL] Naprawa nieprawidłowej odpowiedzi w przypadkach testowych BitwiseXor
- [SPARK-27639][SQL] InMemoryTableScan wyświetla nazwę tabeli w interfejsie użytkownika, jeśli to możliwe
- [SPARK-27726][CORE] Zwiększono wydajność usuwania przez ElementTrackingStore podczas korzystania ze sklepu InMemoryStore pod dużym obciążeniem.
- [SPARK-27771][SQL] Dodaj opis SQL dla funkcji grupowania (kostka, drążenie, grupowanie i grouping_id)
- [SPARK-27735][SS] Analizowanie ciągów czasowych powinno być niewrażliwe na wielkość liter w usłudze SS
- [SPARK-26856][PYSPARK] Obsługa języka Python dla interfejsów API from_avro i to_avro
- [SPARK-26870][SQL] Przenieś to_avro/from_avro do obiektu funkcji ze względu na zgodność języka Java
- [SPARK-26812][SQL] Zgłaszanie poprawnej wartości null dla złożonych typów danych w unii
- [SPARK-27671][SQL] Napraw błąd podczas rzutowania z zagnieżdżonej wartości null w strukturze
-
[SPARK-27673][SQL] Dodawanie
sinceinformacji do wyrażeń losowych, regularnych i null -
[SPARK-27672][SQL] Dodawanie
sinceinformacji do wyrażeń ciągów - [SPARK-25139][SPARK-18406][CORE] Unikanie niekrytycznych wyjątków, aby zapobiec zakończeniu działania wykonawcy w PythonRunner
- [SPARK-27624][CORE] Napraw calenderInterval, aby poprawnie pokazać pusty interwał
- [SPARK-27577][MLLIB] Poprawiono próg próbkowania w dół w BinaryClassificationMetrics
- [SPARK-27621][ML] Regresja liniowa — weryfikowanie parametrów związanych z trenowaniem, takich jak utrata tylko podczas fazy dopasowania
- [SPARK-26048][SPARK-24530] Wybierz wszystkie brakujące zatwierdzenia do skryptu wersji 2.4
- [SPARK-24935][SQL] obsługa INIT —>UPDATE —> MERGE —> FINISH w adapterze UDAF Hive
Aktualizacje konserwacyjne
Zobacz aktualizacje konserwacyjne środowiska Databricks Runtime 5.5.
Środowisko systemu
- System operacyjny: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 2.7.12 dla klastrów języka Python 2 i 3.5.2 dla klastrów języka Python 3.
- R: R w wersji 3.6.0 (2019-04-26)
-
Klastry procesora GPU: zainstalowane są następujące biblioteki procesora GPU FIRMY NVIDIA:
- Kierowca Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Uwaga
Mimo że język Scala 2.12 jest obsługiwany w systemie Apache Spark 2.4, nie jest obsługiwany w środowisku Databricks Runtime 5.5.
W tej sekcji:
- Zainstalowane biblioteki języka Python
- Zainstalowane biblioteki języka R
- Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)
Zainstalowane biblioteki języka Python
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse (biblioteka do analizy argumentów w Pythonie) | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certyfikat | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| kryptografia | 1.5 | rowerzysta | 0.10.0 | Cython | 0.24.1 |
| dekorator | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | kontrakty terminowe | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | IDNA | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml jest biblioteką do analizy XML i HTML. | 3.6.4 | MarkupSafe | 0.23 | biblioteka matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) | 0.7.4 | Poduszka | 3.3.1 |
| pip (menedżer pakietów Pythona) | 19.1.1 | warstwa | 3.9 | zestaw narzędzi prompt | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing – biblioteka do przetwarzania tekstu w Pythonie | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil (biblioteka Pythona do zarządzania datami) | 2.5.3 | python-geohash | 0.8.5 | pytz (biblioteka Pythona do obliczeń stref czasowych) | 1.06.2016 |
| żądania | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy (biblioteka naukowa dla Pythona) | 0.18.1 | Przeszukać | 0.32 | urodzony na morzu | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch (pojedyncze wywołanie) | 3.4.0.3 | Sześć | 1.10.0 | statsmodels - biblioteka do modelowania statystycznego | 0.6.1 |
| tornado | 5.1.1 | traitlety | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | szerokość(wcwidth) | 0.1.7 | wheel | 0.33.4 |
| wsgiref | 0.1.2 |
Zainstalowane biblioteki języka R
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | potwierdzić to | 0.2.1 |
| przeniesienia wsteczne | 1.1.3 | baza | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | odrobina | 1.1-14 | bit-64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | rozruch | 1.3-20 |
| warzyć | 1.0-6 | obiekt wywołujący | 3.2.0 | samochód | 3.0-2 |
| dane samochodu | 3.0-2 | karetka | 6.0-82 | cellranger | 1.1.0 |
| Chroń | 2.3-53 | klasa | 7.3-15 | CLI | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | klaster | 2.0.8 |
| codetools | 0.2-16 | przestrzeń kolorów | 1.4-1 | commonmark | 1,7 |
| kompilator | 3.6.0 | konfiguracja | 0,3 | kredka | 1.3.4 |
| skręt | 3.3 | tabela danych | 1.12.0 | zbiory danych | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | Opis | 1.2.0 |
| devtools | 2.0.1 | skrót | 0.6.18 | DoMC | 1.3.5 |
| dplyr | 0.8.0.1 | wielokropek | 0.1.0 | fani | 0.4.0 |
| dla kotów | 0.4.0 | foreach | 1.4.4 | zagraniczny | 0.8-71 |
| kuźnia | 0.2.0 | Fs | 1.2.7 | Gbm | 2.1.5 |
| typy ogólne | 0.0.2 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | klej | 1.3.1 |
| Gower | 0.2.0 | grafika | 3.6.0 | grDevices | 3.6.0 |
| siatka | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtabela | 0.3.0 | H2O | 3.22.1.1 | przystań | 2.1.0 |
| Hms | 0.4.2 | htmltools – narzędzie do tworzenia stron internetowych | 0.3.6 | widżety HTML | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | Iteratory | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | Etykietowanie | 0,3 |
| krata | 0.20-38 | lawa | 1.6.5 | opóźnienie | 0.2.2 |
| mniejszy | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | Mapy | 3.3.0 |
| maptools | 0.9-5 | MASA | 7.3-51.1 | Matryca | 1.2-17 |
| MatrixModels | 0.4-1 | zapamiętywanie | 1.1.0 | metody | 3.6.0 |
| mgcv | 1.8-28 | mim | 0,6 | minqa | 1.2.4 |
| Metryki modelu | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-140 | nloptr | 1.2.1 | sieć neuronowa (nnet) | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsxx | 4.1.0 |
| równoległy | 3.6.0 | pbkrtest | 0.4-7 | kolumna | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| pochwała | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.14.0 |
| Procesx | 3.3.0 | prodlim | 2018.04.18 | Postęp | 1.2.0 |
| Prototyp | 1.0.0 | PS | 1.3.0 | mruczenie | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| "randomForest" | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | czytnik | 1.3.1 |
| readxl (biblioteka do odczytu plików Excel) | 1.3.1 | przepisy | 0.1.5 | rewanż | 1.0.1 |
| Zdalne | 2.0.2 | zmień kształt2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | waga | 1.0.0 |
| informacje o sesji | 1.1.1 | Sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | Rozrzednia | 1.77 | przestrzenny | 7.3-11 |
| splajny | 3.6.0 | sqldf | 0.4-11 | KWADRAT | 2017.10-1 |
| statmod | 1.4.30 | Statystyki | 3.6.0 | statystyki4 | 3.6.0 |
| łańcuchy | 1.4.3 | stringr | 1.4.0 | przetrwanie | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | NauczanieDemonstracje | 2.10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | czas i data | 3043.102 | narzędzia | 3.6.0 |
| użyj tego | 1.4.0 | utf8 | 1.1.4 | narzędzia | 3.6.0 |
| viridisLite | 0.3.0 | wibrys | 0.3-2 | Withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| suwak | 2.0.1 |
Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Klient Amazon Kinesis | 1.8.10 |
| com.amazonaws | aws-java-sdk-automatyczne-skalowanie | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm (zestaw narzędzi Java dla usługi CloudHSM) | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy (biblioteka do zarządzania wdrażaniem kodu w AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config (konfiguracja aws-java-sdk) | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect (pakiet narzędzi programistycznych dla Java do współpracy z AWS Direct Connect) | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr (biblioteka SDK Java dla usługi Amazon EMR) | 1.11.313 |
| com.amazonaws | AWS Java SDK dla Glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-klej | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | AWS-Java-SDK-ImportExport | 1.11.313 |
| com.amazonaws | AWS SDK dla Javy - Kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-uczenie-maszynowe | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds (pakiet programistyczny Java dla AWS RDS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts (pakiet programistyczny Java dla AWS STS) | 1.11.313 |
| com.amazonaws | wsparcie dla aws-java-sdk | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-biblioteki | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | odtwarzać strumieniowo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | kompilatorwtyczka_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-cieniowane | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | kolega z klasy | 1.0.0 |
| com.fasterxml.jackson.core | Adnotacje Jackson | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | Jackson-format-danych-CBOR | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | rdzeń | 1.1.2 |
| com.github.fommil.netlib | natywne_odniesienie-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | natywny_system java | 1.1 |
| com.github.fommil.netlib | system natywny-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | "netlib-native_system-linux-x86_64-natives" | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guawa | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.WYDANIE |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK do przechowywania danych Azure Data Lake) | 2.2.8 |
| com.microsoft.azure | magazynowanie Azure | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf (biblioteka do kompresji danych) | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | relaks_2.11 | 0.9.3 |
| com.twitter | pakiet parquet-hadoop | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | konfiguracja | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | parsery jednowołciowości | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| Zbiory Commons | Zbiory Commons | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | sprężarka powietrza | 0.10 |
| io.dropwizard.metrics | metryki —rdzeń | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metryki-kontrole zdrowotne | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metryki w formacie JSON | 3.1.5 |
| io.dropwizard.metrics | metryki-JVM | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | serwlety metryk | 3.1.5 |
| io.netty | Netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | aktywacja | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| drzewa Maven | hive-exec-with-klej | hive-12679-patch_deploy |
| drzewa Maven | hive-exec-with-klej | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pirolit | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | SDK do pobierania danych Snowflake | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | szablon łańcucha | 3.2.1 |
| org.apache.ant | mrówka | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | program uruchamiający Ant | 1.9.2 |
| org.apache.arrow | format strzałki | 0.10.0 |
| org.apache.arrow | strzałka w pamięci | 0.10.0 |
| org.apache.arrow | wektor strzałki | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-wersja inkubacyjna |
| org.apache.calcite | rdzeń kalcytowy | 1.2.0-wersja inkubacyjna |
| org.apache.calcite | calcite-linq4j | 1.2.0-wersja inkubacyjna |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | kurator-klient | 2.7.1 |
| org.apache.curator | struktura kuratora | 2.7.1 |
| org.apache.curator | przepisy kuratora | 2.7.1 |
| org.apache.derby | mecz derbowy | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | adnotacje hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | klient hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | Hadoop-HDFS (Hadoop Distributed File System) | 2.7.3 |
| org.apache.hadoop | Klient aplikacji Hadoop MapReduce | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle (moduł mieszający klienta w Hadoop MapReduce) | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client (klient Hadoop YARN) | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common (Wspólne komponenty serwera Hadoop YARN) | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 w fazie inkubacji |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | bluszcz | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | podkładki orc-shims | 1.5.2 |
| org.apache.parquet | parquet-kolumna | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-wspólny | 1.10.1.1-databricks3 |
| org.apache.parquet | kodowanie parquet | 1.10.1.1-databricks3 |
| org.apache.parquet | format plików Parquet | 2.4.0 |
| org.apache.parquet | Parquet-Hadoop (framework do analizy danych) | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-cieniowany | 4.8 |
| org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. | opiekun zwierząt | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapujący-ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-kompilator | 3.0.10 |
| org.codehaus.janino | Janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-kontynuacja | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | Jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | serwer pośredniczący Jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | moduł bezpieczeństwa Jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | serwer Jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | aplikacja webowa Jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | lokalizator hk2 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | lokalizator zasobów OSGi | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-zapakowane ponownie | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject (pakiet w języku Java) | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guawa | 2.22.2 |
| org.glassfish.jersey.containers | serwlet kontenerowy Jersey | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | dzianina-zwykła | 2.22.2 |
| org.glassfish.jersey.core | serwer jersey | 2.22.2 |
| org.glassfish.jersey.media | - "jersey-media-jaxb" не wymaga tłumaczenia, gdyż jest to nazwa techniczna, ale dla polskich odbiorców warto dodać opis lub kontynuować bez zmian, jeżeli nazwa już jako taka przyjęła się w lokalnym użyciu. | 2.22.2 |
| org.hibernate | moduł sprawdzania poprawności hibernacji | 5.1.1.Ostateczna |
| org.iq80.snappy | Żwawy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging (narzędzie do rejestrowania zdarzeń w JBoss) | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Podkładki | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interfejs testowy | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline (narzędzie do interakcji z bazą danych Hive) | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | magazyn metadanych Hive | 1.2.1.spark2 |
| org.spark-project.spark.spark | Nieużywane | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | "spring-core" (if contextually appropriate to retain the original term without translation) | 4.1.4.WYDANIE |
| org.springframework | test sprężynowy | 4.1.4.WYDANIE |
| org.tukaani | xz | 1.5 |
| org.typelevel | mechanik_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| oprogramowanie.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc (standard szyfrowania XML) | xmlenc (standard szyfrowania XML) | 0.52 |