Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Uwaga
Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w Uwagach do wydań Databricks Runtime na temat wersji i zgodności.
Usługa Databricks wydała tę wersję w kwietniu 2019 r.
Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 5.3 obsługiwanym przez platformę Apache Spark.
Nowe funkcje
Databricks Delta
Czas podróży ogólnie dostępnej
Delta podróż w czasie przeszła do ogólnej dostępności. Dodaje możliwość zapytania migawki tabeli przy użyciu ciągu tekstowego znacznika czasu lub wersji, przy użyciu składni SQL, oraz opcji DataFrameReader dla wyrażeń znaczników czasu.
SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version
Podróż w czasie ma wiele przypadków użycia, w tym:
- Ponowne tworzenie analiz, raportów lub danych wyjściowych (na przykład danych wyjściowych modelu uczenia maszynowego), co jest przydatne do debugowania lub inspekcji, zwłaszcza w branżach regulowanych.
- Pisanie złożonych zapytań czasowych.
- Naprawianie błędów w danych.
- Zapewnienie izolacji migawek dla zestawu zapytań dotyczących szybko zmieniających się tabel.
Zobacz Pracuj z historią tabel Delta Lake.
Replikacja tabel MySQL do publicznej wersji zapoznawczej usługi Delta
Przesyłanie strumieniowe danych z tabeli MySQL bezpośrednio do Delta w celu dalszego przetwarzania w procesach analizy Spark lub analizie danych. Korzystając z tej samej strategii replikacji, jakiej używa MySQL do replikacji na inne wystąpienia, binlog jest używane do identyfikowania aktualizacji, które są następnie przetwarzane i przesyłane strumieniowo do usługi Databricks, jak podano poniżej:
- Odczytuje zdarzenia zmiany z dziennika bazy danych.
- Przesyła strumieniowo zdarzenia do usługi Databricks.
- Zapisuje w określonej kolejności do tabeli Delta.
- Zachowuje stan w przypadku rozłączania ze źródłem.
Funkcje prywatnej wersji zapoznawczej
Ta wersja zawiera następujące prywatne funkcje w wersji zapoznawczej usługi Delta Lake:
- Dodano eksperymentalne polecenie, które umożliwia usłudze Presto bezpośrednie wykonywanie zapytań o tabele delty.
- Auto Optimize optymalizuje układ plików podczas poszczególnych zapisów do tabeli Delta i zapobiega gromadzeniu się małych plików w tabelach Delta, aby utrzymać błyskawiczną wydajność zapytań. Ponadto zapisy i operacje upsert w partycjonowanych tabelach Delta mogą cieszyć się dużymi przyspieszeniami dzięki adaptacyjnemu przetasowywaniu wprowadzonemu do zapisów.
Jeśli chcesz wziąć udział w każdej wersji zapoznawczej, skontaktuj się z zespołem ds. kont usługi Databricks.
Zoptymalizowany folder DBFS FUSE pod kątem obciążeń uczenia głębokiego
Usługa Azure Databricks oferuje teraz zoptymalizowaną instalację FUSE. Dostęp do danych o wysokiej wydajności można uzyskać podczas trenowania i wnioskowania bez stosowania skryptów inicjowania. Dane przechowywane pod dbfs:/ml i dostępne lokalnie w file:/dbfs/ml są teraz wspierane przez to zoptymalizowane montowanie FUSE. Zobacz Ładowanie danych na potrzeby uczenia maszynowego i uczenia głębokiego.
Ulepszenia
- Biblioteki w zakresie notatnika
- Obsługa Ekstrasów w
dbutils.library.installPyPI. - Obsługa instalacji bibliotek w obrębie notatnika dla bibliotek w systemie plików platformy Azure, w tym
wasbs,adls, iabfss. - Ulepszono komunikaty o błędach dla bibliotek o zakresie notesu dla nieobsługiwanych obiektów docelowych. Na przykład: "Narzędzia biblioteki nie są dostępne w środowisku Databricks Runtime for Machine Learning".
- Obsługa Ekstrasów w
- Połącz się z Azure Data Lake Storage (ADLS) bez konieczności przyznawania roli RBAC 'Storage Blob Data Contributor' dla całego konta.
-
Databricks Advisor ma dodatkowe wskazówki dotyczące poprawy wydajności zapytań:
- Jeśli istnieje wiele małych plików na partycję —> konwertuj tabelę na Delta i uruchom
OPTIMIZE. - Jeśli istnieje wysoce selektywny filtr —> przekonwertuj na Delta i użyj
ZORDER BY. - Gdy pobieranie metadanych z Hive staje się wąskim miejscem —> przekonwertuj tabelę na Delta.
- Jeśli istnieje wiele małych plików na partycję —> konwertuj tabelę na Delta i uruchom
- Uaktualniono system Ubuntu z wersji 16.04.5 LTS do wersji 16.04.6 LTS.
- Uaktualniono wersję Scala 2.11 z wersji 2.11.8 do 2.11.12.
- Uaktualniono niektóre zainstalowane biblioteki języka Python:
- pip: od 18.1 do 19.0.3.
- setuptools: od 40.6.3 do 40.8.0
- koło: od 0.32.3 do 0.33.1
- Uaktualniono język R z wersji 3.4.4 do wersji 3.5.2.
- Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.
Wycofanie
- Łącznik Apache Kafka 0.8 dla Structured Streaming nie jest już obsługiwany. Jest on uwzględniony w środowisku Databricks Runtime 5.3, ale zostanie usunięty z przyszłej wersji środowiska Databricks Runtime.
- Eksportowanie modelu uczenia maszynowego usługi Databricks jest przestarzałe i zostanie usunięte w środowisku Databricks Runtime 6.0. Zamiast tego użyj narzędzia MLeap do importowania i eksportowania modeli.
- Usunięto
spark.databricks.pyspark.enableExecutorFsPermsjako opcję konfiguracji.
Poprawki błędów
- Naprawiono ogólnoklastrową instalację biblioteki Python Egg dla klastrów z włączonymi ACL tabel.
- Ulepszone anulowanie polecenia języka Python przez naprawienie sytuacji, w której jest wywoływane anulowanie przed wykonaniem polecenia.
- Usunięto usterkę w listach ACL tabeli: teraz podczas wyświetlania obiektów w bazie danych lub katalogu widoczne są tylko obiekty, do których masz uprawnienia.
Apache Spark
Środowisko Databricks Runtime 5.3 obejmuje platformę Apache Spark 2.4.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 5.2 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:
- [SPARK-27134][SQL] funkcja array_distinct nie działa poprawnie z kolumnami zawierającymi tablice tablic
- [SPARK-24669][SQL] Unieważnij tabele w razie użycia DROP DATABASE CASCADE
- [SPARK-26572] [SQL] naprawa oceny wyniku agregacji kodgen
- [SPARK-27046][DSTREAMS] Usuń odwołania związane z SPARK-19185 z dokumentacji
- [SPARK-26449][PYTHON] Dodaj metodę przekształcania do API DataFrame
- [SPARK-26740][SQL] Odczytywanie statystyk sygnatury czasowej/kolumny daty zapisanych przez platformę Spark 3.0
- [SPARK-26909][SQL] użyj unsafeRow.hashCode() jako hasz wartości w HashAggregate
- [SPARK-26990][SQL] FileIndex: użyj nazw pól określonych przez użytkownika, jeśli to możliwe
- [SPARK-26851][SQL] Naprawiono mechanizm podwójnego sprawdzania blokady w CachedRDDBuilder
- [SPARK-26864][SQL] Zapytanie może zwrócić niepoprawny wynik, gdy funkcja UDF języka Python jest używana jako warunek sprzężenia lewostronnego typu semi
-
[SPARK-26887][SQL][PYTHON] Utwórz
datetime.datebezpośrednio zamiast tworzenia pośrednich danych datetime64. - [SPARK-26859][SQL] Naprawiono usterkę indeksu modułu zapisywania pól w deserializatorze ORC niewektoryzowanym
- [SPARK-26864][SQL] Zapytanie może zwrócić nieprawidłowy wynik, gdy funkcja UDF języka Python jest używana jako warunek sprzężenia, a funkcja udf używa atrybutów z obu nóg lewego sprzężenia półsprzężenia
- [SPARK-24360][SPARK-26091][BACKPORT][SQL] Obsługa magazynu metadanych Hive 3.1
- [SPARK-26873][SQL] Użyj spójnego znacznika czasu do kompilowania identyfikatorów zadań usługi Hadoop.
- [SPARK-26734][STREAMING] Napraw błąd StackOverflowError z kolejką dużych bloków
- [SPARK-26758][CORE] Bezczynni wykonawcy nie są usuwani po osiągnięciu wartości spark.dynamiAllocation.executorIdleTimeout
- [SPARK-26751][SQL] Naprawianie przecieku pamięci podczas uruchamiania instrukcji w tle i zgłaszanie wyjątku, który nie jest hiveSQLException
- [SPARK-26806][SS] Funkcja EventTimeStats.merge powinna prawidłowo obsługiwać zera
- [SPARK-26745][SPARK-24959][SQL] Przywracanie optymalizacji liczby w źródle danych JSON według
- [SPARK-26757][GRAPHX] Zwracanie wartości 0 dla liczby pustych rdD krawędzi/wierzchołków
- [SPARK-26726] Synchronizowanie ilości pamięci używanej przez zmienną emisji do wyświetlania interfejsu użytkownika
- [SPARK-26718][SS] Naprawiono przepełnienie liczby całkowitej w obliczeniach limitu szybkości Kafka dla Structured Streaming
- [SPARK-26708][SQL] Nieprawidłowy wynik spowodowany niespójnością między buforowanym rdD pamięci podręcznej SQL a jego planem fizycznym
- [SPARK-26735][SQL] Weryfikowanie integralności planu dla wyrażeń specjalnych
- [SPARK-26619][SQL] Czyścić nieużywane serializatory z SerializeFromObject
- [SPARK-26379][SS] Użyj fikcyjnego identyfikatora TimeZoneId, aby uniknąć nierozwiązanego wyjątku w CurrentBatchTimestamp
- [SPARK-26495][SQL] Uproszczenie ekstraktora SelectedField
- [SPARK-26379][SS] Rozwiązano problem z dodawaniem current_timestamp/current_date do zapytania przesyłania strumieniowego
- [SPARK-26709][SQL] OptimizeMetadataOnlyQuery nie obsługuje poprawnie pustych rekordów
- [SPARK-26680][SQL] Proaktywnie twórz inputVars, gdy warunki są odpowiednie
- [SPARK-26682][SQL] Użyj identyfikatora taskAttemptID zamiast parametru attemptNumber dla usługi Hadoop.
- [SPARK-26706][SQL] Naprawiono niedozwoloną precyzję liczbową dla ByteType
- [SPARK-26228][MLLIB] Wystąpił problem z systemem OOM podczas przetwarzania macierzy gramańskiej
- [SPARK-26665][CORE] Naprawiono usterkę, która może spowodować, że BlockTransferService.fetchBlockSync zawiesi się w nieskończoność
- [SPARK-26549][PYSPARK] Poprawka dotycząca ponownego użycia procesu roboczego języka Python nie ma wpływu na równoległy zakres iterowalny z opóźnieniem
- [SPARK-26351][MLLIB] Aktualizacja dokumentacji i drobne poprawki w metrykach oceny biblioteki MLlib
- [SPARK-26450]Unikaj ponownego kompilowania mapy schematu dla każdej kolumny w projekcji
- [SPARK-26638][PYSPARK][ML] Klasy wektorów Pyspark zawsze zwracają błąd w przypadku negacji jednoargumentowej
- [SPARK-26633][REPL] Dodaj ExecutorClassLoader.getResourceAsStream
- [SPARK-26629][SS] Naprawiono błąd z wieloma strumieniami plików w zapytaniu i ponownym uruchomieniu w partii, która nie ma danych dla jednego strumienia plików
- [SPARK-25992][PYTHON] Dokument SparkContext nie może być udostępniany na potrzeby przetwarzania wieloprocesowego
- [SPARK-26615][CORE] Naprawa wycieków zasobów serwera/klienta transportowego w podstawowych testach jednostkowych
- [SPARK-26350][SS] Pozwól na zastępowanie identyfikatora grupy odbiorcy Kafka
- [SPARK-26538][SQL] Ustawianie domyślnej dokładności i skali dla elementów tablicy liczbowej postgres
- [SPARK-26586][SS] Napraw warunek wyścigu, który powoduje, że strumienie są uruchamiane z nieoczekiwanymi ustawieniami konfiguracyjnymi.
- [SPARK-26551][SQL] Naprawiono błąd oczyszczania schematu podczas wybierania jednego pola złożonego i stosowania predykatu "is not null" na innym.
- [SPARK-26576][SQL] Wskazówka dotycząca emisji nie jest stosowana do tabeli partycjonowanej
- [SPARK-26571][SQL] Aktualizacja mapowania Serde Hive używając kanonicznej nazwy formatów plików Parquet i Orc
- [SPARK-26267][SS] Ponownie próbuj przy wykrywaniu nieprawidłowych przesunięć z Kafka (2.4)
- [SPARK-26559][ML][PYSPARK] Moduł ML nie może działać z wersją numpy przed 1.9
- [SPARK-26078][SQL] Deduplikuj atrybuty samosprzężenia w podzapytaniu IN
Aktualizacje konserwacyjne
Zobacz Aktualizacje konserwacyjne Databricks Runtime 5.3.
Środowisko systemu
- System operacyjny: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191
- Scala: 2.11.12
- Python: 2.7.12 dla klastrów języka Python 2 i 3.5.2 dla klastrów języka Python 3.
- R: R w wersji 3.5.2 (2018-12-20)
-
Klastry procesora GPU: zainstalowane są następujące biblioteki procesora GPU FIRMY NVIDIA:
- Kierowca Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Uwaga
Mimo że język Scala 2.12 jest obsługiwany w systemie Apache Spark 2.4, nie jest obsługiwany w środowisku Databricks Runtime 5.3.
Zainstalowane biblioteki języka Python
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse (biblioteka do analizy argumentów w Pythonie) | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certyfikat | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| kryptografia | 1.5 | rowerzysta | 0.10.0 | Cython | 0.24.1 |
| dekorator | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | kontrakty terminowe | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | IDNA | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml jest biblioteką do analizy XML i HTML. | 3.6.4 | MarkupSafe | 0.23 | biblioteka matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) | 0.7.4 | Poduszka | 3.3.1 |
| pip (menedżer pakietów Pythona) | 19.0.3 | warstwa | 3.9 | zestaw narzędzi prompt | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing – biblioteka do przetwarzania tekstu w Pythonie | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil (biblioteka Pythona do zarządzania datami) | 2.5.3 | python-geohash | 0.8.5 | pytz (biblioteka Pythona do obliczeń stref czasowych) | 1.06.2016 |
| żądania | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy (biblioteka naukowa dla Pythona) | 0.18.1 | Przeszukać | 0.32 | urodzony na morzu | 0.7.1 |
| setuptools | 40.8.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch (pojedyncze wywołanie) | 3.4.0.3 | Sześć | 1.10.0 | statsmodels - biblioteka do modelowania statystycznego | 0.6.1 |
| tornado | 5.1.1 | traitlety | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | szerokość(wcwidth) | 0.1.7 | wheel | 0.33.1 |
| wsgiref | 0.1.2 |
Zainstalowane biblioteki języka R
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | potwierdzić to | 0.2.0 |
| przenoszenie funkcji (backporty) | 1.1.3 | baza | 3.5.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | odrobina | 1.1-14 | bit-64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | rozruch | 1.3-20 |
| warzyć | 1.0-6 | obiekt wywołujący | 3.1.1 | samochód | 3.0-2 |
| dane samochodu | 3.0-2 | karetka | 6.0-81 | cellranger | 1.1.0 |
| Chroń | 2.3-53 | klasa | 7.3-15 | CLI | 1.0.1 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | klaster | 2.0.7-1 |
| codetools | 0.2-16 | przestrzeń kolorów | 1.4-0 | commonmark | 1,7 |
| kompilator | 3.5.2 | konfiguracja | 0,3 | kredka | 1.3.4 |
| skręt | 3.3 | tabela danych | 1.12.0 | zbiory danych | 3.5.2 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | Opis | 1.2.0 |
| devtools | 2.0.1 | skrót | 0.6.18 | DoMC | 1.3.5 |
| dplyr | 0.8.0.1 | wielokropek | 0.1.0 | fani | 0.4.0 |
| dla kotów | 0.4.0 | foreach | 1.4.4 | zagraniczny | 0.8-71 |
| kuźnia | 0.2.0 | Fs | 1.2.6 | Gbm | 2.1.5 |
| typy ogólne | 0.0.2 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.24.0 | glmnet | 2.0-16 | klej | 1.3.0 |
| Gower | 0.1.2 | grafika | 3.5.2 | grDevices | 3.5.2 |
| siatka | 3.5.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtabela | 0.2.0 | H₂O | 3.22.1.1 | przystań | 2.1.0 |
| Hms | 0.4.2 | htmltools – narzędzie do tworzenia stron internetowych | 0.3.6 | widżety HTML | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | Iteratory | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | Etykietowanie | 0,3 |
| krata | 0.20-38 | lawa | 1.6.5 | opóźnienie | 0.2.1 |
| mniejszy | 0.3.6 | lme4 | 1.1-20 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | Mapy | 3.3.0 |
| maptools | 0.9-5 | MASA | 7.3-51.1 | Macierz | 1.2-15 |
| MatrixModels | 0.4-1 | zapamiętywanie | 1.1.0 | metody | 3.5.2 |
| mgcv | 1.8-27 | mim | 0,6 | minqa | 1.2.4 |
| Metryki modelu | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-9 |
| nlme | 3.1-137 | nloptr | 1.2.1 | sieć neuronowa (nnet) | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.2.2 | openxlsxx | 4.1.0 |
| równoległy | 3.5.2 | pbkrtest | 0.4-7 | filar | 1.3.1 |
| pkgbuild | 1.0.2 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| pochwała | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.13.0 |
| Procesx | 3.2.1 | prodlim | 2018.04.18 | Postęp | 1.2.0 |
| Proto | 1.0.0 | PS | 1.3.0 | mruczenie | 0.3.0 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| "randomForest" | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.0 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.11 | czytnik | 1.3.1 |
| readxl (biblioteka do odczytu plików Excel) | 1.3.0 | przepisy | 0.1.4 | rewanż | 1.0.1 |
| Piloty | 2.0.2 | zmień kształt2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.1 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-13 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.9.0 | waga | 1.0.0 |
| Informacje o sesji | 1.1.1 | Sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.2 | Rozrzednia | 1.77 | przestrzenny | 7.3-11 |
| Splajny | 3.5.2 | sqldf | 0.4-11 | KWADRAT | 2017.10-1 |
| statmod | 1.4.30 | Statystyki | 3.5.2 | statystyki4 | 3.5.2 |
| łańcuch | 1.3.1 | stringr | 1.4.0 | przetrwanie | 2.43-3 |
| sys | 3.0 | tcltk | 3.5.2 | DemonstracjeNauczania | 2.10 |
| testthat | 2.0.1 | tibble | 2.0.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | czasData | 3043.102 | narzędzia | 3.5.2 |
| używaj tego | 1.4.0 | utf8 | 1.1.4 | narzędzia | 3.5.2 |
| viridisLite | 0.3.0 | wibrys | 0.3-2 | Withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zamek | 2.0.0 |
Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Klient Amazon Kinesis | 1.8.10 |
| com.amazonaws | aws-java-sdk-automatyczne-skalowanie | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm (zestaw narzędzi Java dla usługi CloudHSM) | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy (biblioteka do zarządzania wdrażaniem kodu w AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config (konfiguracja aws-java-sdk) | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect (pakiet narzędzi programistycznych dla Java do współpracy z AWS Direct Connect) | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr (biblioteka SDK Java dla usługi Amazon EMR) | 1.11.313 |
| com.amazonaws | AWS Java SDK dla Glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | AWS-Java-SDK-ImportExport | 1.11.313 |
| com.amazonaws | AWS SDK dla Javy - Kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-uczenie-maszynowe | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds (pakiet programistyczny Java dla AWS RDS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts (pakiet programistyczny Java dla AWS STS) | 1.11.313 |
| com.amazonaws | wsparcie dla aws-java-sdk | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-biblioteki | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | odtwarzać strumieniowo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | kompilatorwtyczka_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-cieniowane | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | kolega z klasy | 1.0.0 |
| com.fasterxml.jackson.core | Adnotacje Jackson | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | Jackson-format-danych-CBOR | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | rdzeń | 1.1.2 |
| com.github.fommil.netlib | natywne_odniesienie-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | natywny_system java | 1.1 |
| com.github.fommil.netlib | system natywny-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | "netlib-native_system-linux-x86_64-natives" | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guawa | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.WYDANIE |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK do przechowywania danych Azure Data Lake) | 2.2.8 |
| com.microsoft.azure | Azure Storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf (biblioteka do kompresji danych) | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | relaks_2.11 | 0.9.3 |
| com.twitter | pakiet parquet-hadoop | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | konfiguracja | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | parsery jednowołciowości | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| Zbiory Commons | Zbiory Commons | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | kompresor powietrza | 0.10 |
| io.dropwizard.metrics | metryki —rdzeń | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metryki-kontrole zdrowia | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metryki w formacie JSON | 3.1.5 |
| io.dropwizard.metrics | metryki-JVM | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | serwlety metrics-servlets | 3.1.5 |
| io.netty | Netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | moduł zbierający | 0,7 |
| javax.activation | aktywacja | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pirolit | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | SDK do pobierania danych Snowflake | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | mrówka | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | program uruchamiający Ant | 1.9.2 |
| org.apache.arrow | format strzałki | 0.10.0 |
| org.apache.arrow | pamięć wskaźnikowa | 0.10.0 |
| org.apache.arrow | wektor strzałki | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0 inkubacja |
| org.apache.calcite | rdzeń kalcytowy | 1.2.0 inkubacja |
| org.apache.calcite | calcite-linq4j | 1.2.0 inkubacja |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | kurator-klient | 2.7.1 |
| org.apache.curator | struktura kuratora | 2.7.1 |
| org.apache.curator | przepisy kuratora | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | adnotacje hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | klient Hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | Hadoop-HDFS (Hadoop Distributed File System) | 2.7.3 |
| org.apache.hadoop | Klient aplikacji Hadoop MapReduce | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle (moduł mieszający klienta w Hadoop MapReduce) | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client (klient Hadoop YARN) | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common (Wspólne komponenty serwera Hadoop YARN) | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 inkubacja |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | bluszcz | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | podkładki orc-shims | 1.5.2 |
| org.apache.parquet | parquet-kolumna | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-wspólny | 1.10.1.1-databricks3 |
| org.apache.parquet | kodowanie Parquet | 1.10.1.1-databricks3 |
| org.apache.parquet | format parquet | 2.4.0 |
| org.apache.parquet | Parquet-Hadoop (framework do analizy danych) | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-cieniowany | 4.8 |
| org.apache.zookeeper - system do zarządzania konfiguracją i synchronizacją dla aplikacji rozproszonych. | opiekun zwierząt w zoo | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapujący-ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-kompilator | 3.0.10 |
| org.codehaus.janino | Janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-kontynuacja | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | Jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | serwer pośredniczący Jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | moduł bezpieczeństwa Jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | serwer Jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | Jetty-aplikacja internetowa | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | lokalizator hk2 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | lokalizator zasobów OSGi | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-przepakowany | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject (pakiet w języku Java) | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guawa | 2.22.2 |
| org.glassfish.jersey.containers | serwlet kontenerowy Jersey | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | dzianina-zwykła | 2.22.2 |
| org.glassfish.jersey.core | serwer jersey | 2.22.2 |
| org.glassfish.jersey.media | - "jersey-media-jaxb" не wymaga tłumaczenia, gdyż jest to nazwa techniczna, ale dla polskich odbiorców warto dodać opis lub kontynuować bez zmian, jeżeli nazwa już jako taka przyjęła się w lokalnym użyciu. | 2.22.2 |
| org.hibernate | moduł sprawdzania poprawności hibernacji | 5.1.1.Ostateczna |
| org.iq80.snappy | Żwawy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging (narzędzie do rejestrowania zdarzeń w JBoss) | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interfejs testowy | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline (narzędzie do interakcji z bazą danych Hive) | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | magazyn metadanych Hive | 1.2.1.spark2 |
| org.spark-project.spark.spark | Nieużywane | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core (podstawowy moduł Spring) | 4.1.4.WYDANIE |
| org.springframework | test wiosenny | 4.1.4.WYDANIE |
| org.tukaani | xz | 1.5 |
| org.typelevel | mechanik_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| oprogramowanie.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc (standard szyfrowania XML) | xmlenc (standard szyfrowania XML) | 0.52 |