Partager via


Notes de publication de Clusters Big Data SQL Server 2019 CU17

S’applique à : SQL Server 2019 (15.x)

Les notes de publication suivantes s’appliquent à la mise à jour cumulative 17 (CU17) de Clusters de Big Data SQL Server 2019.

Changements et nouvelles fonctionnalités de CU17

Avertissement

Dans la mise à jour cumulative 15, l’ordre de mise à niveau est essentiel. Mettez à niveau votre cluster Big Data vers CU15 avant de mettre à niveau le cluster Kubernetes vers la version 1.21. Si le cluster Kubernetes est mis à niveau vers la version 1.21 avant que le BDC soit mis à niveau vers CU14 ou CU15, le cluster finira dans un état d’erreur et la mise à niveau du BDC échouera. Dans ce cas, revenez à la version 1.20 de Kubernetes pour résoudre le problème.
Ceci n’affecte pas les nouveaux déploiements de Clusters Big Data SQL Server 2019 CU15 sur les clusters Kubernetes API 1.21.

SQL Server Big Data Clusters CU17 inclut des modifications et des fonctionnalités importantes. Le problème connu suivant a été résolu :

  • Lorsque vous utilisez la commande AZDATA BDC ROTATE pour opérer la rotation du mot de passe d’un cluster Big Data qui utilise Active Directory, vous recevez le message d’erreur suivant : Failed to update password for existing AD account '<Account Name>'. Error code: 30. Ce problème a été résolu.

Pour plus d’informations sur les changements du moteur SQL Server, consultez l’article officiel KB5016394 de la Base de connaissances SQL Server 2019 CU17.

Configurations de test pour CU17

La mise à jour CU17 de Clusters Big Data SQL Server a été testée sur les combinaisons d’environnement suivantes :

Image du API Kubernetes Temps d'exécution Stockage des données Stockage du journal
Ubuntu 20.04 LTS 1.23.1 containerd 1.4.6
CRI-O 1.20.4
Bloc uniquement Bloc uniquement

Les livres blancs sur l’architecture de référence des Clusters Big Data SQL Server se trouvent dans les pages suivantes :

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.5 LTS
  • SQL Server : 15.0.4249.2
    • Java : Azul Zulu JRE 11.0.9.1
    • Python : 3.7.2 (miniconda 4.5.12)
    • R : Microsoft R 3.5.2
  • runtime pour Apache Spark 2022.1
    • Spark : 3.1.2
    • Delta Lake : 1.0.0
    • Java : Azul Zulu JRE 1.8.0_275
    • Scala : 2.12
    • Python : 3.8 (miniforge 4.9)
    • R : CRAN R 4.1.2
    • Connecteur Spark SQL : 1.2.0

Versions des composants OSS incorporés

Composant Version
collectd 5.12.0
InfluxDB 1.8.3
Elasticsearch 7.9.1
opendistro-elasticsearch-security 1.10.1.0
Fluent Bit 1.6.3
Grafana 7.3.6
Hadoop
HDFS DataNode
HDFS NameNode
3.1
Hive (Metastore) 2.3
Kibana 7.9.1
Knox 1.4.0
Livy 0,7
Openresty (Nginx) 1.17.8-2
Spark 3.1.2
Telegraf 1.16.1
ZooKeeper 3.5.8

Runtime pour Apache Spark version 2022.1 (BDC. 3.2022.1) - Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
_libgcc_mutex 0.1 keras-applications 1.0.8 python 3.8.10
_openmp_mutex 4.5 keras-preprocessing 1.1.2 pytorch 1.8.1
_py-xgboost-mutex 2 keras2onnx 1.6.5 pyqt 5.12.3
abseil-cpp 20210324 kiwisolver 1.3.1 pyqt-impl 5.12.3
absl-py 0.13.0 Koalas 1.8.0 pyqt5-sip 4.19.18
Adal 1.2.7 krb5 1.19.1 pyqtchart 5.12
adlfs 0.7.7 lcms2 2.12 pyqtwebengine 5.12.1
AIOHTTP 3.7.4.post0 ld_impl_linux-64 2.36.1 pysocks 1.7.1
alsa-lib 1.2.3 lerc 2.2.1 python-dateutil 2.8.1
appdirs 1.4.4 liac-arff 2.5.0 python-flatbuffers 1.12
arrow-cpp 3.0.0 libaec 1.0.5 python_abi 3.8
Astor 0.8.1 libblas 3.9.0 pytz 2021.1
astunparse 1.6.3 libbrotlicommon 1.0.9 pyu2f 0.1.5
async-timeout 3.0.1 libbrotlidec 1.0.9 pywavelets 1.1.1
attributs 21.2.0 libbrotlienc 1.0.9 pyyaml 5.4.1
aws-c-cal 0.5.11 libcblas 3.9.0 pyzmq 22.1.0
aws-c-common 0.6.2 libclang 11.1.0 Qt 5.12.9
aws-c-event-stream 0.2.7 libcurl 7.77.0 re2 2021.04.01
aws-c-io 0.10.5 libdeflate 1.7 readline 8.1
aws-checksums 0.1.11 libedit 3.1.20210216 regex 2021.7.6
aws-sdk-cpp 1.8.186 libev 4,33 Requêtes 2.25.1
Azure Data Lake Store 0.0.51 libevent 2.1.10 requests-oauthlib 1.3.0
azure-identity 2021.03.15b1 libffi 3.3 réessayer 1.3.3
azure-storage-blob 12.8.1 libgcc-ng 9.3.0 rsa 4.7.2
appel de retour 0.2.0 libgfortran-ng 9.3.0 ruamel_yaml 0.15.100
rétroportage 1 libgfortran5 9.3.0 s2n 1.0.10
backports.functools_lru_cache 1.6.4 libglib 2.68.3 salib 1.3.11
bellesoupe4 4.9.3 libiconv 1.16 scikit-image 0.18.1
Blas 2,109 liblapack 3.9.0 scikit-learn 0.23.2
blas-devel 3.9.0 liblapacke 3.9.0 scipy (bibliothèque Python pour le calcul scientifique) 1.5.3
clignotant 1.4 libllvm10 10.0.1 seaborn 0.11.1
blosc 1.21.0 libllvm11 11.1.0 seaborn-base 0.11.1
effet de flou 2.3.2 libnghttp2 1.43.0 setuptools 49.6.0
brotli 1.0.9 libogg 1.3.5 forme 0.39.0
brotli-bin 1.0.9 libopus 1.3.1 Six 1.16.0
brotli-python 1.0.9 libpng 1.6.37 skl2onnx 1.8.0.1
brotlipy 0.7.0 libpq 13.3 sklearn-pandas 2.2.0
brunsli 0.1 libprotobuf 3.15.8 segment 0.0.7
bzip2 1.0.8 libsodium 1.0.18 ouverture intelligente 5.1.0
c-ares 1.17.1 libssh2 1.9.0 smmap 3.0.5
certificats CA 2021.7.5 libstdcxx-ng 9.3.0 Snappy 1.1.8
cachetools 4.2.2 libthrift 0.14.1 Soupsieve 2.2.1
Le Caire 1.16.0 libtiff 4.2.0 sqlite 3.36.0
certifi 2021.5.30 libutf8proc 2.6.1 statsmodels, une bibliothèque Python pour la modélisation statistique 0.12.2
cffi 1.14.5 libuuid 2.32.1 tabuler 0.8.9
chardet 4.0.0 libuv 1.41.1 ténacité 7.0.0
Charles 2.2.0 libvorbis 1.3.7 TensorBoard (outil de visualisation pour le machine learning) 2.4.1
cliquez 8.0.1 libwebp-base 1.2.0 tensorboard-plugin-wit 1.8.0
cloudpickle 1.6.0 libxcb 1.14 tensorflow 2.6.3
conda 4.9.2 libxgboost 1.4.0 tensorflow-base 2.6.3
Gestion-des-paquets-Conda 1.7.3 libxkbcommon 1.0.3 estimateur TensorFlow 2.6.3
configparser 5.0.2 libxml2 2.9.12 termcolor 1.1.0
cryptographie 3.4.7 libzopfli 1.0.3 textblob (bibliothèque Python pour le traitement du langage naturel) 0.15.3
cudatoolkit 11.1.1 lightgbm 3.2.1 threadpoolctl 2.1.0
cycliste 0.10.0 chaux 0.2.0.1 tifffile 2021.4.8
cython 0.29.23 llvm-openmp 11.1.0 Tk 8.6.10
cytoolz 0.11.0 llvmlite 0.36.0 toolz 0.11.1
tiret 1.20.0 médaillon 0.2.1 tornade 6.1
Composants principaux de Dash 1.16.0 lz4-c 1.9.3 tqdm 4.61.2
dash-html-components 1.1.3 Markdown 3.3.4 traitlets 5.0.5
dash-renderer 1.9.1 markupsafe 2.0.1 extensions de typage 3.10.0.0
tableau de bord 4.11.3 matplotlib 3.4.2 typing_extensions 3.10.0.0
dash_cytoscape 0.2.0 matplotlib-base 3.4.2 unixodbc 2.3.9
dask-core 2021.6.2 matplotlib-inline 0.1.2 urllib3 1.26.7
databricks-cli 0.12.1 mkl 2021.2.0 wcwidth 0.2.5
classes de données 0,8 mkl-devel 2021.2.0 webencodings 0.5.1
dbus 1.13.18 mkl-include 2021.2.0 outil 2.0.1
debugpy 1.3.0 mleap 0.17.0 roue 0.36.2
décorateur 4.4.2 mlflow-skinny 1.18.0 enveloppé 1.12.1
aneth 0.3.4 MSAL 2021.06.08 xgboost 1.4.0
points d’entrée 0,3 msal-extensions 2021.06.08 xorg-kbproto 1.0.7
et_xmlfile 1.1.0 msrest 2021.06.01 xorg-libice 1.0.10
expatrié 2.4.1 Multidict 5.1.0 xorg-libsm 1.2.3
Feu 0.4.0 mysql-common 8.0.25 xorg-libx11 1.7.2
fiole 2.0.1 mysql-libs 8.0.25 xorg-libxext 1.3.4
flask-compress 1.10.1 ncurses 6.2 xorg-libxrender 0.9.10
fontconfig 2.13.1 networkx 2.5.1 xorg-renderproto 0.11.1
freetype 2.10.4 Ninja 1.10.2 xorg-xextproto 7.3.0
fsspec 2021.6.1 nltk 3.6.5 xorg-xproto 7.0.31
futur 0.18.2 nspr 4.3 xz 5.2.5
Gast 0.3.3 nss 3.67 yaml 0.2.5
gensim 3.8.3 numba 0.53.1 Yarl 1.6.3
geographiclib 1,52 numpy 1.19.4 zeromq 4.3.4
geopy 2.1.0 oauthlib 3.1.1 zfp 0.5.5
gettext 0.21.0 olefile 0.46 zipp 3.5.0
gevent 21.1.2 onnx 1.9.0 zlib 1.2.11
Gflags 2.2.2 onnxconverter-common 1.7.0 zope.event 4.5.0
giflib 5.2.1 onnxmltools 1.7.0 zope.interface 5.4.0
gitdb 4.0.7 onnxruntime 1.7.2 zstd 1.4.9
gitpython 3.1.18 openjpeg 2.4.0 azure-common 1.1.27
désinvolte 2.68.3 openpyxl 3.0.7 azure-core 1.16.0
outils-glib 2.68.3 openssl 1.1.1k azure-graphrbac 0.61.1
glog 0.5.0 opt_einsum 3.3.0 azure-mgmt-authorization 0.61.0
gobject-introspection 1.68.0 orque 1.6.7 azure-mgmt-containerregistry 8.0.0
google-auth 1.32.1 empaquetage Vingt-et-un azure-mgmt-core 1.3.0
google-auth-oauthlib 0.4.1 Pandas 1.2.3 azure-mgmt-keyvault 2.2.0
google-pasta 0.2.0 parquet-cpp 1.5.1 azure-mgmt-resource 13.0.0
Greenlet 1.1.0 parso 0.8.2 azure-mgmt-storage 11.2.0
grpc-cpp 1.37.1 Partie D 1.2.0 azureml-core 1.29.0.post1
grpcio 1.37.1 dupe 0.5.1 azureml-mlflow 1.29.0
gst-plugins-base 1.18.4 pcre 8,45 backports-tempfile 1
gstreamer 1.18.4 pexpect 4.8.0 backports-weakref 1.0.post1
h5py 2.10.0 pickleshare 0.7.5 contextlib2 0.6.0.post1
hdf5 1.10.6 oreiller 8.3.2 Docker 4.4.4
html5lib 1.1 pépin 21.1.1 Jeepney (véhicule de transport public philippin) 0.6.0
hummingbird-ml 0.4.0 pixman 0.40.0 jmespath 0.10.0
icu 68.1 tracé 4.14.3 jsonpickle 2.0.0
idna 2.1 pmdarima 1.8.2 msrestazure 0.6.4
imagecodecs 2021.3.31 toutou 1.4.0 mypy 0.78
imageio 2.9.0 portalocker 1.7.1 mypy-extensions 0.4.3
importlib-metadata 4.6.1 prompt-toolkit 3.0.19 ndg-httpsclient 0.5.1
intel-openmp 2021.2.0 protobuf 3.15.8 pandasql 0.7.3
interpréter 0.2.4 psutil 5.8.0 spécification de chemin 0.8.1
interprète-noyau 0.2.4 ptyprocess 0.7.0 ruamel-yaml 0.17.4
ipykernel 6.0.1 py-xgboost 1.4.0 ruamel-yaml-clib 0.2.6
ipython 7.23.1 py4j 0.10.9 secretstorage 3.3.1
ipython_genutils 0.2.0 pyarrow 3.0.0 sqlalchemy 1.4.20
isodate 0.6.0 pyasn1 0.4.8 typed-ast 1.4.3
itsdangerous 2.0.1 pyasn1-modules 0.2.8 torchvision 0.9.1
jdcal 1.4.1 pycairo 1.20.1 websocket-client 1.1.0
Jedi 0.18.0 pycosat 0.6.3
jinja2 3.0.1 pycparser 2,2
joblib 1.0.1 pygments 2.9.0
JPEG 9j pygobject 3.40.1
jupyter_client 6.1.12 pyjwt 2.1.0
jupyter_core 4.7.1 pyodbc 4.0.30
jxrlib 1.1 pyopenssl 20.0.1
pyspark 3.1.2 pyparsing 2.4.7

Runtime pour Apache Spark version 2022.1 (BDC. 3.2022.1) - Bibliothèques R installées

Packages à partir de l’archive CRAN

Le tableau suivant liste les packages disponibles dans cette version.

paquet paquet paquet paquet paquet paquet
sparklyr terre cycle de vie morceau Markdown reshape2
devtools prévision ellipse bit64 parallèlement rmarkdown
tidyverse futile.logger pilier Matrice pROC RSQLite
igraph hachis Cli survie P.-S. rvest
plotrix Id tibble mgcv readr informations sur la session
mnormt jsonlite colle treillis match retour sourcetools
Hts kernlab magrittr emmeans roxygen2 stringi
Rlabkey lubridate Rcpp Grappe Rserve sys
gtools mgcv cpp11 nnet sqldf xml2
svMisc minpack.lm crayon botte date-heure yaml
Identifiant unique universel (UUID) nlme tidyr estimabilité Waldo rétroportage
plotmo Pls tidyselect classe brasser data.table
mgsub prophète fans KernSmooth friser dbplyr
Hmisc purrr utf8 spatial DBI forcats
MASSE Réticulé R6 rpart ggplot2 globales
MSwM rstan pkgconfig flèche glmnet httr
Rmpfr rstatix produits génériques codetools Gower itérateurs
anomalize lisse lme4 étranger gtable modèleur
bras / arme sn RcppEigen balai hms pkgbuild
bsts stringr plyr (un package logiciel pour le traitement de données) cellranger ModelMetrics prodlim
caret changement structurel nloptr foreach pkgload recettes
point de changement Vars minqa fs processx Télécommandes
dlm xts mvtnorm gsubfn randomForest (algorithme d'apprentissage automatique) Rex
dplyr le zoo assertthat hwriter RColorBrewer RODBC
dtwclust rlang numDeriv ipred readxl écailles
e1071 vctrs xtable étiquetage revanche2 forme

Machine Learning Services SQL Server - Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
revoscalepy 9.4.7 pycurl 7.43.0.2 jupyter-client 5.2.4
microsoftml 9.4.7 pycrypto 2.6.1 jsonschema 2.6.0
zipp 0.5.2 pycparser 2.19 Jinja2 2.10.1
zict 1.0.0 pycosat 0.6.3 Jedi 0.15.1
xlwt 1.3.0 Py 1.8.0 jdcal 1.4
XlsxWriter 1.1.2 ptyprocess 0.6.0 itsdangerous 1.1.0
xlrd 1.2.0 psutil 5.4.8 ipywidgets (un outil de widgets interactifs pour Python) 7.4.2
enveloppé 1.11.2 prompt-toolkit 2.0.7 ipython 7.2.0
widgetsnbextension 3.4.2 prometheus-client 0.7.1 ipython-genutils 0.2.0
roue 0.33.4 enfiché 0.12.0 ipykernel 4.9.0
Outil 0.15.5 tracé 4.0.0 importlib-metadata 0.19
webencodings 0.5.1 pkginfo 1.5.0.1 imagesize 1.1.0
wcwidth 0.1.7 pépin 18.1 imageio 2.5.0
urllib3 1.24.2 Oreiller 6.1.0 idna 2.8
unicodecsv 0.14.1 pickleshare 0.7.5 tasdictionnaire 1.0.0
traitlets 4.3.2 pexpect 4.7.0 hdijupyterutils 0.12.9
tornade 6.0.3 dupe 0.5.1 h5py 2.9.0
toolz 0.9.0 pathlib2 2.3.3 gmpy2 2.0.8
chemin de test 0.4.2 path.py 11.5.0 Fiole 1.1.1
terminé 0.8.2 Partie D 0.3.9 Flask-Cors 3.0.8
tblib 1.4.0 parso 0.5.1 cache rapide 1.1.0
Tables 3.5.2 pandocfilters 1.4.2 et-xmlfile 1.0.1
Sympy 1.3 pandasql 0.7.3 points d’entrée 0,3
statsmodels, une bibliothèque Python pour la modélisation statistique 0.9.0 Pandas 0.23.4 docutils 0.15.2
sqlparse 0.2.4 pandas-datareader 0.7.0 distribué 1.28.1
SQLAlchimie 1.2.15 empaquetage 19.1 aneth 0.2.8.2
sphinxcontrib-websupport 1.1.2 openpyxl 2.5.12 defusedxml 0.6.0
Sphinx 1.8.2 olefile 0.46 décorateur 4.4.0
sparkmagic 0.12.6 Odo 0.5.1 forme de données 0.5.4
conteneurs triés 2.1.0 numpydoc 0.8.0 dask 1.2.2
SnowballStemmer 1.9.0 numpy 1.15.4 cytoolz 0.9.0.1
Six 1.12.0 numexpr 2.6.9 Cython 0.29.2
setuptools 41.0.1 numba 0.42.0 cycliste 0.10.0
Send2Trash 1.5.0 carnet de notes 5.7.8 cryptographie 2,5
seaborn 0.9.0 nltk 3.4 configobj 5.0.6
scipy (bibliothèque Python pour le calcul scientifique) 1.1.0 networkx 2,2 conda 4.5.12
scikit-learn 0.20.2 nbformat 4.4.0 cloudpickle 0.6.1
scikit-image 0.14.1 nbconvert 5.5.0 Cliquer 7,0
ruamel-yaml 0.15.46 répartition multiple 0.6.0 poitrine 0.2.3
réessayer 1.3.3 msgpack 0.6.1 chardet 3.0.4
Requêtes 2.21.0 mpmath 1.1.0 cffi 1.12.3
requests-kerberos 0.12.0 more-itertools 7.2.0 certifi 2019.6.16
qtconsole 4.5.3 se moquer de 3.0.5 Goulot 1.2.1
pyzmq 18.1.0 mkl-random 1.0.2 effet de flou 1.0.3
PyYAML 5.1.2 mkl-fft 1.0.10 blanchir 3.1.0
PyWavelets 1.0.3 désaccorder 0.8.4 flamber 0.11.3
pytz 2019.2 matplotlib 3.0.2 backports.os 0.1.1
python-dateutil 2.8.0 MarkupSafe 1.1.0 appel de retour 0.1.0
pytest 4.0.2 lxml 4.3.0 Babel 2.7.0
PySocks 1.7.0 médaillon 0.2.0 azureml-model-management-sdk 1.0.1b10
pyparsing 2.4.2 llvmlite 0.27.0 autovizwidget 0.12.9
pyOpenSSL 19.0.0 liac-arff 2.4.0 attributs 19.1.0
pyodbc 4.0.25 kiwisolver 1.1.0 atomicwrites 1.3.0
pykerberos 1.2.1 Jupyter 1.0.0 asn1crypto 0.24.0
PyJWT 1.7.1 jupyter-core 4.5.0 albâtre 0.7.12
Pygments 2.4.2 jupyter-console 6.0.0 Adal 1.2.2

Machine Learning Services SQL Server - Bibliothèques R installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
CompatibilityAPI 1.1.0 crayon 1.3.4 plogr 0.2.0
MicrosoftML 9.4.7 friser 3.3 plyr (un package logiciel pour le traitement de données) 1.8.4
RevoPemaR 10.0.0 ensembles de données 3.5.2 PNG 0.1-7
RevoScaleR 9.4.7 dbplyr 1.2.2 promesses 1.0.1
RevoTreeView 10.0.0 deployrRserve 9.0.0 Psych 1.8.10
doRSR 10.0.0 digérer 0.6.18 purrr 0.2.5
mrsdeploy 1.1.3 doParallel 1.0.14 r2d3 0.2.3
sqlrutils 1.0.0 dplyr 0.7.8 rappdirs 0.3.1
BH 1.69.0-1 fans 0.4.0 readr 1.3.1
DBI 1.0.0 foreach 1.5.1 reshape2 1.4.3
KernSmooth 2.23-15 étranger 0.8-71 rlang 0.3.1
MASSE 7.3-51.1 forger 0.1.0 rpart 4.1-13
Matrice 1.2-15 produits génériques 0.0.2 rprojroot 1.3-2
MicrosoftR 3.5.2 colle 1.3.0 rstudioapi 0.9.0
R6 2.3.0 grDevices 3.5.2 brillant 1.2.0
RUnit 0.4.26 graphisme 3.5.2 sourcetools 0.1.7
Rcpp 1.0.0 grille 3.5.2 sparklyr 0.9.4
RevoIOQ 10.0.1 hms 0.4.2 spatial 7.3-11
RevoMods 11.0.1 outils HTML 0.3.6 Cannelures 3.5.2
RevoUtils 11.0.2 htmlwidgets 1.3 Statistiques 3.5.2
RevoUtilsMath 11.0.0 httpuv 1.4.5.1 statistiques4 3.5.2
Askpass 1.1 httr 1.4.0 stringi 1.2.4
assertthat 0.2.0 itérateurs 1.0.11 stringr 1.3.1
rétroportage 1.1.3 jsonlite 1,5 survie 2.43-3
base 3.5.2 plus tard 0.7.5 sys 2.1
base64enc 0.1-3 treillis 0.20-38 tcltk 3.5.2
bindr 0.1.1 lazyeval 0.2.1 tibble 2.0.1
bindrcpp 0.2.2 magrittr 1,5 tidyr 0.8.2
botte 1.3-20 méthodes 3.5.2 tidyselect 0.2.5
balai 0.5.1 mgcv 1.8-26 outils 3.5.2
point de contrôle 0.4.4 mime 0,6 utf8 1.1.4
classe 7.3-14 mnormt 1.5-5 utils 3.5.2
Cli 1.0.1 nlme 3.1-137 flétrir 2.1.2
clipr 0.5.0 nnet 7.3-12 xml2 1.2.0
Grappe 2.0.7-1 openssl 1.2.1 xtable 1.8-3
codetools 0.2-15 parallèle 3.5.2 yaml 2.2.0
compilateur 3.5.2 pilier 1.3.1
config 0,3 pkgconfig 2.0.2

Étapes suivantes

Pour plus d’informations sur Clusters Big Data SQL Server, consultez Présentation des Clusters Big Data SQL Server