Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Aplica-se a:
SQL Server 2019 (15.x)
As notas sobre a versão a seguir se aplicam à Clusters de Big Data do SQL Server 2019 CU12 (atualização cumulativa 12).
Configurações testadas para a CU12
A CU12 dos clusters de Big Data do SQL Server foi testada nas seguintes combinações de ambiente:
| Sistema Operacional do Contêiner | API do Kubernetes | Tempo de execução | Armazenamento de Dados | Armazenamento de log |
|---|---|---|---|---|
| Ubuntu 20.04 LTS | 1.20 | contêiner 1.4.3 Docker 20.10.2 CRI-O 1.20.0 |
Somente em blocos | Somente em blocos |
White papers de arquitetura de referência para Clusters de Big Data do SQL Server estão disponíveis nas seguintes páginas:
- https://www.microsoft.com/sql-server/sql-server-2019
- Parceiros de Clusters de Big Data do SQL Server
Ambiente do sistema
- Sistema operacional: Ubuntu 20.04.2 LTS
-
SQL Server: 15.0.4153.13
- Java: Azul Zulu JRE 11.0.9.1
- Python: 3.7.2 (miniconda 4.5.12)
- R: Microsoft R 3.5.2
-
Spark: 2.4
- Java: Azul Zulu JRE 1.8.0_275
- Scala: 2.11
- Python: 3.7.2 (miniconda 4.5.12)
- R: Microsoft R 3.5.2
- Conector SQL do Spark: 1.0.2
Versões de componente de OSS inseridas
| Componente | Versão |
|---|---|
| collectd | 5.12 |
| InfluxDB | 1.8.3 |
| Elasticsearch | 7.9.1 |
| Segurança do OpenDistro para Elasticsearch | 1.10.1.0 |
| Fluent Bit | 1.6.3 |
| Grafana | 7.3.6 |
| Hadoop HDFS DataNode HDFS NameNode |
3.1 |
| Hive (Metastore) | 2.3 |
| Kibana | 7.9.1 |
| Knox | 1.4.0 |
| Livy | 0,6 |
| Openresty (Nginx) | 1.17.8-2 |
| Spark | 2,4 |
| Telegraf | 1.16.1 |
| ZooKeeper | 3.5.8 |
Bibliotecas do Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| revoscalepy | 9.4.7 | pycurl | 7.43.0.2 | jupyter-client | 5.2.4 |
| microsoftml (plataforma de Machine Learning da Microsoft) | 9.4.7 | pycrypto | 2.6.1 | jsonschema | 2.6.0 |
| zipp | 0.5.2 | pycparser | 2.19 | Jinja2 | 2.10.1 |
| zict | 1.0.0 | pycosat | 0.6.3 | Jedi | 0.15.1 |
| xlwt | 1.3.0 | Py | 1.8.0 | jdcal | 1.4 |
| XlsxWriter | 1.1.2 | ptyprocess | 0.6.0 | itsdangerous | 1.1.0 |
| xlrd | 1.2.0 | psutil | 5.4.8 | ipywidgets (biblioteca Python para widgets interativos) | 7.4.2 |
| envolto | 1.11.2 | kit de ferramentas de prompt | 2.0.7 | ipython | 7.2.0 |
| widgetsnbextension | 3.4.2 | prometheus-client | 0.7.1 | ipython-genutils | 0.2.0 |
| roda | 0.33.4 | Pluggy | 0.12.0 | ipykernel | 4.9.0 |
| Ferramentas | 0.15.5 | enredo | 4.0.0 | importlib-metadata | 0,19 |
| codificações web | 0.5.1 | pkginfo | 1.5.0.1 | imagesize | 1.1.0 |
| wcwidth | 0.1.7 | caroço | 18.1 | imageio | 2.5.0 |
| urllib3 | 1.24.2 | Almofada | 6.1.0 | idna | 2.8 |
| unicodecsv | 0.14.1 | pickleshare | 0.7.5 | heapdict | 1.0.0 |
| traitlets | 4.3.2 | pexpect | 4.7.0 | hdijupyterutils | 0.12.9 |
| tornado | 6.0.3 | Patsy | 0.5.1 | h5py | 2.9.0 |
| toolz | 0.9.0 | pathlib2 | 2.3.3 | gmpy2 | 2.0.8 |
| caminho de teste | 0.4.2 | path.py | 11.5.0 | Flask | 1.1.1 |
| terminado | 0.8.2 | parte D | 0.3.9 | Flask-Cors | 3.0.8 |
| tblib | 1.4.0 | parso | 0.5.1 | fastcache (cache rápido) | 1.1.0 |
| tabelas | 3.5.2 | pandocfilters | 1.4.2 | et-xmlfile | 1.0.1 |
| sympy | 1.3 | pandasql | 0.7.3 | pontos de entrada | 0,3 |
| statsmodels (biblioteca para modelos estatísticos em Python) | 0.9.0 | Pandas | 0.23.4 | docutils | 0.15.2 |
| sqlparse | 0.2.4 | pandas-datareader | 0.7.0 | Distribuído | 1.28.1 |
| SQLAlchemy | 1.2.15 | empacotamento | 19.1 | endro | 0.2.8.2 |
| sphinxcontrib-websupport | 1.1.2 | openpyxl | 2.5.12 | defusedxml | 0.6.0 |
| Esfinge | 1.8.2 | olefile | 0.46 | decorador | 4.4.0 |
| sparkmagic | 0.12.6 | Odo | 0.5.1 | formato de dados | 0.5.4 |
| sortedcontainers | 2.1.0 | numpydoc | 0.8.0 | dask | 1.2.2 |
| SnowballStemmer | 1.9.0 | numpy | 1.15.4 | citoolz | 0.9.0.1 |
| seis | 1.12.0 | numexpr | 2.6.9 | Cython | 0.29.2 |
| Ferramentas de configuração | 41.0.1 | numba | 0.42.0 | ciclista | 0.10.0 |
| Send2Trash | 1.5.0 | caderno | 5.7.8 | criptografia | 2,5 |
| seaborn (biblioteca de visualização em Python) | 0.9.0 | nltk | 3.4 | configobj | 5.0.6 |
| Scipy | 1.1.0 | networkx | 2,2 | conda | 4.5.12 |
| scikit-aprender | 0.20.2 | nbformat | 4.4.0 | cloudpickle | 0.6.1 |
| scikit-image | 0.14.1 | nbconvert | 5.5.0 | Clique | 7,0 |
| ruamel-yaml | 0.15.46 | despacho múltiplo | 0.6.0 | peito | 0.2.3 |
| tentando novamente | 1.3.3 | msgpack | 0.6.1 | chardet | 3.0.4 |
| Solicitações | 2.21.0 | mpmath | 1.1.0 | cffi | 1.12.3 |
| requests-kerberos | 0.12.0 | more-itertools | 7.2.0 | certifi | 2019.6.16 |
| qtconsole | 4.5.3 | zombar | 3.0.5 | Gargalo | 1.2.1 |
| pyzmq | 18.1.0 | mkl-random | 1.0.2 | bokeh | 1.0.3 |
| PyYAML | 5.1.2 | mkl-fft | 1.0.10 | alvejante | 3.1.0 |
| PyWavelets | 1.0.3 | mistune | 0.8.4 | brilhar | 0.11.3 |
| Pytz | 2019.2 | matplotlib | 3.0.2 | backports.os | 0.1.1 |
| python-dateutil | 2.8.0 | MarkupSafe | 1.1.0 | chamada de retorno | 0.1.0 |
| pytest | 4.0.2 | lxml | 4.3.0 | Babel | 2.7.0 |
| PySocks | 1.7.0 | medalha | 0.2.0 | azureml-model-management-sdk | 1.0.1b10 |
| pyparsing | 2.4.2 | llvmlite | 0.27.0 | autovizwidget | 0.12.9 |
| pyOpenSSL | 19.0.0 | liac-arff | 2.4.0 | atributos | 19.1.0 |
| pyodbc | 4.0.25 | kiwisolver | 1.1.0 | atomicwrites | 1.3.0 |
| pykerberos | 1.2.1 | jupyter | 1.0.0 | asn1crypto | 0.24.0 |
| PyJWT | 1.7.1 | jupyter-core | 4.5.0 | alabastro | 0.7.12 |
| Pygments | 2.4.2 | jupyter-console | 6.0.0 | Adal | 1.2.2 |
Bibliotecas R instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| API de Compatibilidade | 1.1.0 | giz de cera | 1.3.4 | plogr | 0.2.0 |
| MicrosoftML | 9.4.7 | encurvar | 3.3 | plyr | 1.8.4 |
| RevoPemaR | 10.0.0 | conjuntos de dados | 3.5.2 | PNG | 0.1-7 |
| RevoScaleR | 9.4.7 | dbplyr | 1.2.2 | Promessas | 1.0.1 |
| RevoTreeView | 10.0.0 | deployrRserve | 9.0.0 | Psicologia | 1.8.10 |
| doRSR | 10.0.0 | digerir | 0.6.18 | purrr | 0.2.5 |
| mrsdeploy | 1.1.3 | doParallel | 1.0.14 | r2d3 | 0.2.3 |
| sqlrutils | 1.0.0 | dplyr | 0.7.8 | rappdirs | 0.3.1 |
| BH | 1.69.0-1 | fansi | 0.4.0 | Readr | 1.3.1 |
| DBI | 1.0.0 | para cada | 1.5.1 | remodelar2 | 1.4.3 |
| KernSmooth | 2.23-15 | estrangeiro | 0.8-71 | rlang | 0.3.1 |
| MISSA | 7.3-51.1 | forja | 0.1.0 | rpart | 4.1-13 |
| Matriz | 1.2-15 | genéricos | 0.0.2 | rprojroot | 1.3-2 |
| MicrosoftR | 3.5.2 | cola | 1.3.0 | rstudioapi | 0.9.0 |
| R6 | 2.3.0 | grDevices | 3.5.2 | brilhante | 1.2.0 |
| RUnit | 0.4.26 | Gráficos | 3.5.2 | sourcetools | 0.1.7 |
| Rcpp | 1.0.0 | grade | 3.5.2 | sparklyr | 0.9.4 |
| RevoIOQ | 10.0.1 | Hms | 0.4.2 | espacial | 7.3-11 |
| RevoMods | 11.0.1 | ferramentas HTML | 0.3.6 | Splines | 3.5.2 |
| RevoUtils | 11.0.2 | htmlwidgets | 1.3 | estatísticas | 3.5.2 |
| RevoUtilsMath | 11.0.0 | httpuv | 1.4.5.1 | estatísticas4 | 3.5.2 |
| AskPass | 1.1 | httr | 1.4.0 | stringi | 1.2.4 |
| assertthat | 0.2.0 | Iteradores | 1.0.11 | stringr | 1.3.1 |
| backports | 1.1.3 | jsonlite | 1.5 | sobrevivência | 2.43-3 |
| base | 3.5.2 | posterior | 0.7.5 | sys | 2.1 |
| base64enc | 0.1-3 | treliça | 0.20-38 | tcltk | 3.5.2 |
| bindr (aplicativo Bindr) | 0.1.1 | lazyeval | 0.2.1 | tibble | 2.0.1 |
| bindrcpp | 0.2.2 | magrittr | 1.5 | tidyr | 0.8.2 |
| ciar | 1.3-20 | Métodos | 3.5.2 | tidyselect | 0.2.5 |
| vassoura | 0.5.1 | mgcv | 1.8-26 | Ferramentas | 3.5.2 |
| ponto de controle | 0.4.4 | mímica | 0,6 | utf8 | 1.1.4 |
| classe | 7.3-14 | mnormt | 1.5-5 | utilitários | 3.5.2 |
| Interface de Linha de Comando (CLI) | 1.0.1 | nlme | 3.1-137 | murchar | 2.1.2 |
| clipr | 0.5.0 | nnet | 7.3-12 | xml2 | 1.2.0 |
| agrupamento | 2.0.7-1 | openssl | 1.2.1 | xtable | 1.8-3 |
| codetools | 0.2-15 | paralelo | 3.5.2 | YAML | 2.2.0 |
| compilador | 3.5.2 | coluna | 1.3.1 | ||
| configuração | 0,3 | pkgconfig | 2.0.2 |
Próximas etapas
Para obter mais informações sobre Clusters de Big Data do SQL Server, confira O que são Clusters de Big Data do SQL Server 2019