Monitorizar os Serviços de Aprendizagem Automática do SQL Server usando visões de gestão dinâmica (DMVs)

Aplica-se a: SQL Server 2016 (13.x) e versões posteriores Instância Gerenciada SQL do Azure

Use exibições de gerenciamento dinâmico (DMVs) para monitorar a execução de scripts externos (Python e R), recursos usados, diagnosticar problemas e ajustar o desempenho nos Serviços de Aprendizado de Máquina do SQL Server.

Neste artigo, você encontrará os DMVs específicos para os Serviços de Aprendizado de Máquina do SQL Server. Você também encontrará exemplos de consultas que mostram:

• Definições e opções de configuração para aprendizagem automática
• Sessões ativas executando scripts Python ou R externos
• Estatísticas de execução para o tempo de execução externo para Python e R
• Contadores de desempenho para scripts externos
• Uso de memória para o SO, SQL Server e pools de recursos externos
• Configuração de memória para SQL Server e pools de recursos externos
• Pools de recursos do Administrador de Recursos, incluindo pools de recursos externos
• Pacotes instalados para Python e R

Para obter mais informações gerais sobre DMVs, consulte Vistas de Gestão Dinâmica do Sistema.

Visualizações de gerenciamento dinâmico

As exibições de gerenciamento dinâmico a seguir podem ser usadas ao monitorar cargas de trabalho de aprendizado de máquina no SQL Server. Para consultar os DMVs, você precisa de VIEW SERVER STATE permissão na instância.

Para obter informações sobre como monitorar instâncias do SQL Server, consulte Exibições de catálogo e Exibições de gerenciamento dinâmico relacionadas ao administrador de recursos.

Definições e configuração

Veja a definição de instalação e as opções de configuração dos Serviços de Aprendizado de Máquina.

Execute a consulta abaixo para obter essa saída. Para obter mais informações sobre as exibições e funções usadas, consulte sys.dm_server_registry, sys.configurations e SERVERPROPERTY.

SELECT CAST(SERVERPROPERTY('IsAdvancedAnalyticsInstalled') AS INT) AS IsMLServicesInstalled
    , CAST(value_in_use AS INT) AS ExternalScriptsEnabled
    , COALESCE(SIGN(SUSER_ID(CONCAT (
                    CAST(SERVERPROPERTY('MachineName') AS NVARCHAR(128))
                    , '\SQLRUserGroup'
                    , CAST(serverproperty('InstanceName') AS NVARCHAR(128))
                    ))), 0) AS ImpliedAuthenticationEnabled
    , COALESCE((
            SELECT CAST(r.value_data AS INT)
            FROM sys.dm_server_registry AS r
            WHERE r.registry_key LIKE 'HKLM\Software\Microsoft\Microsoft SQL Server\%\SuperSocketNetLib\Tcp'
            AND r.value_name = 'Enabled'
            ), - 1) AS IsTcpEnabled
FROM sys.configurations
WHERE name = 'external scripts enabled';

A consulta retorna as seguintes colunas:

Sessões ativas

Exiba as sessões ativas executando scripts externos.

Execute a consulta abaixo para obter essa saída. Para obter mais informações sobre as exibições de gerenciamento dinâmico usadas, consulte sys.dm_exec_requests, sys.dm_external_script_requests e sys.dm_exec_sessions.

SELECT r.session_id, r.blocking_session_id, r.status, DB_NAME(s.database_id) AS database_name
    , s.login_name, r.wait_time, r.wait_type, r.last_wait_type, r.total_elapsed_time, r.cpu_time
    , r.reads, r.logical_reads, r.writes, er.language, er.degree_of_parallelism, er.external_user_name
FROM sys.dm_exec_requests AS r
INNER JOIN sys.dm_external_script_requests AS er
ON r.external_script_request_id = er.external_script_request_id
INNER JOIN sys.dm_exec_sessions AS s
ON s.session_id = r.session_id;

A consulta retorna as seguintes colunas:

Estatísticas de execução

Visualize as estatísticas de execução para o tempo de execução externo para R e Python. Apenas estatísticas de funções de pacote RevoScaleR, revoscalepy ou microsoftml estão disponíveis no momento.

Execute a consulta abaixo para obter essa saída. Para obter mais informações sobre o modo de exibição de gerenciamento dinâmico usado, consulte sys.dm_external_script_execution_stats. A consulta retorna apenas funções que foram executadas mais de uma vez.

SELECT language, counter_name, counter_value
FROM sys.dm_external_script_execution_stats
WHERE counter_value > 0
ORDER BY language, counter_name;

A consulta retorna as seguintes colunas:

Contadores de desempenho

Exiba os contadores de desempenho relacionados à execução de scripts externos.

Execute a consulta abaixo para obter essa saída. Para obter mais informações sobre o modo de exibição de gerenciamento dinâmico usado, consulte sys.dm_os_performance_counters.

SELECT counter_name, cntr_value
FROM sys.dm_os_performance_counters 
WHERE object_name LIKE '%External Scripts%'

sys.dm_os_performance_counters produz os seguintes contadores de desempenho para scripts externos:

Utilização da memória

Exiba informações sobre a memória usada pelo sistema operacional, pelo SQL Server e pelos pools externos.

Execute a consulta abaixo para obter essa saída. Para obter mais informações sobre as exibições de gerenciamento dinâmico usadas, consulte sys.dm_resource_governor_external_resource_pools e sys.dm_os_sys_info.

SELECT physical_memory_kb, committed_kb
    , (SELECT SUM(peak_memory_kb)
        FROM sys.dm_resource_governor_external_resource_pools AS ep
        ) AS external_pool_peak_memory_kb
FROM sys.dm_os_sys_info;

A consulta retorna as seguintes colunas:

Configuração de memória

Exiba informações sobre a configuração máxima de memória em porcentagem do SQL Server e pools de recursos externos. Se o SQL Server estiver sendo executado com o valor padrão de max server memory (MB), ele será considerado como 100% da memória do sistema operacional.

Execute a consulta abaixo para obter essa saída. Para obter mais informações sobre os modos de exibição usados, consulte sys.configurations e sys.dm_resource_governor_external_resource_pools.

SELECT 'SQL Server' AS name
    , CASE CAST(c.value AS BIGINT)
        WHEN 2147483647 THEN 100
        ELSE (SELECT CAST(c.value AS BIGINT) / (physical_memory_kb / 1024.0) * 100 FROM sys.dm_os_sys_info)
        END AS max_memory_percent
FROM sys.configurations AS c
WHERE c.name LIKE 'max server memory (MB)'
UNION ALL
SELECT CONCAT ('External Pool - ', ep.name) AS pool_name, ep.max_memory_percent
FROM sys.dm_resource_governor_external_resource_pools AS ep;

A consulta retorna as seguintes colunas:

Conjuntos de recursos

No Administrador de Recursos do SQL Server, um pool de recursos representa um subconjunto dos recursos físicos de uma instância. Você pode especificar limites na quantidade de CPU, E/S física e memória que as solicitações de aplicativos de entrada, incluindo a execução de scripts externos, podem usar dentro do pool de recursos. Exiba os pools de recursos usados para o SQL Server e scripts externos.

Execute a consulta abaixo para obter essa saída. Para obter mais informações sobre as exibições de gerenciamento dinâmico usadas, consulte sys.dm_resource_governor_resource_pools e sys.dm_resource_governor_external_resource_pools.

SELECT CONCAT ('SQL Server - ', p.name) AS pool_name
    , p.total_cpu_usage_ms, p.read_io_completed_total, p.write_io_completed_total
FROM sys.dm_resource_governor_resource_pools AS p
UNION ALL
SELECT CONCAT ('External Pool - ', ep.name) AS pool_name
    , ep.total_cpu_user_ms, ep.read_io_count, ep.write_io_count
FROM sys.dm_resource_governor_external_resource_pools AS ep;

A consulta retorna as seguintes colunas:

Pacotes instalados

Você pode exibir os pacotes R e Python instalados nos Serviços de Aprendizado de Máquina do SQL Server executando um script R ou Python que os produz.

Pacotes instalados para R

Exiba os pacotes R instalados nos Serviços de Aprendizado de Máquina do SQL Server.

Execute a consulta abaixo para obter essa saída. A consulta usa um script R para determinar pacotes R instalados com o SQL Server.

EXECUTE sp_execute_external_script @language = N'R'
, @script = N'
OutputDataSet <- data.frame(installed.packages()[,c("Package", "Version", "Depends", "License", "LibPath")]);'
WITH result sets((Package NVARCHAR(255), Version NVARCHAR(100), Depends NVARCHAR(4000)
    , License NVARCHAR(1000), LibPath NVARCHAR(2000)));

As colunas retornadas são:

Pacotes instalados para Python

Exiba os pacotes Python instalados nos Serviços de Aprendizado de Máquina do SQL Server.

Execute a consulta abaixo para obter essa saída. A consulta usa um script Python para determinar os pacotes Python instalados com o SQL Server.

EXECUTE sp_execute_external_script @language = N'Python'
, @script = N'
import pkg_resources
import pandas
OutputDataSet = pandas.DataFrame(sorted([(i.key, i.version, i.location) for i in pkg_resources.working_set]))'
WITH result sets((Package NVARCHAR(128), Version NVARCHAR(128), Location NVARCHAR(1000)));

As colunas retornadas são:

Próximos passos

• Eventos estendidos para aprendizado de máquina
• Vistas de gerenciamento dinâmico relacionadas ao Gestor de Recursos
• Visualizações de gerenciamento dinâmico do sistema
• Monitorar o aprendizado de máquina usando relatórios personalizados no Management Studio