Transforme e enriqueça dados com funções de IA

O Microsoft Fabric AI Functions permite que todos os profissionais de negócios (de desenvolvedores a analistas) transformem e enriqueçam seus dados corporativos usando IA generativa.

As funções de IA usam modelos de linguagem grande (LLMs) líderes do setor para resumir, classificar, gerar texto e muito mais. Com uma única linha de código, você pode:

• ai.analyze_sentiment: Detetar o estado emocional do texto de entrada.
• ai.classify: Categorize o texto de entrada de acordo com seus rótulos.
• ai.embed: Gerar representações vetoriais do texto de entrada.
• ai.extract: Extraia tipos específicos de informações do texto de entrada (por exemplo, locais ou nomes).
• ai.fix_grammar: Corrija a ortografia, a gramática e a pontuação do texto de entrada.
• ai.generate_response: Gere respostas com base nas suas próprias instruções.
• ai.similarity: Compare o significado do texto de entrada com um único valor de texto ou com o texto em outra coluna.
• ai.summarize: Obter resumos do texto de entrada.
• ai.translate: Traduza o texto de entrada para outro idioma.

Você pode incorporar essas funções como parte de fluxos de trabalho de ciência de dados e engenharia de dados, esteja trabalhando com pandas ou Spark. Não há uma configuração detalhada nem um gerenciamento de infraestrutura complexo. Você não precisa de nenhum conhecimento técnico específico.

Prerequisites

• Para usar funções de IA com o ponto de extremidade de IA interno no Fabric, o administrador precisa habilitar a opção de locatário para o Copilot e outros recursos que são alimentados pelo Azure OpenAI.
• Dependendo da sua localização, talvez seja necessário habilitar uma configuração de locatário para processamento geográfico cruzado. Saiba mais sobre as regiões disponíveis para o Serviço Azure OpenAI.
• Você precisa de uma capacidade paga de Fabric (F2 ou superior, ou qualquer edição P).

Modelos e fornecedores

As funções de IA suportam agora modelos e fornecedores mais amplos para além dos modelos padrão Azure OpenAI. Pode configurar funções de IA para usar:

• Modelos do Azure OpenAI
• Recursos Azure AI Foundry (incluindo modelos como Claude e LLaMA)

A seleção do modelo e do fornecedor é configurável através da configuração das funções de IA. Para detalhes sobre como configurar e configurar diferentes modelos e fornecedores, consulte a documentação de configuração do pandas e do PySpark.

Introdução às funções de IA

AI Functions pode ser usado com pandas (Python e PySpark runtimes), e com PySpark (PySpark runtime). As etapas de instalação e importação necessárias para cada uma são descritas na seção a seguir, seguidas pelos comandos correspondentes.

Desempenho e concorrência

As funções de IA executam-se agora com concorrência padrão aumentada de 200, permitindo um processamento paralelo mais rápido das operações de IA. Podes ajustar as definições de concorrência por carga de trabalho para otimizar o desempenho com base nas tuas necessidades específicas. Para mais informações sobre a configuração de concorrência e outras definições relacionadas com desempenho, consulte a documentação de configuração para pandas e PySpark.

Instalar dependências

• Pandas (tempo de execução em Python)
  • synapseml_internal e synapseml_core necessária a instalação de arquivos WHL (comandos fornecidos na célula de código a seguir)
  • openai Instalação do pacote necessária (comando fornecido na célula de código a seguir)
• Pandas (tempo de execução do PySpark)
  • openai Instalação do pacote necessária (comando fornecido na célula de código a seguir)
• PySpark (tempo de execução do PySpark)
  • Não é necessária instalação

# The pandas AI functions package requires OpenAI version 1.99.5 or later
%pip install -q --force-reinstall openai==1.99.5 2>/dev/null

# Install latest versions of AI functions library whl
!wget -q https://aka.ms/fabric-aifunctions-whl -O synapseml_internal-latest-py3-none-any.whl
!wget -q https://aka.ms/fabric-synapseml-core-whl -O synapseml_core-latest-py3-none-any.whl

# The pandas AI functions package requires OpenAI version 1.99.5 or later
%pip install -q --force-reinstall openai==1.99.5 synapseml_internal-latest-py3-none-any.whl synapseml_core-latest-py3-none-any.whl

Importar bibliotecas necessárias

A célula de código a seguir importa a biblioteca de funções da IA e suas dependências.

# Required imports
import synapse.ml.aifunc as aifunc
import pandas as pd

import synapse.ml.spark.aifunc as aifunc

# SparkSession with accessor `spark` in PySpark environments is pre-setup and available for use

Aplicar funções de IA

Cada uma das funções a seguir permite que você invoque o ponto de extremidade de IA integrado no Fabric para transformar e enriquecer dados com uma única linha de código. Você pode usar funções de IA para analisar pandas DataFrames ou Spark DataFrames.

Detete sentimentos com ai.analyze_sentiment

A função ai.analyze_sentiment invoca a IA para identificar se o estado emocional expresso pelo texto de entrada é positivo, negativo, misto ou neutro. Se a IA não puder fazer essa determinação, a saída será deixada em branco. Para obter instruções mais detalhadas sobre o uso de ai.analyze_sentiment com pandas, consulte este artigo. Para ai.analyze_sentiment saber mais sobre o PySpark, consulte este artigo.

Parâmetros opcionais

A ai.analyze_sentiment função suporta agora parâmetros opcionais adicionais que permitem personalizar o comportamento da análise de sentimento. Estes parâmetros proporcionam mais controlo sobre como o sentimento é detetado e reportado. Para detalhes sobre parâmetros disponíveis, as suas descrições e valores padrão, consulte a documentação específica de função para pandas e PySpark.

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        "The cleaning spray permanently stained my beautiful kitchen counter. Never again!",
        "I used this sunscreen on my vacation to Florida, and I didn't get burned at all. Would recommend.",
        "I'm torn about this speaker system. The sound was high quality, though it didn't connect to my roommate's phone.",
        "The umbrella is OK, I guess."
    ], columns=["reviews"])

df["sentiment"] = df["reviews"].ai.analyze_sentiment()
display(df)

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("The cleaning spray permanently stained my beautiful kitchen counter. Never again!",),
        ("I used this sunscreen on my vacation to Florida, and I didn't get burned at all. Would recommend.",),
        ("I'm torn about this speaker system. The sound was high quality, though it didn't connect to my roommate's phone.",),
        ("The umbrella is OK, I guess.",)
    ], ["reviews"])

sentiment = df.ai.analyze_sentiment(input_col="reviews", output_col="sentiment")
display(sentiment)

Categorizar texto com ai.classify

A função ai.classify invoca a IA para categorizar o texto de entrada de acordo com os rótulos personalizados que você escolher. Para obter mais informações sobre o uso de ai.classify com pandas, vá para este artigo. Para ai.classify saber mais sobre o PySpark, consulte este artigo.

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        "This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",
        "Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",
        "Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!"
    ], columns=["descriptions"])

df["category"] = df['descriptions'].ai.classify("kitchen", "bedroom", "garage", "other")
display(df)

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",),
        ("Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",),
        ("Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!",)
    ], ["descriptions"])
    
categories = df.ai.classify(labels=["kitchen", "bedroom", "garage", "other"], input_col="descriptions", output_col="categories")
display(categories)

Gerar incorporações vetoriais com ai.embed

A ai.embed função invoca IA para gerar embeddings vetoriais para texto de entrada. As incorporações vetoriais são representações numéricas de texto que captam significado semântico, tornando-as úteis para pesquisa por similaridade, fluxos de trabalho de recuperação e outras tarefas de aprendizagem automática. A dimensionalidade dos vetores de embedding depende do modelo selecionado. Para obter instruções mais detalhadas sobre o uso de ai.embed com pandas, consulte este artigo. Para ai.embed saber mais sobre o PySpark, consulte este artigo.

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        "This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",
        "Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",
        "Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!"
    ], columns=["descriptions"])
    
df["embed"] = df["descriptions"].ai.embed()
display(df)

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",), 
        ("Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",), 
        ("Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!",) 
    ], ["descriptions"])

embed = df.ai.embed(input_col="descriptions", output_col="embed")
display(embed)

Extrair entidades com ai.extract

A ai.extract função invoca IA para digitalizar texto de entrada e extrair tipos específicos de informações que são designados por rótulos que você escolhe (por exemplo, locais ou nomes). Para obter instruções mais detalhadas sobre o uso de ai.extract com pandas, consulte este artigo. Para ai.extract saber mais sobre o PySpark, consulte este artigo.

Rótulos estruturados

A ai.extract função suporta definições estruturadas de etiquetas através do esquema ExtractLabel. Pode fornecer rótulos com definições estruturadas que incluam não só o nome da etiqueta, mas também informações e atributos do tipo. Esta abordagem estruturada melhora a consistência da extração e permite que a função retorne colunas de saída estruturadas correspondentemente. Por exemplo, pode especificar etiquetas com metadados adicionais para orientar o processo de extração de forma mais precisa. Consulte a documentação detalhada sobre pandas e PySpark para exemplos de utilização de etiquetas estruturadas.

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        "MJ Lee lives in Tucson, AZ, and works as a software engineer for Microsoft.",
        "Kris Turner, a nurse at NYU Langone, is a resident of Jersey City, New Jersey."
    ], columns=["descriptions"])

df_entities = df["descriptions"].ai.extract("name", "profession", "city")
display(df_entities)

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("MJ Lee lives in Tucson, AZ, and works as a software engineer for Microsoft.",),
        ("Kris Turner, a nurse at NYU Langone, is a resident of Jersey City, New Jersey.",)
    ], ["descriptions"])

df_entities = df.ai.extract(labels=["name", "profession", "city"], input_col="descriptions")
display(df_entities)

Corrigir gramática com ai.fix_grammar

A função ai.fix_grammar invoca IA para corrigir a ortografia, gramática e pontuação do texto de entrada. Para obter instruções mais detalhadas sobre o uso de ai.fix_grammar com pandas, consulte este artigo. Para ai.fix_grammar saber mais sobre o PySpark, consulte este artigo.

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        "There are an error here.",
        "She and me go weigh back. We used to hang out every weeks.",
        "The big picture are right, but you're details is all wrong."
    ], columns=["text"])

df["corrections"] = df["text"].ai.fix_grammar()
display(df)

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("There are an error here.",),
        ("She and me go weigh back. We used to hang out every weeks.",),
        ("The big picture are right, but you're details is all wrong.",)
    ], ["text"])

corrections = df.ai.fix_grammar(input_col="text", output_col="corrections")
display(corrections)

Responda a solicitações personalizadas do usuário com ai.generate_response

A função ai.generate_response invoca IA para gerar texto personalizado com base em suas próprias instruções. Para obter instruções mais detalhadas sobre o uso de ai.generate_response com pandas, consulte este artigo. Para ai.generate_response saber mais sobre o PySpark, consulte este artigo.

Parâmetros opcionais

A ai.generate_response função agora suporta um response_format parâmetro que permite solicitar saída JSON estruturada. Pode especificar response_format='json' para receber respostas em formato JSON. Além disso, pode fornecer um esquema JSON para impor uma estrutura de saída específica, garantindo que a resposta gerada está em conformidade com a forma de dados esperada. Isto é particularmente útil quando se precisa de uma saída previsível e legível por máquina a partir da função de IA. Para exemplos detalhados e padrões de utilização, consulte a documentação sobre pandas e PySpark.

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        ("Scarves"),
        ("Snow pants"),
        ("Ski goggles")
    ], columns=["product"])

df["response"] = df.ai.generate_response("Write a short, punchy email subject line for a winter sale.")
display(df)

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("Scarves",),
        ("Snow pants",),
        ("Ski goggles",)
    ], ["product"])

responses = df.ai.generate_response(prompt="Write a short, punchy email subject line for a winter sale.", output_col="response")
display(responses)

Calcular semelhança com ai.similarity

A ai.similarity função compara cada valor de texto de entrada com um texto de referência comum ou com o valor correspondente em outra coluna (modo pareado). Os valores do escore de similaridade de saída são relativos, e podem variar de -1 (opostos) a 1 (idênticos). Uma pontuação indica 0 que os valores não estão relacionados em significado. Para obter instruções mais detalhadas sobre o uso de ai.similarity com pandas, consulte este artigo. Para ai.similarity saber mais sobre o PySpark, consulte este artigo.

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([ 
        ("Bill Gates", "Technology"), 
        ("Satya Nadella", "Healthcare"), 
        ("Joan of Arc", "Agriculture") 
    ], columns=["names", "industries"])
    
df["similarity"] = df["names"].ai.similarity(df["industries"])
display(df)

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("Bill Gates", "Technology"), 
        ("Satya Nadella", "Healthcare"), 
        ("Joan of Arc", "Agriculture")
    ], ["names", "industries"])

similarity = df.ai.similarity(input_col="names", other_col="industries", output_col="similarity")
display(similarity)

Resumir texto com ai.summarize

A função ai.summarize invoca IA para gerar resumos de texto de entrada (valores de uma única coluna de um DataFrame ou valores de linha em todas as colunas). Para obter instruções mais detalhadas sobre o uso de ai.summarize com pandas, consulte este artigo. Para ai.summarize saber mais sobre o PySpark, consulte este artigo.

Personalização de resumos com instruções

A ai.summarize função suporta agora um instructions parâmetro que permite orientar o tom, o comprimento e o foco dos resumos gerados. Pode fornecer instruções personalizadas para orientar como o resumo deve ser criado, como especificar um estilo específico, público-alvo ou nível de detalhe. Quando as instruções não são fornecidas, a função utiliza o comportamento de sumarização por defeito. Para exemplos de utilização do instructions parâmetro, consulte a documentação detalhada do pandas e do PySpark.

# This code uses AI. Always review output for mistakes.

df= pd.DataFrame([
        ("Microsoft Teams", "2017",
        """
        The ultimate messaging app for your organization—a workspace for real-time 
        collaboration and communication, meetings, file and app sharing, and even the 
        occasional emoji! All in one place, all in the open, all accessible to everyone.
        """),
        ("Microsoft Fabric", "2023",
        """
        An enterprise-ready, end-to-end analytics platform that unifies data movement, 
        data processing, ingestion, transformation, and report building into a seamless, 
        user-friendly SaaS experience. Transform raw data into actionable insights.
        """)
    ], columns=["product", "release_year", "description"])

df["summaries"] = df["description"].ai.summarize()
display(df)

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("Microsoft Teams", "2017",
        """
        The ultimate messaging app for your organization—a workspace for real-time 
        collaboration and communication, meetings, file and app sharing, and even the 
        occasional emoji! All in one place, all in the open, all accessible to everyone.
        """,),
        ("Microsoft Fabric", "2023",
        """
        An enterprise-ready, end-to-end analytics platform that unifies data movement, 
        data processing, ingestion, transformation, and report building into a seamless, 
        user-friendly SaaS experience. Transform raw data into actionable insights.
        """,)
    ], ["product", "release_year", "description"])

summaries = df.ai.summarize(input_col="description", output_col="summary")
display(summaries)

Traduzir o texto com ai.translate

A função ai.translate invoca a IA para traduzir o texto de entrada para um novo idioma de sua escolha. Para obter instruções mais detalhadas sobre o uso de ai.translate com pandas, consulte este artigo. Para ai.translate saber mais sobre o PySpark, consulte este artigo.

# This code uses AI. Always review output for mistakes. 

df = pd.DataFrame([
        "Hello! How are you doing today?", 
        "Tell me what you'd like to know, and I'll do my best to help.", 
        "The only thing we have to fear is fear itself."
    ], columns=["text"])

df["translations"] = df["text"].ai.translate("spanish")
display(df)

# This code uses AI. Always review output for mistakes. 

df = spark.createDataFrame([
        ("Hello! How are you doing today?",),
        ("Tell me what you'd like to know, and I'll do my best to help.",),
        ("The only thing we have to fear is fear itself.",),
    ], ["text"])

translations = df.ai.translate(to_lang="spanish", input_col="text", output_col="translations")
display(translations)

Veja estatísticas de utilização com ai.stats

As funções de IA do Fabric fornecem uma forma incorporada de inspecionar estatísticas de utilização e execução para qualquer Série ou DataFrame gerada por IA. Pode aceder a estas métricas apelando ai.stats para o resultado devolvido por uma função de IA.

ai.stats devolve um DataFrame com as seguintes colunas:

• num_successful – Número de linhas processadas com sucesso pela função de IA.
• num_exceptions – Número de linhas que encontraram uma exceção durante a execução. Estas linhas são representadas como instâncias de aifunc.ExceptionResult.
• num_unevaluated – Número de linhas que não foram processadas porque uma exceção anterior tornou impossível continuar a avaliação. Estas linhas são instâncias de aifunc.NotEvaluatedResult.
• num_harmful – Número de linhas bloqueadas pelo filtro de conteúdo Azure OpenAI. Estas linhas são instâncias de aifunc.FilterResult.
• prompt_tokens – Número total de tokens de entrada usados para a chamada de função de IA.
• completion_tokens – Número total de tokens de saída gerados pelo modelo.

Conteúdo relacionado

• Detetar sentimentos com ai.analyze_sentiment in pandas ou ai.analyze_sentiment in pyspark.

• Categorizar texto com ai.classify in pandas ou ai.classify in PySpark.

• Gerar embeddings vetoriais com ai.embed in pandas ou ai.embed in PySpark.

• Extraia entidades com ai.extract in pandas ou ai.extract in PySpark.

• Corrija a gramática com ai.fix_grammar in pandas ou ai.fix_grammar in PySpark.

• Responda a solicitações personalizadas do usuário com ai.generate_response in pandas ou ai.generate_response in PySpark.

• Calcular semelhança com ai.similarity in pandas ou ai.similarity in PySpark.

• Resumir texto com ai.summarize in pandas ou ai.summarize in PySpark.

• Traduzir o texto com ai.translate in pandas ou ai.translate in PySpark.

• Personalize a configuração de funções de IA em pandas ou a configuração de funções de IA no PySpark .

• Perdemos um recurso que você precisa? Sugira isto no fórum Fabric Ideas.