Compartilhar via

SDK em inglês para Apache Spark

Observação

Este artigo aborda o SDK em inglês para Apache Spark. Este SDK em inglês para Apache Spark não tem suporte diretamente pelo Databricks. Para fornecer comentários, fazer perguntas e relatar problemas, use a guia Problemas no repositório do SDK em inglês para Apache Spark no GitHub.

O SDK em inglês para Apache Spark recebe instruções em inglês e as compila em objetos Spark. Seu objetivo é tornar o Spark mais amigável e acessível, o que permite que você concentre seus esforços na extração de insights de seus dados.

As informações a seguir incluem um exemplo que descreve como você pode usar um notebook Python do Azure Databricks para chamar o SDK em inglês para Apache Spark. Este exemplo usa uma pergunta em inglês simples para orientar o SDK em inglês para Apache Spark para executar uma consulta SQL em uma tabela do workspace do Azure Databricks.

Requisitos

  • O Databricks descobriu que o GPT-4 funciona de forma ideal com o SDK em inglês para Apache Spark. Este artigo usa GPT-4 e pressupõe que você tenha uma chave de API OpenAI associada a um plano de cobrança openai. Para iniciar um plano de cobrança do OpenAI, entre, clique em https://platform.openai.com/account/billing/overviewIniciar plano de pagamento e siga as instruções na tela. Depois de iniciar um plano de faturamento OpenAI, para gerar uma chave de API OpenAI, faça login em https://platform.openai.com/account/api-keys e clique em Criar nova chave secreta.
  • Este exemplo usa um notebook Python do Azure Databricks que você pode usar em um workspace do Azure Databricks conectado a um cluster do Azure Databricks.

Etapa 1: Instalar o pacote do Python para o SDK em inglês para Apache Spark

Na primeira célula do notebook, execute o seguinte código, que instala no recurso de computação anexado a versão mais recente do pacote python para o SDK em inglês para Apache Spark:

%pip install pyspark-ai --upgrade

Etapa 2: Reiniciar o kernel do Python para usar o pacote atualizado

Na segunda célula do notebook, execute o seguinte código, que reinicia o kernel do Python para usar o pacote atualizado do Python para o SDK em inglês do Apache Spark e suas dependências de pacotes atualizadas.

dbutils.library.restartPython()

Etapa 3: Definir sua chave de API OpenAI

Na terceira célula do notebook, execute o código a seguir, que define uma variável de ambiente nomeada OPENAI_API_KEY para o valor da chave da API OpenAI. O SDK em inglês para Apache Spark usa essa chave OpenAPI para autenticar com o OpenAI. Substitua <your-openai-api-key> pelo valor da chave da API OpenAI:

import os

os.environ['OPENAI_API_KEY'] = '<your-openai-api-key>'

Importante

Neste exemplo, para obter velocidade e facilidade de uso, você codifica sua chave de API OpenAI no notebook. Em cenários de produção, é uma prática recomendada de segurança não codificar sua chave de API OpenAI em seus notebooks. Uma abordagem alternativa é definir essa variável de ambiente no cluster anexado. Confira Variáveis de ambiente.

Etapa 4: Definir e ativar a LLM

Na quarta célula do notebook, execute o código a seguir, que define a LLM que você deseja que o SDK em inglês para Apache Spark use e, em seguida, ativa o SDK em inglês para Apache Spark com o modelo selecionado. Para este exemplo, você usa GPT-4. Por padrão, o SDK inglês para Apache Spark procura uma variável de ambiente nomeada OPENAI_API_KEY e usa seu valor para autenticar com o OpenAI para usar GPT-4:

from langchain.chat_models import ChatOpenAI
from pyspark_ai import SparkAI

chatOpenAI = ChatOpenAI(model = 'gpt-4')

spark_ai = SparkAI(llm = chatOpenAI)
spark_ai.activate()

Dica

Para usar o GPT-4 como a LLM padrão, você pode simplificar esse código da seguinte maneira:

from pyspark_ai import SparkAI

spark_ai = SparkAI()
spark_ai.activate()

Etapa 5: Criar um DataFrame de origem

Na quinta célula do notebook, execute o código a seguir, que seleciona todos os dados na tabela no samples.nyctaxi.trips workspace do Azure Databricks e armazena esses dados em um DataFrame otimizado para funcionar com o SDK em inglês para Apache Spark. Este DataFrame é representado aqui pela variável df:

df = spark_ai._spark.sql("SELECT * FROM samples.nyctaxi.trips")

Etapa 6: Consultar o DataFrame usando uma pergunta em inglês simples

Na sexta célula do notebook, execute o código a seguir, que solicita ao SDK inglês para Apache Spark imprimir a distância média da viagem, até o décimo mais próximo, para cada dia durante janeiro de 2016.

df.ai.transform("What was the average trip distance for each day during the month of January 2016? Print the averages to the nearest tenth.").display()

O SDK em inglês para Apache Spark imprime sua análise e resposta final da seguinte maneira:

> Entering new AgentExecutor chain...
Thought: This can be achieved by using the date function to extract the date from the timestamp and then grouping by the date.
Action: query_validation
Action Input: SELECT DATE(tpep_pickup_datetime) as pickup_date, ROUND(AVG(trip_distance), 1) as avg_trip_distance FROM spark_ai_temp_view_2a0572 WHERE MONTH(tpep_pickup_datetime) = 1 AND YEAR(tpep_pickup_datetime) = 2016 GROUP BY pickup_date ORDER BY pickup_date
Observation: OK
Thought:I now know the final answer.
Final Answer: SELECT DATE(tpep_pickup_datetime) as pickup_date, ROUND(AVG(trip_distance), 1) as avg_trip_distance FROM spark_ai_temp_view_2a0572 WHERE MONTH(tpep_pickup_datetime) = 1 AND YEAR(tpep_pickup_datetime) = 2016 GROUP BY pickup_date ORDER BY pickup_date

> Finished chain.

O SDK inglês para Apache Spark executa sua resposta final e imprime os resultados da seguinte maneira:

+-----------+-----------------+
|pickup_date|avg_trip_distance|
+-----------+-----------------+
| 2016-01-01|              3.1|
| 2016-01-02|              3.0|
| 2016-01-03|              3.2|
| 2016-01-04|              3.0|
| 2016-01-05|              2.6|
| 2016-01-06|              2.6|
| 2016-01-07|              3.0|
| 2016-01-08|              2.9|
| 2016-01-09|              2.8|
| 2016-01-10|              3.0|
| 2016-01-11|              2.8|
| 2016-01-12|              2.9|
| 2016-01-13|              2.7|
| 2016-01-14|              3.3|
| 2016-01-15|              3.0|
| 2016-01-16|              3.0|
| 2016-01-17|              2.7|
| 2016-01-18|              2.9|
| 2016-01-19|              3.1|
| 2016-01-20|              2.8|
+-----------+-----------------+
only showing top 20 rows

Próximas etapas

  • Tente criar o DataFrame, representado neste exemplo pela variável df, com dados diferentes.
  • Tente usar diferentes perguntas em inglês simples para a df.ai.transform função.
  • Tente usar diferentes modelos GPT-4. Consulte GPT-4.
  • Explore exemplos de código adicionais. Consulte os recursos adicionais a seguir.

Recursos adicionais

  • Last updated on