read_kafka função que retorna um valor de tabela

Aplica-se a: Databricks SQL Databricks Runtime 13.3 LTS e versões superiores

Lê dados de um cluster Apache Kafka e retorna os dados em forma de tabela.

Pode ler dados de um ou mais tópicos de Kafka. Suporta tanto consultas em lote como ingestão em fluxo contínuo.

Sintaxe

read_kafka([option_key => option_value ] [, ...])

Argumentos

Esta função requer invocação de parâmetro nomeado.

• option_key: O nome da opção a ser configurada. Você deve usar backticks () for options that contain dots (.').
• option_value: Uma expressão constante para definir a opção. Aceita literais e funções escalares.

Devoluções

Registros lidos de um cluster Apache Kafka com o seguinte esquema:

• key BINARY: A chave do disco de Kafka.
• value BINARY NOT NULL: O valor do registo de Kafka.
• topic STRING NOT NULL: O nome do tópico Kafka do qual o registro é lido.
• partition INT NOT NULL: O ID da partição Kafka a partir da qual o registro é lido.
• offset BIGINT NOT NULL: O número do offset do registo no TopicPartitiondo Kafka.
• timestamp TIMESTAMP NOT NULL: Um valor de carimbo de data/hora para o registro. A coluna timestampType define a que corresponde este timestamp.
• timestampType INTEGER NOT NULL: O tipo da marca temporal especificada na coluna timestamp.
• headers ARRAY<STRUCT<key: STRING, VALUE: BINARY>>: Valores de cabeçalho fornecidos como parte do registro (se habilitado).

Exemplos

-- A batch query to read from a topic.
> SELECT value::string as value
  FROM read_kafka(
    bootstrapServers => 'kafka_server:9092',
    subscribe => 'events'
  ) LIMIT 10;

-- Streaming ingestion from Kafka with JSON parsing.
> CREATE OR REFRESH STREAMING TABLE catalog.schema.raw_events AS
  SELECT
    value::string:events,                 -- extract the field `events`
    to_timestamp(value::string:ts) as ts  -- extract the field `ts` and cast to timestamp
  FROM STREAM read_kafka(
    bootstrapServers => 'kafka_server:9092',
    subscribe => 'events'
  );

Opções

Você pode encontrar uma lista detalhada de opções na documentação do Apache Spark .

Opções necessárias

Forneça a opção abaixo para se conectar ao seu cluster Kafka.

Forneça apenas uma das opções abaixo para configurar de quais tópicos do Kafka obter dados.

Opções diversas

read_kafka pode ser usado em consultas em lote e em consultas de streaming. As opções abaixo especificam a que tipo de consulta se aplicam.

Artigos relacionados

• CREATE STREAMING TABLE
• read_files função com valor de tabela
• read_pubsub função de fluxo contínuo de tabela de valores