read_kafka funkcja wartości tabeli

Dotyczy: Databricks SQL Databricks Runtime 13.3 LTS i nowsze

Odczytuje dane z klastra platformy Apache Kafka i zwraca dane w postaci tabelarycznej.

Może odczytywać dane z co najmniej jednego tematu platformy Kafka. Obsługuje zarówno zapytania wsadowe, jak i przetwarzanie strumieniowe.

Składnia

read_kafka([option_key => option_value ] [, ...])

Argumenty

Ta funkcja wymaga wywołania nazwanego parametru.

• option_key: nazwa opcji do skonfigurowania. Należy użyć backticks () for options that contain dots (.').
• option_value: wyrażenie stałe do ustawienia opcji. Akceptuje literały i funkcje skalarne.

Zwraca

Rekordy odczytane z klastra platformy Apache Kafka z następującym schematem:

• key BINARY: Klucz rekordu Kafka.
• value BINARY NOT NULL: wartość rekordu Kafka.
• topic STRING NOT NULL: nazwa tematu w Kafka, z którego jest odczytywany rekord.
• partition INT NOT NULL: Identyfikator partycji Kafka, z której jest odczytywany rekord.
• offset BIGINT NOT NULL: numer offsetu rekordu w Kafka TopicPartition.
• timestamp TIMESTAMP NOT NULL: wartość znacznika czasu dla rekordu. Kolumna timestampType definiuje, co odpowiada znacznikowi czasu.
• timestampType INTEGER NOT NULL: typ znacznika czasu określonego w kolumnie timestamp.
• headers ARRAY<STRUCT<key: STRING, VALUE: BINARY>>: wartości nagłówka podane jako część rekordu (jeśli jest włączone).

Przykłady

-- A batch query to read from a topic.
> SELECT value::string as value
  FROM read_kafka(
    bootstrapServers => 'kafka_server:9092',
    subscribe => 'events'
  ) LIMIT 10;

-- Streaming ingestion from Kafka with JSON parsing.
> CREATE OR REFRESH STREAMING TABLE catalog.schema.raw_events AS
  SELECT
    value::string:events,                 -- extract the field `events`
    to_timestamp(value::string:ts) as ts  -- extract the field `ts` and cast to timestamp
  FROM STREAM read_kafka(
    bootstrapServers => 'kafka_server:9092',
    subscribe => 'events'
  );

Opcje

Szczegółową listę opcji można znaleźć w dokumentacji platformy Apache Spark .

Wymagane opcje

Podaj poniższą opcję nawiązywania połączenia z klastrem platformy Kafka.

Podaj tylko jedną z poniższych opcji, aby skonfigurować tematy platformy Kafka do ściągania danych.

Różne opcje

read_kafka można używać w zapytaniach wsadowych i w zapytaniach przesyłanych strumieniowo. Poniższe opcje określają, do którego typu zapytania mają zastosowanie.

Powiązane artykuły

• CREATE STREAMING TABLE
• read_files funkcja zwracająca wartości tabeli
• read_pubsub funkcja przesyłania strumieniowego o wartości tabelowej