事件中心数据连接（预览版）

Microsoft云迁移工厂（CMF）计划旨在帮助客户迁移到 Fabric。 该计划向客户免费提供动手键盘资源。 这些资源在 6-8 周内分配，并具有预定义和同意的范围。 客户提名可以通过 Microsoft 帐户团队接受，或者直接提交《帮助请求》给 CMF 团队。

Azure 事件中心是大数据流式处理平台和事件引入服务。 Azure Synapse 数据探索器提供从由客户管理的事件中心持续摄取。

事件中心引入管道通过几个步骤将事件传输到 Azure Synapse 数据资源管理器。 首先在 Azure 门户中创建事件中心。 然后，在 Azure Synapse 数据资源管理器中创建目标表，其中 特定格式的数据将使用给定 的引入属性引入。 事件中心连接需要知道 事件路由。 数据根据 事件系统属性映射嵌入所选属性。 创建与事件中心的连接，以创建事件中心和发送事件。 可以通过 Azure 门户使用 C# 或 Python 以编程方式管理此过程，也可以使用 Azure 资源管理器模板来这样做。

有关 Azure Synapse 数据资源管理器中的数据引入的一般信息，请参阅 Azure Synapse 数据资源管理器数据引入概述。

数据格式

• 将以 EventData 对象的形式从事件中心读取数据。

• 请参阅支持的格式。

  注释

  事件中心不支持.raw格式。

• 可使用 GZip 压缩算法来压缩数据。 指定Compression在引入属性中。

  • 压缩格式（Avro、Parquet、ORC）不支持数据压缩。
  • 压缩数据不支持自定义编码和嵌入式 系统属性 。

摄入属性

引入属性会指示引入过程、数据路由到的位置以及数据处理方式。 可以使用 EventData.Properties 指定事件引入的引入属性。 可以设置以下属性：

事件路由

设置与 Azure Synapse 数据资源管理器群集的事件中心连接时，可以指定目标表属性（表名称、数据格式、压缩和映射）。 数据的默认路由也称为 static routing。 还可以使用事件属性为每个事件指定目标表属性。 连接将动态路由 EventData.Properties 中指定的数据，覆盖此事件的静态属性。

在以下示例中，设置事件中心详细信息并将天气指标数据发送到表 WeatherMetrics。 数据采用json格式。 mapping1 在表 WeatherMetrics上预定义 。

var eventHubNamespaceConnectionString=<connection_string>;
var eventHubName=<event_hub>;

// Create the data
var metric = new Metric { Timestamp = DateTime.UtcNow, MetricName = "Temperature", Value = 32 }; 
var data = JsonConvert.SerializeObject(metric);

// Create the event and add optional "dynamic routing" properties
var eventData = new EventData(Encoding.UTF8.GetBytes(data));
eventData.Properties.Add("Table", "WeatherMetrics");
eventData.Properties.Add("Format", "json");
eventData.Properties.Add("IngestionMappingReference", "mapping1");
eventData.Properties.Add("Tags", "['mydatatag']");

// Send events
var eventHubClient = EventHubClient.CreateFromConnectionString(eventHubNamespaceConnectionString, eventHubName);
eventHubClient.Send(eventData);
eventHubClient.Close();

事件系统属性映射

系统属性存储事件中心服务在事件入队时设置的属性。 Azure Synapse 数据资源管理器事件中心的连接会将所选属性嵌入到落到你的表中的数据。

系统属性

事件中心公开以下系统属性：

如果在表的“数据源”部分中选择了“事件系统属性”，则必须在表架构和映射中包含这些属性。

架构映射示例

表架构映射示例

如果数据包含三列（Timespan、Metric 和 Value）并且包含的属性是 x-opt-enqueued-time 和 x-opt-offset，请使用以下命令创建或更改表架构：

    .create-merge table TestTable (TimeStamp: datetime, Metric: string, Value: int, EventHubEnqueuedTime:datetime, EventHubOffset:string)

CSV 映射示例

运行以下命令，将数据添加到记录的开头。 记下序号值。

    .create table TestTable ingestion csv mapping "CsvMapping1"
    '['
    '   { "column" : "Timespan", "Properties":{"Ordinal":"2"}},'
    '   { "column" : "Metric", "Properties":{"Ordinal":"3"}},'
    '   { "column" : "Value", "Properties":{"Ordinal":"4"}},'
    '   { "column" : "EventHubEnqueuedTime", "Properties":{"Ordinal":"0"}},'
    '   { "column" : "EventHubOffset", "Properties":{"Ordinal":"1"}}'
    ']'

JSON 映射示例

使用系统属性映射添加数据。 运行以下命令：

    .create table TestTable ingestion json mapping "JsonMapping1"
    '['
    '    { "column" : "Timespan", "Properties":{"Path":"$.timestamp"}},'
    '    { "column" : "Metric", "Properties":{"Path":"$.metric"}},'
    '    { "column" : "Value", "Properties":{"Path":"$.value"}},'
    '    { "column" : "EventHubEnqueuedTime", "Properties":{"Path":"$.x-opt-enqueued-time"}},'
    '    { "column" : "EventHubOffset", "Properties":{"Path":"$.x-opt-offset"}}'
    ']'

事件中心连接

创建事件中心

如果还没有 事件中心，请创建一个事件中心。 可以通过 Azure 门户、 使用 C# 或 Python 或 Azure 资源管理器模板以编程方式管理连接到事件中心。

发送事件

请参阅 生成数据并将其发送到事件中心的示例应用。

有关如何生成示例数据的示例，请参阅 将数据从事件中心引入 Azure Synapse 数据资源管理器

设置地理灾难恢复解决方案

事件中心提供 异地灾难恢复 解决方案。 Azure Synapse 数据资源管理器不支持 Alias 事件中心命名空间。 若要在解决方案中实现异地灾难恢复，请创建两个事件中心数据连接：一个用于主命名空间，一个用于辅助命名空间。 Azure Synapse 数据资源管理器将侦听两个事件中心连接。

后续步骤

• 将数据从事件中心引入 Azure Synapse 数据资源管理器
• 使用 C 为 Azure Synapse 数据资源管理器创建事件中心数据连接#
• 使用 Python 为 Azure Synapse 数据资源管理器创建事件中心数据连接
• 使用 Azure 资源管理器模板为 Azure Synapse 数据资源管理器创建事件中心数据连接