รับข้อมูลจากที่เก็บข้อมูล Azure

ในบทความนี้ คุณจะได้เรียนรู้วิธีการรับข้อมูลจาก Azure Storage (คอนเทนเนอร์ ADLS Gen2, blob container หรือ blobs แต่ละรายการ) คุณสามารถนําเข้าข้อมูลลงในตารางของคุณได้อย่างต่อเนื่องหรือเป็นการนําเข้าข้อมูลครั้งเดียว เมื่อนําเข้าแล้ว ข้อมูลจะพร้อมใช้งานสําหรับคิวรี

• การนําเข้าอย่างต่อเนื่อง (พรีวิว): การนําเข้าอย่างต่อเนื่องเกี่ยวข้องกับการตั้งค่าไปป์ไลน์การนําเข้าที่อนุญาตให้ Eventhouse สามารถฟังเหตุการณ์ Azure Storage ได้ ไปป์ไลน์จะแจ้งให้ eventhouse ดึงข้อมูลเมื่อมีเหตุการณ์ที่สมัครใช้งานเกิดขึ้น เหตุการณ์คือ BlobCreated และ BlobRename

  Important

  คุณลักษณะนี้อยู่ในตัวอย่าง

• การนําเข้าครั้งเดียว: ใช้วิธีนี้เพื่อดึงข้อมูลจาก Azure Storage เป็นการดําเนินการแบบครั้งเดียว

  Note

  • สตรีมการนําเข้าอย่างต่อเนื่องอาจส่งผลกระทบต่อการเรียกเก็บเงินของคุณ สําหรับข้อมูลเพิ่มเติม ดูปริมาณการใช้ฐานข้อมูล Eventhouse และ KQL

Prerequisites

• พื้นที่ทํางาน ที่มีความจุ ที่เปิดใช้งาน Microsoft Fabric
• ฐานข้อมูล KQL ที่มีสิทธิ์ในการแก้ไข
• บัญชีที่เก็บข้อมูล Azure

ข้อกําหนดเบื้องต้นสําหรับการนําเข้าอย่างต่อเนื่อง

• เอกลักษณ์ของพื้นที่ทํางาน Fabric พื้นที่ทํางานของฉันไม่รองรับ หากจําเป็น ให้สร้างพื้นที่ทํางานใหม่

ใน Azure:

• ลงทะเบียนผู้ให้บริการทรัพยากร Event Grid กับการสมัครใช้งาน Azure ของคุณ
• กําหนดสิทธิ์บทบาท ตัวอ่านข้อมูล Blob ของที่เก็บข้อมูล ให้กับข้อมูลประจําตัวของพื้นที่ทํางาน
• กําหนดสิทธิ์ให้กับผู้ใช้ที่กําหนดค่าการนําเข้าแบบต่อเนื่อง หรือให้กับกลุ่ม AD กับผู้ใช้ที่กําหนดค่าการนําเข้าแบบต่อเนื่อง
  • ผู้สนับสนุนบัญชีที่เก็บข้อมูล
  • สิทธิ์ผู้สนับสนุน EventGrid
• สร้างคอนเทนเนอร์ Blob เพื่อเก็บไฟล์ข้อมูล

  • อัปโหลดไฟล์ข้อมูล โครงสร้างไฟล์ข้อมูลถูกใช้เพื่อกําหนดโครงสร้างตาราง สําหรับข้อมูลเพิ่มเติม ให้ดู รูปแบบข้อมูล ที่ได้รับการสนับสนุนโดย Real-Time Intelligence

    Note

    คุณต้องอัปโหลดไฟล์ข้อมูล:

    • ก่อน การตั้งค่าคอนฟิก เพื่อกําหนด schema ตารางระหว่างการตั้งค่า
    • หลังจากการกําหนดค่าเพื่อทริกเกอร์การนําเข้าอย่างต่อเนื่อง เพื่อแสดงตัวอย่างข้อมูล และเพื่อตรวจสอบการเชื่อมต่อ

เพิ่มการกําหนดบทบาทข้อมูลประจําตัวของพื้นที่ทํางานให้กับบัญชีเก็บข้อมูล

1. จากการตั้งค่าพื้นที่ทํางานใน Fabric ให้คัดลอก ID ข้อมูลประจําตัวของพื้นที่ทํางานของคุณ

   

2. ในพอร์ทัล Azure เรียกดูบัญชีที่เก็บข้อมูล Azure ของคุณ และเลือกควบคุมการเข้าถึง (IAM)>เพิ่ม>การกําหนดบทบาท

3. เลือกตัวอ่านข้อมูล Blob ที่เก็บข้อมูล

4. ในกล่องโต้ตอบ เพิ่มการกําหนดบทบาท เลือก + เลือกสมาชิก

5. วางรหัสข้อมูลประจําตัวของพื้นที่ทํางาน เลือกแอปพลิเคชัน แล้วเลือก ตรวจสอบ>+ มอบหมาย

สร้างคอนเทนเนอร์ด้วยไฟล์ข้อมูล

1. ในบัญชีที่เก็บข้อมูล ให้เลือก คอนเทนเนอร์

2. เลือก + คอนเทนเนอร์ ป้อนชื่อสําหรับคอนเทนเนอร์ แล้วเลือก บันทึก

3. ป้อนคอนเทนเนอร์ เลือก อัปโหลด และอัปโหลดไฟล์ข้อมูลที่เตรียมไว้ก่อนหน้านี้

   สําหรับข้อมูลเพิ่มเติม โปรดดู รูปแบบที่รองรับและการบีบอัดที่รองรับ

4. จากเมนูบริบท [...] ให้เลือก คุณสมบัติคอนเทนเนอร์ และคัดลอก URL เพื่อป้อนข้อมูลระหว่างการกําหนดค่า

   

Source

ตั้งค่าแหล่งข้อมูลเพื่อรับข้อมูล

1. จากพื้นที่ทํางานของคุณ เปิด EventHouse แล้วเลือกฐานข้อมูล

2. บน Ribbon ฐานข้อมูล KQL ให้เลือก รับข้อมูล

3. เลือกแหล่งข้อมูลจากรายการที่พร้อมใช้งาน ในตัวอย่างนี้ คุณกําลังนําเข้าข้อมูลจากที่เก็บข้อมูล Azure

   

Configure

Inspect

แท็บ ตรวจสอบ จะเปิดขึ้นพร้อมกับตัวอย่างข้อมูล

หากต้องการดําเนินการนําเข้าให้เสร็จสมบูรณ์ ให้เลือกเสร็จสิ้น

Optionally:

• ใช้ดรอปดาวน์ของไฟล์ข้อกําหนดสคีมาเพื่อเปลี่ยนไฟล์ที่อนุมาน schema

• ใช้ดรอปดาวน์ชนิดไฟล์เพื่อสํารวจตัวเลือกขั้นสูงตามชนิดข้อมูล

• ใช้ดรอปดาวน์ Table_mapping เพื่อกําหนดการแม็ปใหม่

• เลือก </> เพื่อเปิดตัวแสดงคําสั่งเพื่อดูและคัดลอกคําสั่งอัตโนมัติที่สร้างขึ้นจากอินพุตของคุณ คุณยังสามารถเปิดคําสั่งใน Queryset ได้

• เลือกไอคอนดินสอเพื่อแก้ไขคอลัมน์

แก้ไขคอลัมน์

การเปลี่ยนแปลงที่คุณสามารถทําได้ในตารางขึ้นอยู่กับพารามิเตอร์ต่อไปนี้:

• ชนิดของตารางเป็นของใหม่หรือที่มีอยู่
• ชนิดการแมปเป็นแบบใหม่หรือมีอยู่

การแปลงการทําแผนที่

การแมปรูปแบบข้อมูลบางอย่าง (Parquet, JSON และ Avro) สนับสนุนการแปลงข้อมูล ingest-time แบบง่าย เมื่อต้องการใช้การแปลงการแมป ให้สร้างหรือปรับปรุงคอลัมน์ในหน้าต่าง แก้ไขคอลัมน์

การแปลงข้อมูลการแมปสามารถทําได้ในคอลัมน์ของสตริงชนิดหรือวันที่เวลา ด้วยแหล่งข้อมูลที่มีชนิดข้อมูลเป็น int หรือ long สําหรับข้อมูลเพิ่มเติม โปรดดูรายการทั้งหมดของการแปลงการแมปที่รองรับ

ตัวเลือกขั้นสูงที่ยึดตามชนิดข้อมูล

ตาราง (CSV, TSV, PSV):

• หากคุณกําลังนําเข้ารูปแบบตารางในตารางที่มีอยู่ คุณสามารถเลือก > เก็บสคีมาตารางขั้นสูงได้ ข้อมูลแบบตารางไม่จําเป็นต้องรวมชื่อคอลัมน์ที่ใช้ในการแมปข้อมูลต้นทางไปยังคอลัมน์ที่มีอยู่ เมื่อเลือกตัวเลือกนี้ การแมปจะดําเนินการตามลําดับ และ Schema ของตารางยังคงเหมือนเดิม ถ้าไม่ได้เลือกตัวเลือกนี้ คอลัมน์ใหม่จะถูกสร้างขึ้นสําหรับข้อมูลขาเข้าโดยไม่คํานึงถึงโครงสร้างข้อมูล

  

• ข้อมูลแบบตารางไม่จําเป็นต้องรวมชื่อคอลัมน์ที่ใช้ในการแมปข้อมูลต้นทางไปยังคอลัมน์ที่มีอยู่ หากต้องการใช้แถวแรกเป็นชื่อคอลัมน์ ให้เลือก แถวแรกเป็นส่วนหัวของคอลัมน์

  

ตาราง (CSV, TSV, PSV):

• หากคุณกําลังนําเข้ารูปแบบตารางในตารางที่มีอยู่ คุณสามารถเลือก Table_mapping>ใช้สคีมาที่มีอยู่ได้ ข้อมูลแบบตารางไม่จําเป็นต้องรวมชื่อคอลัมน์ที่ใช้ในการแมปข้อมูลต้นทางไปยังคอลัมน์ที่มีอยู่ เมื่อเลือกตัวเลือกนี้ การแมปจะดําเนินการตามลําดับ และ Schema ของตารางยังคงเหมือนเดิม ถ้าไม่ได้เลือกตัวเลือกนี้ คอลัมน์ใหม่จะถูกสร้างขึ้นสําหรับข้อมูลขาเข้าโดยไม่คํานึงถึงโครงสร้างข้อมูล

• หากต้องการใช้แถวแรกเป็นชื่อคอลัมน์ ให้เลือกส่วนหัวของแถวแรก

  

JSON:

• เมื่อต้องการกําหนดการแบ่งคอลัมน์ของข้อมูล JSON ให้เลือก ระดับที่ซ้อนกัน ตั้งแต่ 1 ถึง 100

  

Summary

ในหน้าต่าง สรุป ขั้นตอนทั้งหมดจะถูกทําเครื่องหมายด้วยเครื่องหมายถูกสีเขียวเมื่อการนําเข้าข้อมูลเสร็จสิ้น คุณสามารถเลือกการ์ดเพื่อสํารวจข้อมูล ลบข้อมูลนําเข้า หรือสร้างแดชบอร์ดด้วยเมตริกหลัก

เนื้อหาที่เกี่ยวข้อง

• เมื่อต้องการจัดการฐานข้อมูลของคุณ ให้ดูที่ จัดการข้อมูล
• เมื่อต้องการสร้าง จัดเก็บ และส่งออกคิวรี ให้ดู ข้อมูลคิวรี ในชุดคิวรี KQL