แชร์ผ่าน


รับข้อมูลจาก Amazon S3

ในบทความนี้ คุณจะได้เรียนรู้วิธีการรับข้อมูลจาก Amazon S3 ลงในตารางใหม่หรือตารางที่มีอยู่ Amazon S3 เป็นบริการเก็บข้อมูลวัตถุที่สร้างขึ้นเพื่อจัดเก็บและดึงข้อมูล

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับ Amazon S3 สามารถดูได้ที่ Amazon S3 คืออะไร

ข้อกําหนดเบื้องต้น

ที่มา

  1. ที่ริบบิ้นด้านล่างของฐานข้อมูล KQL ให้เลือก รับข้อมูล

    ในหน้าต่าง รับข้อมูล แท็บ แหล่งข้อมูล จะถูกเลือกไว้

  2. เลือกแหล่งข้อมูลจากรายการที่พร้อมใช้งาน ในตัวอย่างนี้ คุณกําลังรวบรวมข้อมูลจาก Amazon S3

    สกรีนช็อตของหน้าต่างรับข้อมูลที่มีแท็บแหล่งข้อมูลที่เลือกไว้

กําหนดค่า

  1. เลือกตารางเป้าหมาย ถ้าคุณต้องการเก็บข้อมูลลงในตารางใหม่ เลือก + ตารางใหม่ และป้อนชื่อตาราง

    โน้ต

    ชื่อตารางสามารถมีได้ถึง 1024 อักขระ รวมถึงช่องว่าง พยัญชนะผสมตัวเลข เครื่องหมายยัติภังค์ และขีดล่าง ไม่รองรับอักขระพิเศษ

  2. ในเขตข้อมูล URI วางสตริงการเชื่อมต่อของบักเก็ตเดียว หรือวัตถุแต่ละรายการในรูปแบบต่อไปนี้

    บักเก็ต: https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKey

    อีกทางหนึ่งคือ คุณสามารถใช้ตัวกรองบักเก็ตเพื่อกรองข้อมูลตามนามสกุลไฟล์เฉพาะได้

    สกรีนช็อตของแท็บกําหนดค่าที่มีการป้อนตารางใหม่และสตริงการเชื่อมต่อ Amazon S3 ที่วาง

  3. เลือก ถัดไป

ตรวจ

แท็บ ตรวจสอบ จะเปิดขึ้นพร้อมกับแสดงตัวอย่างของข้อมูล

เลือก เสร็จสิ้นเพื่อเสร็จสิ้นกระบวนการการนําเข้าข้อมูล

สกรีนช็อตของแท็บตรวจสอบ

คุณสามารถดู ตรวจสอบ และกําหนดค่าข้อมูลที่ส่งไปได้ ตัวเลขในภาพสอดคล้องกับตัวเลือกเหล่านี้:

(1) เลือก ตัวแสดงคําสั่ง เพื่อดูและคัดลอกคําสั่งอัตโนมัติที่สร้างขึ้นจากอินพุตของคุณ

(2) ใช้แฟ้มข้อกําหนด Schema ดรอปดาวน์เพื่อเปลี่ยนแฟ้มที่อนุมานเค้าร่างมา

(3) เปลี่ยนรูปแบบข้อมูลที่อนุมานโดยอัตโนมัติโดยการเลือกรูปแบบที่ต้องการจากดรอปดาวน์ สําหรับข้อมูลเพิ่มเติม ให้ดู รูปแบบข้อมูล ที่ได้รับการสนับสนุนโดย Real-Time Intelligence

(4) แก้ไขคอลัมน์

(5) สํารวจ ตัวเลือกขั้นสูงที่ยึดตามชนิดข้อมูล

แก้ไขคอลัมน์

โน้ต

  • สําหรับรูปแบบตาราง (CSV, TSV, PSV) คุณไม่สามารถแมปคอลัมน์สองครั้ง เมื่อต้องการแมปไปยังคอลัมน์ที่มีอยู่ ก่อนอื่นให้ลบคอลัมน์ใหม่
  • คุณไม่สามารถเปลี่ยนชนิดคอลัมน์ที่มีอยู่ได้ ถ้าคุณพยายามแมปไปยังคอลัมน์ที่มีรูปแบบที่แตกต่างกัน คุณอาจมีคอลัมน์ที่ว่างเปล่า

การเปลี่ยนแปลงที่คุณสามารถทําได้ในตารางขึ้นอยู่กับพารามิเตอร์ต่อไปนี้:

  • ชนิด ตาราง เป็นชนิดใหม่หรือที่มีอยู่
  • ชนิด การแมป เป็นชนิดใหม่หรือที่มีอยู่
ชนิดตาราง ชนิดการแมป การปรับปรุงที่พร้อมใช้งาน
ตารางใหม่ การแมปใหม่ เปลี่ยนชื่อคอลัมน์ เปลี่ยนชนิดข้อมูล เปลี่ยนแหล่งข้อมูล แมปเพิ่มคอลัมน์ ลบคอลัมน์
ตารางที่มีอยู่ การแมปใหม่ เพิ่มคอลัมน์ (ซึ่งคุณสามารถเปลี่ยนชนิดข้อมูล เปลี่ยนชื่อ และอัปเดต)
ตารางที่มีอยู่ การแมปที่มีอยู่ ไม่มีใคร

สกรีนช็อตของคอลัมน์เปิดสําหรับการแก้ไข

การแม็ปการแปลง

การแมปรูปแบบข้อมูลบางอย่าง (Parquet, JSON และ Avro) สนับสนุนการแปลงข้อมูล ingest-time แบบง่าย เมื่อต้องการใช้การแปลงการแมป ให้สร้างหรืออัปเดตคอลัมน์ในหน้าต่าง แก้ไขคอลัมน์

การแปลงข้อมูลการแมปสามารถทําได้ในคอลัมน์ของสตริงชนิดหรือวันที่เวลา ด้วยแหล่งข้อมูลที่มีชนิดข้อมูลเป็น int หรือ long สําหรับข้อมูลเพิ่มเติม โปรดดูรายการทั้งหมดของการแปลงการแมป รองรับ

ตัวเลือกขั้นสูงที่ยึดตามชนิดข้อมูล

ตาราง (CSV, TSV, PSV):

  • ถ้าคุณกําลังทําการนําเข้ารูปแบบตารางในตาราง ที่มีอยู่ คุณสามารถเลือก ขั้นสูง>รักษา schema ของตาราง ข้อมูลแบบตารางไม่จําเป็นต้องรวมชื่อคอลัมน์ที่ใช้ในการแมปข้อมูลต้นทางไปยังคอลัมน์ที่มีอยู่ เมื่อเลือกตัวเลือกนี้ การแมปจะดําเนินการตามลําดับ และ Schema ของตารางยังคงเหมือนเดิม ถ้าไม่ได้เลือกตัวเลือกนี้ คอลัมน์ใหม่จะถูกสร้างขึ้นสําหรับข้อมูลขาเข้าโดยไม่คํานึงถึงโครงสร้างข้อมูล

    ภาพหน้าจอของตัวเลือกขั้นสูง

  • ข้อมูลแบบตารางไม่จําเป็นต้องรวมชื่อคอลัมน์ที่ใช้ในการแมปข้อมูลต้นทางไปยังคอลัมน์ที่มีอยู่ หากต้องการใช้แถวแรกเป็นชื่อคอลัมน์ ให้เลือก แถวแรกเป็นส่วนหัวของคอลัมน์

    สกรีนช็อตของแถวแรกคือสวิตช์ส่วนหัวของคอลัมน์

สรุป

ในหน้าต่าง การเตรียมข้อมูล ทั้งสามขั้นตอนจะถูกทําเครื่องหมายด้วยเครื่องหมายถูกสีเขียวเมื่อการนําเข้าข้อมูลเสร็จสิ้น คุณสามารถเลือกการ์ดที่จะคิวรี วางข้อมูลนําเข้า หรือดูแดชบอร์ดของสรุปการนําเข้าของคุณได้

สกรีนช็อตของหน้าสรุปที่มีการนําเข้าที่สําเร็จเสร็จสมบูรณ์

  • เมื่อต้องการจัดการฐานข้อมูลของคุณ ให้ดู จัดการ ข้อมูล
  • เมื่อต้องการสร้าง จัดเก็บ และส่งออกคิวรี ให้ดู ข้อมูลคิวรี ในชุดคิวรี KQL