กําหนดค่าคลังข้อมูลในกิจกรรมการคัดลอก

บทความนี้สรุปวิธีการใช้กิจกรรมการคัดลอกในไปป์ไลน์เพื่อคัดลอกข้อมูลจากและไปยังคลังข้อมูล

การกําหนดค่าที่ได้รับการสนับสนุน

สําหรับการกําหนดค่าของแต่ละแท็บภายใต้กิจกรรมการคัดลอก ให้ไปที่ส่วนต่อไปนี้ตามลําดับ

• ทั่วไป
• แหล่งข้อมูลของ
• จุดหมาย
• การทําแผนที่
• การตั้งค่า

ทั่วไป

สําหรับการกําหนดค่าแท็บ ทั่วไป ให้เลือกกิจกรรมการคัดลอก จากนั้นเลือกแท็บ ทั่วไป

แหล่งที่มา

คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับคลังข้อมูลเป็น แหล่งข้อมูล ในกิจกรรมการคัดลอก

จําเป็นต้องมีคุณสมบัติต่อไปนี้:

• การเชื่อมต่อ: เลือก คลังข้อมูล จากรายการที่เก็บข้อมูล

• ใช้คิวรี: เลือกตาราง คิวรี หรือ Stored Procedure

  • ถ้าคุณเลือก ตาราง เลือกตารางที่มีอยู่จากรายการตาราง หรือระบุชื่อตารางด้วยตนเองโดยการเลือกกล่อง แก้ไข

    

  • หากคุณเลือก คิวรี ให้ใช้ตัวแก้ไขคิวรี SQL แบบกําหนดเองเพื่อเขียนคิวรี SQL ที่ดึงข้อมูลต้นทาง

    

  • ถ้าคุณเลือก Stored Procedure ให้เลือก Stored Procedure ที่มีอยู่แล้วจากรายการดรอปดาวน์ หรือระบุชื่อของ Stored Procedure เป็นแหล่งข้อมูลโดยการเลือกกล่อง แก้ไข

    

ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:

• หมดเวลาคิวรี (นาที): หมดเวลาสําหรับการดําเนินการคําสั่งแบบสอบถาม โดยใช้ค่าเริ่มต้น 120 นาที ถ้าตั้งค่าคุณสมบัตินี้ ค่าที่อนุญาตจะอยู่ในรูปแบบของช่วงเวลา เช่น "02:00:00" (120 นาที)

• ระดับการแยก: ระบุลักษณะการทํางานของการล็อคธุรกรรมสําหรับแหล่งข้อมูล SQL

• ตัวเลือกพาร์ติชัน: ระบุตัวเลือกการแบ่งพาร์ติชันข้อมูลที่ใช้ในการโหลดข้อมูลจากคลังข้อมูล คุณสามารถเลือก ไม่มี หรือ ช่วงไดนามิกได้

  หากคุณเลือก ช่วงไดนามิก พารามิเตอร์ของพาร์ติชันช่วง (?AdfDynamicRangePartitionCondition) จําเป็นเมื่อใช้คิวรีที่เปิดใช้งานแบบขนาน คิวรีตัวอย่าง: SELECT * FROM <TableName> WHERE ?AdfDynamicRangePartitionCondition

  

  • ชื่อคอลัมน์พาร์ติชัน: ระบุชื่อของคอลัมน์ ต้นทางในจํานวนเต็มหรือชนิด วันที่/วันที่เวลา (int, smallint, bigint, date, smalldatetime, datetime, datetime2หรือ datetimeoffset) ที่ถูกใช้โดยช่วงการแบ่งพาร์ติชันสําหรับสําเนาแบบขนาน ถ้าไม่ได้ระบุ ดัชนีหรือคีย์หลักของตารางจะถูกตรวจพบโดยอัตโนมัติและใช้เป็นคอลัมน์พาร์ติชัน
  • ขอบด้านบนของพาร์ติชัน: ค่าสูงสุดของคอลัมน์พาร์ติชันสําหรับการแยกช่วงพาร์ติชัน ค่านี้ใช้เพื่อตัดสินใจว่าจะดําเนินการแบ่งพาร์ติชัน ไม่ใช่สําหรับการกรองแถวในตาราง แถวทั้งหมดในตารางหรือผลลัพธ์คิวรีจะถูกแบ่งพาร์ติชันและคัดลอก
  • ส่วนล่างของพาร์ติชันที่ผูกไว้: ค่าต่ําสุดของคอลัมน์พาร์ติชันสําหรับการแยกช่วงพาร์ติชัน ค่านี้ใช้เพื่อตัดสินใจว่าจะดําเนินการแบ่งพาร์ติชัน ไม่ใช่สําหรับการกรองแถวในตาราง แถวทั้งหมดในตารางหรือผลลัพธ์คิวรีจะถูกแบ่งพาร์ติชันและคัดลอก

• คอลัมน์เพิ่มเติม: เพิ่มคอลัมน์ข้อมูลเพิ่มเติมเพื่อจัดเก็บเส้นทางสัมพัทธ์หรือค่าคงที่ของไฟล์ต้นฉบับ นิพจน์ได้รับการสนับสนุนสําหรับอย่างหลัง

  

ปลายทาง

คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับคลังข้อมูลเป็น ปลายทาง ในกิจกรรมการคัดลอก

จําเป็นต้องมีคุณสมบัติต่อไปนี้:

• การเชื่อมต่อ: เลือก คลังข้อมูล จากรายการที่เก็บข้อมูล
• ตาราง: เลือกตารางที่มีอยู่จากรายการตารางหรือระบุชื่อตารางเป็นปลายทาง

ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:

• คัดลอกการตั้งค่าคําสั่ง: ระบุคัดลอกคุณสมบัติคําสั่ง

  

• ตัวเลือกตาราง: ระบุว่าจะสร้างตารางปลายทางโดยอัตโนมัติหรือไม่ถ้าไม่มีอยู่โดยยึดตาม schema ต้นทาง คุณสามารถเลือก ไม่มี หรือ สร้างตารางอัตโนมัติได้

• สคริปต์ก่อนคัดลอก: ระบุคิวรี SQL ที่จะเรียกใช้ก่อนที่จะเขียนข้อมูลลงในคลังข้อมูลในการเรียกใช้แต่ละครั้ง ใช้คุณสมบัตินี้เพื่อล้างข้อมูลที่โหลดไว้ล่วงหน้า

• เขียนการหมดเวลาของชุดงาน: เวลารอสําหรับการดําเนินการแทรกชุดงานเพื่อเสร็จสิ้นก่อนที่จะหมดเวลา ค่าที่อนุญาตจะอยู่ในรูปแบบของช่วงเวลา ค่าเริ่มต้นคือ "00:30:00" (30 นาที)

• ปิดใช้งานการวิเคราะห์เมตริกประสิทธิภาพ: บริการจะรวบรวมเมตริกสําหรับการเพิ่มประสิทธิภาพการคัดลอกและคําแนะนํา หากคุณกังวลเกี่ยวกับลักษณะการทํางานนี้ ให้ปิดคุณลักษณะนี้

สําเนาโดยตรง

คําสั่ง COPY เป็นวิธีหลักในการนําเข้าข้อมูลลงในตาราง Warehouse คําสั่งคัดลอกคลังข้อมูลรองรับที่เก็บข้อมูล Azure Blob Storage โดยตรงและ Azure Data Lake Storage รุ่น2 เป็นที่เก็บข้อมูลต้นทาง ถ้าข้อมูลต้นทางของคุณตรงตามเกณฑ์ที่อธิบายไว้ในส่วนนี้ ให้ใช้คําสั่งคัดลอกเพื่อคัดลอกโดยตรงจากที่เก็บข้อมูลต้นทางไปยังคลังข้อมูล

1. ข้อมูลต้นฉบับและรูปแบบประกอบด้วยชนิดและวิธีการรับรองความถูกต้องต่อไปนี้:

   ชนิดที่เก็บข้อมูลต้นทางที่สนับสนุน	รูปแบบที่ได้รับการสนับสนุน	ชนิดการรับรองความถูกต้องของแหล่งข้อมูลที่ได้รับการสนับสนุน
   ที่เก็บข้อมูล Azure Blob	ข้อความที่คั่น Parquet	การรับรองความถูกต้องแบบไม่ระบุชื่อ การรับรองความถูกต้องของคีย์บัญชี บัญชีองค์กร การรับรองความถูกต้องลายเซ็นการเข้าถึงที่ใช้ร่วมกัน
   Azure Data Lake Storage รุ่น2	ข้อความที่คั่น Parquet	การรับรองความถูกต้องของคีย์บัญชี บัญชีองค์กร การรับรองความถูกต้องลายเซ็นการเข้าถึงที่ใช้ร่วมกัน

   Note

   • เมื่อคุณใช้การรับรองความถูกต้องของบัญชีองค์กรสําหรับบริการที่เชื่อมโยงที่เก็บข้อมูลของคุณ ให้เรียนรู้การกําหนดค่าที่จําเป็นสําหรับ Azure Blob Storage และ Azure Data Lake Storage Gen2 ตามลําดับ
   • หาก Azure Blob Storage หรือ Azure Data Lake Storage Gen2 ของคุณอยู่หลังไฟร์วอลล์ คุณควรใช้ข้อมูลประจําตัวพื้นที่ทํางานของคุณเพื่อเลี่ยงไฟร์วอลล์ เรียนรู้การกําหนดค่าที่จําเป็นในบทความนี้

2. คุณสามารถตั้งค่ารูปแบบต่อไปนี้ได้:
   

   1. สําหรับ Parquet: ประเภทการบีบอัดสามารถเป็น ไม่มี, snappy หรือ gzip
   2. สําหรับ DelimitedText:
      1. ตัวคั่นแถว: เมื่อคัดลอกข้อความที่คั่นไปยัง Data Warehouse ผ่านคําสั่งคัดลอกโดยตรง ให้ระบุตัวคั่นแถวอย่างชัดเจน (\r; \n; หรือ \r\n) เฉพาะเมื่อตัวคั่นแถวของแฟ้มต้นฉบับคือ \r\n ค่าเริ่มต้น (\r, \n หรือ \r\n) ใช้งานได้ มิฉะนั้น ให้เปิดใช้งานการจัดเตรียมสําหรับสถานการณ์ของคุณ
      2. ค่า Null ถูกปล่อยให้เป็นค่าเริ่มต้นหรือตั้งค่าเป็นสตริงว่าง ("")
      3. การเข้ารหัสถูกปล่อยให้เป็นค่าเริ่มต้นหรือตั้งค่าเป็น UTF-8 หรือ UTF-16
      4. ข้ามจํานวน บรรทัดที่เหลือเป็นค่าเริ่มต้นหรือตั้งค่าเป็น 0
      5. ชนิดการบีบอัดสามารถเป็น ไม่มี หรือ gzip

3. ถ้าแหล่งข้อมูลของคุณเป็นโฟลเดอร์ คุณต้องเลือกกล่องกาเครื่องหมายแบบเรียกใช้ซ้ํา

4. เวลาเริ่มต้น (UTC) และเวลาสิ้นสุด (UTC) ในตัวกรองตามการปรับเปลี่ยนครั้งล่าสุด คํานําหน้า เปิดใช้งานการค้นพบพาร์ติชัน และคอลัมน์เพิ่มเติมไม่ได้ระบุไว้

หากต้องการเรียนรู้วิธีการนําเข้าข้อมูลลงในคลังข้อมูลของคุณโดยใช้คําสั่งคัดลอก โปรดดูบทความนี้

ถ้าแหล่งข้อมูลที่เก็บข้อมูลและรูปแบบของคุณไม่สนับสนุนคําสั่งคัดลอกในตอนแรก ให้ใช้สําเนาตามลําดับขั้นโดยใช้คุณลักษณะคําสั่งคัดลอกแทน โดยจะแปลงข้อมูลเป็นรูปแบบที่เข้ากันได้กับคําสั่งคัดลอกโดยอัตโนมัติ จากนั้นเรียกใช้คําสั่งคัดลอกเพื่อโหลดข้อมูลลงในคลังข้อมูล

สําเนาตามระยะ

เมื่อข้อมูลต้นฉบับของคุณไม่สามารถเข้ากันได้กับคําสั่งคัดลอกในแบบดั้งเดิม ให้เปิดใช้งานการคัดลอกข้อมูลผ่านที่เก็บข้อมูลการจัดเตรียมระหว่างกลาง ในกรณีนี้ บริการจะแปลงข้อมูลโดยอัตโนมัติเพื่อให้ตรงตามข้อกําหนดรูปแบบข้อมูลของคําสั่ง COPY จากนั้นจะเรียกใช้คําสั่ง COPY เพื่อโหลดข้อมูลลงในคลังข้อมูล สุดท้าย เป็นการล้างข้อมูลชั่วคราวของคุณจากที่เก็บข้อมูล สําหรับข้อมูลเพิ่มเติมเกี่ยวกับสําเนาแบบแบ่งขั้น ให้ดูบทความนี้

หากต้องการใช้สําเนาแบบกําหนดลําดับขั้น ให้ไปที่ แท็บ การตั้งค่า และเลือก เปิดใช้งานการจัดเตรียม คุณสามารถเลือก พื้นที่ทํางาน เพื่อใช้ที่เก็บข้อมูลการจัดเตรียมที่สร้างขึ้นโดยอัตโนมัติภายใน Fabric ได้ สําหรับภายนอก ที่เก็บข้อมูล Azure Blob และ Azure Data Lake Storage รุ่น2 ได้รับการสนับสนุนเป็นที่เก็บข้อมูลการจัดเตรียมภายนอก คุณจําเป็นต้องสร้าง Azure Blob Storage หรือการเชื่อมต่อ Azure Data Lake Storage รุ่น2 ก่อน จากนั้นเลือกการเชื่อมต่อจากรายการดรอปดาวน์เพื่อใช้ที่เก็บข้อมูลการจัดเตรียม ตัวเลือกที่เก็บข้อมูลเหล่านี้รองรับการรับรองความถูกต้องหลายชนิด ตารางต่อไปนี้สรุปตัวเลือกที่ได้รับการสนับสนุน:

การแม็ป

สําหรับการกําหนดค่าแท็บ การแม็ป ถ้าคุณไม่ได้ใช้ Data Warehouse ที่มีตารางสร้างอัตโนมัติเป็นปลายทางของคุณ ให้เลือกกิจกรรมการคัดลอก จากนั้นเลือกแท็บ การแม็ป

ถ้าคุณนําคลังข้อมูลไปใช้ด้วยตารางสร้างอัตโนมัติเป็นปลายทางของคุณ ยกเว้นการกําหนดค่าใน แมป คุณสามารถแก้ไขชนิดของคอลัมน์ปลายทางของคุณได้ หลังจากเลือก นําเข้า schemas คุณสามารถระบุชนิดคอลัมน์ในปลายทางของคุณได้

ตัวอย่างเช่น ชนิดของ คอลัมน์ ID ในแหล่งข้อมูลเป็นจํานวนเต็ม และคุณสามารถเปลี่ยนเป็นชนิดเลขทศนิยมเมื่อแมปไปยังคอลัมน์ปลายทาง

หากคุณเลือกชนิด varchar หรือ varbinary สําหรับคอลัมน์ปลายทาง คุณสามารถระบุความยาวสําหรับชนิดได้ ความยาวควรใหญ่กว่า 0 และน้อยกว่า 8000 หรือเป็น MAX (ระบุขนาดพื้นที่จัดเก็บข้อมูลสูงสุด 2³¹-1 ไบต์) ค่าเริ่มต้นคือ 8000 สําหรับข้อมูลเพิ่มเติม โปรดดูบทความ นี้

การตั้งค่า

สําหรับการกําหนดค่าแท็บ การตั้งค่า ให้เลือกกิจกรรมการคัดลอก จากนั้นเลือกแท็บ การตั้งค่า

ข้อมูลสรุปของตาราง

ตารางต่อไปนี้ประกอบด้วยข้อมูลเพิ่มเติมเกี่ยวกับกิจกรรมการคัดลอกในคลังข้อมูล

ข้อมูลต้นทาง

ข้อมูลปลายทาง

การใช้ Fabric Warehouse เป็นซิงก์ที่เปิดใช้งานการแสดงละคร

หากตําแหน่งที่เก็บข้อมูลของการแสดงพื้นที่จัดเตรียมเปิดใช้งานไฟร์วอลล์ อาจเกิดปัญหาการเข้าถึง

การแก้ไขปัญหาชั่วคราว

• ภูมิภาคที่แตกต่างกัน: หากความจุ Fabric และที่เก็บข้อมูลการจัดเตรียมอยู่ในภูมิภาคต่างๆ ตรวจสอบให้แน่ใจว่าอนุญาตให้ใช้ Data Factory ระดับภูมิภาคและที่อยู่ IP ของ Azure SQL ในไฟร์วอลล์ตําแหน่งที่เก็บข้อมูลเพื่อเปิดใช้งานการเชื่อมต่อ
• ภูมิภาคเดียวกัน: หากความจุ Fabric และพื้นที่จัดเก็บการจัดเตรียมอยู่ในภูมิภาคเดียวกันและปัญหาการเข้าถึงยังคงอยู่ ให้เลือกตําแหน่งพื้นที่จัดเก็บการแสดงละครอื่นในภูมิภาคที่แตกต่างจากความจุ Fabric

เนื้อหาที่เกี่ยวข้อง

• ภาพรวมของตัวเชื่อมต่อคลังข้อมูล