กําหนดค่า Snowflake ในกิจกรรมการคัดลอก

บทความนี้สรุปวิธีการใช้กิจกรรมการคัดลอกในไปป์ไลน์เพื่อคัดลอกข้อมูลจากและไปยัง Snowflake

การกําหนดค่าที่ได้รับการสนับสนุน

สําหรับการกําหนดค่าของแต่ละแท็บภายใต้กิจกรรมการคัดลอก ให้ไปที่ส่วนต่อไปนี้ตามลําดับ

• ทั่วไป
• Source
• จุดหมาย
• การทําแผนที่
• การตั้งค่า

ทั่วไป

โปรดดูคําแนะนําการตั้งค่าทั่วไปเพื่อกําหนดค่าแท็บ การตั้งค่าทั่วไป

แหล่งที่มา

คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับ Snowflake ภายใต้แท็บ แหล่งข้อมูล ของกิจกรรมการคัดลอก

จําเป็นต้องมีคุณสมบัติต่อไปนี้:

• การเชื่อมต่อ: เลือกการเชื่อมต่อ Snowflake จากรายการการเชื่อมต่อ หากไม่มีการเชื่อมต่อ ให้สร้างการเชื่อมต่อ Snowflake ใหม่

  • คุณสมบัติการเชื่อมต่อเพิ่มเติม: ระบุคุณสมบัติการเชื่อมต่อเพิ่มเติมซึ่งจะใช้ในการเชื่อมต่อ Snowflake เพื่อตั้งค่าตัวเลือกขั้นสูง คุณสมบัติการเชื่อมต่อเพิ่มเติมมีให้เป็นพจนานุกรมของคู่คีย์-ค่า เช่น บทบาท สําหรับข้อมูลเพิ่มเติม โปรดดูบทความนี้

    

• ฐานข้อมูล: ฐานข้อมูลเริ่มต้นที่จะใช้เมื่อเชื่อมต่อแล้ว ซึ่งควรเป็นฐานข้อมูลที่มีอยู่ที่บทบาทที่ระบุมีสิทธิ์พิเศษ

• ใช้คิวรี: คุณสามารถเลือก ตาราง หรือ คิวรี เป็นคิวรีที่คุณใช้ได้ รายการต่อไปนี้อธิบายถึงการกําหนดค่าของแต่ละการตั้งค่า

  • ตาราง: เลือกตารางในฐานข้อมูลของคุณจากรายการดรอปดาวน์ หรือตรวจสอบ แก้ไข เพื่อป้อนชื่อตารางของคุณด้วยตนเอง
  • คิวรี: ระบุคิวรี SQL เพื่ออ่านข้อมูลจาก Snowflake ถ้าชื่อของสคีมา ตาราง และคอลัมน์ประกอบด้วยตัวพิมพ์เล็ก ให้อ้างอิงตัวระบุวัตถุในคิวรี เช่น select * from "schema"."myTable"

ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:

• การรวมที่เก็บข้อมูล: ระบุชื่อของการรวมที่เก็บข้อมูลที่คุณสร้างขึ้นใน Snowflake สําหรับขั้นตอนข้อกําหนดเบื้องต้นของการใช้การรวมที่เก็บข้อมูล โปรดดู การกําหนดค่าการรวมที่เก็บข้อมูล Snowflake

• ตัวเลือกการคัดลอก Snowflake เพิ่มเติม: ระบุตัวเลือกการคัดลอก Snowflake เพิ่มเติมซึ่งจะใช้ในคําสั่ง Snowflake COPY เพื่อโหลดข้อมูล ตัวเลือกการคัดลอกเพิ่มเติมจะแสดงเป็นพจนานุกรมของคู่ค่าคีย์ ตัวอย่าง: MAX_FILE_SIZE, OVERWRITE สําหรับข้อมูลเพิ่มเติม ให้ดู ตัวเลือกการคัดลอก Snowflake

  

• ตัวเลือกรูปแบบ Snowflake เพิ่มเติม: ระบุตัวเลือกรูปแบบ Snowflake เพิ่มเติม ซึ่งจะใช้ในคําสั่ง Snowflake COPY เพื่อโหลดข้อมูล ตัวเลือกรูปแบบไฟล์เพิ่มเติมที่กําหนดให้กับคําสั่ง COPY จะแสดงเป็นพจนานุกรมของคู่ค่าคีย์ ตัวอย่าง: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT สําหรับข้อมูลเพิ่มเติม ให้ดู ตัวเลือกชนิดรูปแบบของ Snowflake

  

คัดลอกโดยตรงจาก Snowflake

ถ้าที่เก็บข้อมูลและรูปแบบปลายทางของคุณตรงกับเกณฑ์ที่อธิบายไว้ในส่วนนี้ คุณสามารถใช้กิจกรรมคัดลอกเพื่อคัดลอกจาก Snowflake ไปยังปลายทางได้โดยตรง บริการจะตรวจสอบการตั้งค่าและล้มเหลวในการเรียกใช้กิจกรรมการคัดลอกถ้าไม่เป็นไปตามเกณฑ์ต่อไปนี้:

• เมื่อคุณระบุ การรวม ที่เก็บข้อมูลในแหล่งข้อมูล: ที่เก็บข้อมูลปลายทางคือ Azure Blob Storage ที่คุณอ้างอิงในขั้นตอนภายนอกใน Snowflake คุณจําเป็นต้องทําตามขั้นตอนต่อไปนี้ก่อนคัดลอกข้อมูล:

  1. สร้างการเชื่อมต่อ Azure Blob Storage สําหรับที่เก็บข้อมูล Azure Blob ปลายทางด้วยชนิดการรับรองความถูกต้องที่ได้รับการสนับสนุนใด ๆ

  2. ให้บทบาทผู้สนับสนุนข้อมูล Blob Data Blob Data แก่บริการ Snowflake เป็นอย่างน้อยในปลายทาง Azure Blob Storage Access Control (IAM)

• เมื่อคุณไม่ได้ระบุ การรวมที่ เก็บข้อมูลในแหล่งข้อมูล:

  การเชื่อมต่อปลายทางคือที่เก็บข้อมูล Azure Blob ที่มีการรับรองความถูกต้องลายเซ็นการเข้าถึงที่ใช้ร่วมกัน ถ้าคุณต้องการคัดลอกข้อมูลโดยตรงไปยัง Azure Data Lake Storage รุ่น2 ในรูปแบบที่สนับสนุนต่อไปนี้ คุณสามารถสร้างการเชื่อมต่อ Azure Blob Storage ด้วยการรับรองความถูกต้อง SAS กับบัญชี Azure Data Lake Storage รุ่น2 ของคุณ เพื่อหลีกเลี่ยงการใช้สําเนาที่จัดรูปแบบจาก Snowflake

• รูปแบบข้อมูลปลายทางคือ Parquet, DelimitedText หรือ JSON ที่มีการกําหนดค่าต่อไปนี้:

  • สําหรับรูปแบบ Parquet ตัวแปลงสัญญาณการบีบอัดคือ None, Snappy หรือ Lzo
  • สําหรับ รูปแบบ DelimitedText :
    • ตัว คั่นแถวคือ \r\n หรืออักขระเดี่ยวใดๆ
    • ประเภทการบีบอัดอาจเป็น ไม่มี, gzip, bzip2 หรือ deflate
    • การเข้ารหัสถูกปล่อยให้เป็นค่าเริ่มต้นหรือตั้งค่าเป็น UTF-8
    • อักขระข้อความอ้างอิงเป็นเครื่องหมายคําพูดคู่ อัญประกาศเดี่ยว หรือไม่มีอักขระอัญประกาศ
  • สําหรับรูปแบบ JSON การคัดลอกโดยตรงสนับสนุนเฉพาะกรณีที่แหล่งข้อมูลตาราง Snowflake หรือผลลัพธ์คิวรีมีคอลัมน์เดียวเท่านั้นและชนิดข้อมูลของคอลัมน์นี้คือ VARIANT, OBJECT หรือ ARRAY
    • ประเภทการบีบอัดอาจเป็น ไม่มี, gzip, bzip2 หรือ deflate
    • การเข้ารหัสถูกปล่อยให้เป็นค่าเริ่มต้นหรือตั้งค่าเป็น UTF-8
    • รูปแบบไฟล์ในปลายทางของกิจกรรมการคัดลอกจะถูกปล่อยไว้เป็นค่าเริ่มต้นหรือตั้งค่าเป็นชุดของออบเจ็กต์

• ในแหล่ง กิจกรรมคัดลอก ไม่ได้ระบุคอลัมน์ เพิ่มเติม

• ไม่ได้ระบุการแมปคอลัมน์

สําเนาขั้นจาก Snowflake

เมื่อที่เก็บข้อมูลหรือรูปแบบปลายทางของคุณเข้ากันไม่ได้ในแบบดั้งเดิมกับคําสั่ง Snowflake COPY ตามที่กล่าวถึงในส่วนสุดท้าย ให้เปิดใช้งานสําเนาตามลําดับขั้นที่มีอยู่ภายในโดยใช้อินสแตนซ์ที่เก็บข้อมูล Azure Blob ระหว่างกาล คุณลักษณะการคัดลอกตามลําดับขั้นยังให้ปริมาณงานที่ดีกว่าแก่คุณ บริการจะส่งออกข้อมูลจาก Snowflake ลงในที่เก็บข้อมูลการจัดเตรียม จากนั้นคัดลอกข้อมูลไปยังปลายทาง และสุดท้ายล้างข้อมูลชั่วคราวของคุณจากที่เก็บข้อมูลการจัดเตรียม

หากต้องการใช้คุณลักษณะนี้ ให้สร้าง การเชื่อมต่อ ที่เก็บข้อมูล Azure Blob ที่อ้างถึงบัญชีที่เก็บข้อมูล Azure เป็นการแสดงระยะระหว่างกลาง จากนั้นไปที่ แท็บการตั้งค่า เพื่อกําหนดค่าการตั้งค่าการแสดงข้อมูลของคุณ คุณจําเป็นต้องเลือก ภายนอก เพื่อกําหนดค่าการเชื่อมต่อการแสดงข้อมูล Azure Blob Storage

• เมื่อคุณระบุ การรวม ที่เก็บข้อมูลในแหล่งข้อมูล การจัดเตรียมระหว่างกลางที่เก็บข้อมูล Azure Blob ควรเป็นแบบที่คุณอ้างอิงในขั้นตอนภายนอกใน Snowflake ตรวจสอบให้แน่ใจว่าคุณสร้างการเชื่อมต่อ Azure Blob Storage สําหรับการเชื่อมต่อนั้นด้วยการรับรองความถูกต้องที่ได้รับการสนับสนุน และให้บทบาทผู้สนับสนุน Blob Data Contributor ของที่เก็บข้อมูลเป็นอย่างน้อยไปยังบริการ Snowflake หลักในการจัดเตรียมการควบคุมการเข้าถึงที่เก็บข้อมูล Azure Blob (IAM) เส้นทางที่เก็บข้อมูลภายใต้การตั้งค่าการจัดเตรียมในแท็บการตั้งค่าเป็นสิ่งจําเป็น

• เมื่อคุณไม่ได้ระบุ การรวม Storage ในแหล่งข้อมูล การจัดเตรียมการเชื่อมต่อ Azure Blob Storage ต้องใช้การรับรองความถูกต้องลายเซ็นการเข้าถึงที่ใช้ร่วมกัน ตามที่คําสั่ง Snowflake COPY ต้องการ ตรวจสอบให้แน่ใจว่าคุณให้สิทธิ์การเข้าถึงไปยัง Snowflake อย่างเหมาะสมในการจัดเตรียม Azure Blob Storage หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับบทความนี้ ดูที่บทความนี้

ปลายทาง

คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับ Snowflake ภายใต้ แท็บ ปลายทาง ของกิจกรรมการคัดลอก

จําเป็นต้องมีคุณสมบัติต่อไปนี้:

• การเชื่อมต่อ: เลือกการเชื่อมต่อ Snowflake จากรายการการเชื่อมต่อ หากไม่มีการเชื่อมต่อ ให้สร้างการเชื่อมต่อ Snowflake ใหม่

  • คุณสมบัติการเชื่อมต่อเพิ่มเติม: ระบุคุณสมบัติการเชื่อมต่อเพิ่มเติมซึ่งจะใช้ในการเชื่อมต่อ Snowflake เพื่อตั้งค่าตัวเลือกขั้นสูง คุณสมบัติการเชื่อมต่อเพิ่มเติมมีให้เป็นพจนานุกรมของคู่คีย์-ค่า เช่น บทบาท สําหรับข้อมูลเพิ่มเติม โปรดดูบทความนี้

    

• ฐานข้อมูล: ฐานข้อมูลเริ่มต้นที่จะใช้เมื่อเชื่อมต่อแล้ว ซึ่งควรเป็นฐานข้อมูลที่มีอยู่ที่บทบาทที่ระบุมีสิทธิ์พิเศษ

• ตาราง: เลือกตารางในฐานข้อมูลของคุณจากรายการดรอปดาวน์ หรือตรวจสอบ แก้ไข เพื่อป้อนชื่อตารางของคุณด้วยตนเอง

ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:

• สคริปต์ก่อนคัดลอก: ระบุสคริปต์สําหรับคัดลอกกิจกรรมเพื่อดําเนินการก่อนที่จะเขียนข้อมูลลงในตารางปลายทางในการเรียกใช้แต่ละครั้ง คุณสามารถใช้คุณสมบัตินี้เพื่อล้างข้อมูลที่โหลดไว้ล่วงหน้า

• การรวมที่เก็บข้อมูล: ระบุชื่อของการรวมที่เก็บข้อมูลที่คุณสร้างขึ้นใน Snowflake สําหรับขั้นตอนข้อกําหนดเบื้องต้นของการใช้การรวมที่เก็บข้อมูล โปรดดู การกําหนดค่าการรวมที่เก็บข้อมูล Snowflake

• ตัวเลือกการคัดลอก Snowflake เพิ่มเติม: ระบุตัวเลือกการคัดลอก Snowflake เพิ่มเติม ซึ่งจะใช้ในคําสั่ง Snowflake COPY เพื่อโหลดข้อมูล ตัวเลือกการคัดลอกเพิ่มเติมจะแสดงเป็นพจนานุกรมของคู่ค่าคีย์ ตัวอย่าง: ON_ERROR, FORCE, LOAD_UNCERTAIN_FILES สําหรับข้อมูลเพิ่มเติม ให้ดู ตัวเลือกการคัดลอก Snowflake

  

• ตัวเลือกรูปแบบ Snowflake เพิ่มเติม: ระบุตัวเลือกรูปแบบ Snowflake เพิ่มเติม ซึ่งจะใช้ในคําสั่ง Snowflake COPY เพื่อโหลดข้อมูล ตัวเลือกรูปแบบไฟล์เพิ่มเติมที่กําหนดให้กับคําสั่ง COPY จะแสดงเป็นพจนานุกรมของคู่ค่าคีย์ ตัวอย่าง: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT สําหรับข้อมูลเพิ่มเติม ให้ดู ตัวเลือกชนิดรูปแบบของ Snowflake

  

คัดลอกโดยตรงไปยัง Snowflake

ถ้าแหล่งข้อมูลที่เก็บข้อมูลและรูปแบบของคุณตรงกับเกณฑ์ที่อธิบายไว้ในส่วนนี้ คุณสามารถใช้การคัดลอกกิจกรรมเพื่อคัดลอกจากแหล่งที่มาไปยัง Snowflake ได้โดยตรง บริการจะตรวจสอบการตั้งค่าและล้มเหลวในการเรียกใช้กิจกรรมการคัดลอกถ้าไม่เป็นไปตามเกณฑ์ต่อไปนี้:

• เมื่อคุณระบุ การรวมที่ เก็บข้อมูลในปลายทาง:

  ที่เก็บข้อมูลต้นทางคือ Azure Blob Storage ที่คุณอ้างอิงในขั้นตอนภายนอกใน Snowflake คุณจําเป็นต้องทําตามขั้นตอนต่อไปนี้ก่อนคัดลอกข้อมูล:

  1. สร้างการเชื่อมต่อที่เก็บข้อมูล Azure Blob สําหรับแหล่งข้อมูลที่เก็บข้อมูล Azure Blob ด้วยชนิดการรับรองความถูกต้องที่ได้รับการสนับสนุนใด ๆ

  2. มอบบทบาทตัวอ่าน Blob Data Storage Blob Data เป็นอย่างน้อยไปยังบริการ Snowflake หลักในแหล่ง Azure Blob Storage Access Control (IAM)

• เมื่อคุณไม่ได้ระบุ การรวม ที่เก็บข้อมูลในปลายทาง:

  การเชื่อมต่อต้นทางคือที่เก็บข้อมูล Azure Blob ที่มีการรับรองความถูกต้องลายเซ็นการเข้าถึงที่ใช้ร่วมกัน ถ้าคุณต้องการคัดลอกข้อมูลจาก Azure Data Lake Storage รุ่น2 ในรูปแบบที่รองรับต่อไปนี้โดยตรง คุณสามารถสร้างการเชื่อมต่อ Azure Blob Storage ด้วยการรับรองความถูกต้อง SAS กับบัญชี Azure Data Lake Storage รุ่น2 ของคุณ เพื่อหลีกเลี่ยงการใช้สําเนาลําดับขั้นไปยัง Snowflake

• รูปแบบข้อมูลต้นทางคือ Parquet, DelimitedText หรือ JSON ที่มีการกําหนดค่าต่อไปนี้:

  • สําหรับรูปแบบ Parquet ตัวแปลงสัญญาณการบีบอัดคือ None หรือ Snappy

  • สําหรับ รูปแบบ DelimitedText :

    • ตัว คั่นแถวคือ \r\n หรืออักขระเดี่ยวใดๆ ถ้าตัวคั่นแถวไม่ใช่ "\r\n" แถวแรกเป็นส่วนหัวจะไม่ถูกเลือก และไม่ได้ระบุข้ามการนับบรรทัด
    • ประเภทการบีบอัดอาจเป็น ไม่มี, gzip, bzip2 หรือ deflate
    • การเข้ารหัส ถูกปล่อยให้เป็นค่าเริ่มต้นหรือตั้งค่าเป็น "UTF-8", "UTF-16", "UTF-16BE", "UTF-32", "UTF-32BE", "BIG5", "EUC-JP", "EUC-KR", "GB18030", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9 ", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1252", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255"
    • อักขระข้อความอ้างอิงเป็นเครื่องหมายคําพูดคู่ อัญประกาศเดี่ยว หรือไม่มีอักขระอัญประกาศ

  • สําหรับรูปแบบ JSON การคัดลอกโดยตรงสนับสนุนเฉพาะกรณีที่ตาราง Snowflake ปลายทางมีคอลัมน์เดียวเท่านั้นและชนิดข้อมูลของคอลัมน์นี้คือ VARIANT, OBJECT หรือ ARRAY

    • ประเภทการบีบอัดอาจเป็น ไม่มี, gzip, bzip2 หรือ deflate
    • การเข้ารหัสถูกปล่อยให้เป็นค่าเริ่มต้นหรือตั้งค่าเป็น UTF-8
    • ไม่ได้ระบุการแมปคอลัมน์

• ในแหล่งข้อมูล คัดลอกกิจกรรม:

  • ไม่ได้ระบุคอลัมน์ เพิ่มเติม
  • ถ้าแหล่งข้อมูลของคุณเป็นโฟลเดอร์ จะมีการเลือกเรียกใช้ซ้ํา
  • ไม่มีการระบุคํานําหน้า เวลาเริ่มต้น (UTC) และเวลาสิ้นสุด (UTC) ในตัวกรองตามการปรับเปลี่ยนล่าสุด และเปิดใช้งานการค้นพบพาร์ติชัน

คัดลอกจากลําดับขั้นไปยัง Snowflake

เมื่อที่เก็บข้อมูลหรือรูปแบบต้นทางของคุณไม่สามารถเข้ากันได้กับคําสั่ง Snowflake COPY ตามที่ระบุไว้ในส่วนสุดท้ายให้เปิดใช้งานสําเนาตามลําดับขั้นที่มีอยู่ภายในโดยใช้อินสแตนซ์ที่เก็บข้อมูล Azure Blob ระหว่างกาล คุณลักษณะการคัดลอกตามลําดับขั้นยังให้ปริมาณงานที่ดีกว่าแก่คุณ บริการแปลงข้อมูลโดยอัตโนมัติเพื่อตอบสนองความต้องการรูปแบบข้อมูลของ Snowflake จากนั้นจะเรียกใช้คําสั่ง COPY เพื่อโหลดข้อมูลลงใน Snowflake ในตอนท้าย การล้างข้อมูลชั่วคราวของคุณจากที่เก็บข้อมูล blob

หากต้องการใช้คุณลักษณะนี้ ให้สร้าง การเชื่อมต่อ ที่เก็บข้อมูล Azure Blob ที่อ้างถึงบัญชีที่เก็บข้อมูล Azure เป็นการแสดงระยะระหว่างกลาง จากนั้นไปที่ แท็บการตั้งค่า เพื่อกําหนดค่าการตั้งค่าการแสดงข้อมูลของคุณ คุณจําเป็นต้องเลือก ภายนอก เพื่อกําหนดค่าการเชื่อมต่อการแสดงข้อมูล Azure Blob Storage

• เมื่อคุณระบุ การรวม ที่เก็บข้อมูลในปลายทาง การจัดเตรียมระหว่างกลาง Azure Blob Storage ควรเป็นแบบที่คุณอ้างอิงในขั้นตอนภายนอกใน Snowflake ตรวจสอบให้แน่ใจว่าคุณสร้างการเชื่อมต่อ Azure Blob Storage สําหรับการเชื่อมต่อนั้นด้วยการรับรองความถูกต้องที่ได้รับการสนับสนุน และให้บทบาทตัวอ่านข้อมูล Blob Data ของที่เก็บข้อมูลเป็นอย่างน้อยไปยังบริการ Snowflake หลักในการจัดเตรียมการควบคุมการเข้าถึงที่เก็บข้อมูล Azure Blob (IAM) เส้นทางที่เก็บข้อมูลภายใต้การตั้งค่าการจัดเตรียมในแท็บการตั้งค่าเป็นสิ่งจําเป็น

• เมื่อคุณไม่ได้ระบุ การรวม Storage ในปลายทาง การจัดเตรียมการเชื่อมต่อ Azure Blob Storage จําเป็นต้องใช้การรับรองความถูกต้องลายเซ็นการเข้าถึงที่ใช้ร่วมกันตามที่คําสั่ง Snowflake COPY ต้องการ

การแม็ป

สําหรับ การกําหนดค่าแท็บการแมป ไปที่ กําหนดค่าการแมปของคุณภายใต้แท็บการแมป

การตั้งค่า

สําหรับ การกําหนดค่าแท็บ การตั้งค่า ไปที่ กําหนดค่าการตั้งค่าอื่น ๆ ของคุณภายใต้แท็บ การตั้งค่า

ข้อมูลสรุปของตาราง

ตารางต่อไปนี้มีข้อมูลเพิ่มเติมเกี่ยวกับกิจกรรมการคัดลอกใน Snowflake

แหล่งที่มา

ปลายทาง

เนื้อหาที่เกี่ยวข้อง

• ภาพรวมของตัวเชื่อมต่อ snowflake