กําหนดค่า Amazon S3 Compatible ในกิจกรรมการคัดลอก

บทความนี้สรุปวิธีการใช้กิจกรรมการคัดลอกในไปป์ไลน์เพื่อคัดลอกข้อมูลจาก Amazon S3 Compatible

จำเป็นต้องมีสิทธิ์

หากต้องการคัดลอกข้อมูลจากการใช้งานที่เข้ากันได้กับ Amazon S3 ตรวจสอบให้แน่ใจว่าคุณได้รับสิทธิ์ต่อไปนี้สําหรับการดําเนินการอ็อบเจ็กต์ที่เข้ากันได้กับ Amazon S3 และ s3:GetObjects3:GetObjectVersion

หากต้องการคัดลอกข้อมูลไปยัง Amazon S3 Compatible ตรวจสอบให้แน่ใจว่าคุณได้รับ s3:PutObject สิทธิ์สําหรับการดําเนินการอ็อบเจ็กต์ที่เข้ากันได้กับ Amazon S3

นอกจากนี้ s3:ListAllMyBuckets และ s3:ListBucket/s3:GetBucketLocation จําเป็นต้องมีสิทธิ์สําหรับการดําเนินการต่างๆ เช่น การทดสอบการเชื่อมต่อและการเรียกดูจากรูท

สําหรับรายการสิทธิ์ทั้งหมดที่เข้ากันได้กับ Amazon S3 ให้ไปที่ การระบุสิทธิ์ในนโยบาย บนเว็บไซต์ AWS

รูปแบบที่รองรับ

Amazon S3 Compatible รองรับรูปแบบไฟล์ต่อไปนี้ อ้างอิงกับแต่ละบทความสําหรับการตั้งค่าตามรูปแบบ

• รูปแบบ Avro
• รูปแบบไบนารี
• รูปแบบข้อความที่คั่น
• รูปแบบ Excel
• รูปแบบ JSON
• รูปแบบ ORC
• รูปแบบไม้ปาร์เก้
• รูปแบบ XML

การกําหนดค่าที่รองรับ

สําหรับการกําหนดค่าของแต่ละแท็บภายใต้กิจกรรมการคัดลอก ให้ไปที่ส่วนต่อไปนี้ตามลําดับ

• ทั่วไป
• ที่มา
• ปลายทางของ
• การทําแผนที่
• Settings

General

โปรดดูคําแนะนําการตั้งค่าทั่วไปเพื่อกําหนดค่าแท็บ การตั้งค่าทั่วไป

ที่มา

คุณสมบัติต่อไปนี้รองรับสําหรับ Amazon S3 Compatible ภายใต้แท็บ แหล่งที่มา ของกิจกรรมการคัดลอก

คุณสมบัติต่อไปนี้ เป็นสิ่งจําเป็น:

• การเชื่อมต่อ: เลือกการเชื่อมต่อที่เข้ากันได้กับ Amazon S3 จากรายการการเชื่อมต่อ หากไม่มีการเชื่อมต่อ ให้สร้างการเชื่อมต่อใหม่ที่เข้ากันได้กับ Amazon S3 โดยเลือก ใหม่

• ประเภทการเชื่อมต่อ: เลือก Amazon S3 Compatible สําหรับประเภทการเชื่อมต่อของคุณ

• ประเภทเส้นทางไฟล์: คุณสามารถเลือกเส้นทาง ไฟล์ คํา นําหน้าเส้นทางไฟล์ตัวแทน หรือ รายการไฟล์ เป็นประเภทเส้นทางไฟล์ได้ การกําหนดค่าสําหรับการตั้งค่าแต่ละรายการคือ:

  • เส้นทางไฟล์: หากคุณเลือกประเภทนี้ สามารถคัดลอกข้อมูลจากบัคเก็ตที่กําหนดหรือเส้นทางบัคเก็ตและโฟลเดอร์ที่กําหนดที่ระบุ

  • คํานําหน้า: หากคุณเลือกประเภทนี้ ให้ระบุ บัคเก็ต และ คํานําหน้า

    • บัคเก็ต: ระบุชื่อบัคเก็ตที่เก็บข้อมูลที่เข้ากันได้กับ S3 มันเป็นสิ่งจําเป็น

    • คํานําหน้า: ระบุคํานําหน้าสําหรับชื่อคีย์ที่เก็บข้อมูลที่เข้ากันได้กับ S3 ภายใต้บัคเก็ตที่กําหนดเพื่อกรองไฟล์ที่เก็บข้อมูลที่เข้ากันได้กับ S3 ต้นทาง คีย์พื้นที่จัดเก็บข้อมูลที่เข้ากันได้กับ S3 ที่มีชื่อขึ้นต้นด้วย bucket/this_prefix จะถูกเลือก ใช้ตัวกรองฝั่งบริการของ S3 Compatible Storage ซึ่งให้ประสิทธิภาพที่ดีกว่าตัวกรองสัญลักษณ์แทน

      เมื่อคุณใช้คํานําหน้าและเลือกที่จะคัดลอกไปยังปลายทางตามไฟล์ที่มีการรักษาลําดับชั้นโปรดทราบว่าเส้นทางย่อยหลังจาก "/" สุดท้ายในคํานําหน้าจะถูกเก็บรักษาไว้ ตัวอย่างเช่น คุณมีแหล่งที่มา bucket/folder/subfolder/file.txtและกําหนดค่าคํานําหน้าเป็น folder/subจากนั้นเส้นทางไฟล์ที่เก็บรักษาไว้คือsubfolder/file.txt

    

  • เส้นทางไฟล์สัญลักษณ์ตัวแทน: หากคุณเลือกประเภทนี้ ให้ระบุเส้นทาง บัคเก็ต และ สัญลักษณ์ตัวแทน

    • บัคเก็ต: ระบุชื่อบัคเก็ตที่เก็บข้อมูลที่เข้ากันได้กับ S3 มันเป็นสิ่งจําเป็น

    • เส้นทางสัญลักษณ์ตัวแทน: ระบุโฟลเดอร์หรือเส้นทางไฟล์ด้วยอักขระตัวแทนภายใต้ที่เก็บข้อมูลที่คุณกําหนดเพื่อกรองโฟลเดอร์หรือไฟล์ต้นทางของคุณ

      อักขระตัวแทนที่อนุญาตคือ: * (จับคู่อักขระเป็นศูนย์หรือมากกว่า) และ ? (ตรงกับอักขระศูนย์หรืออักขระเดี่ยว) ใช้เพื่อ ^ หลบหนีหากชื่อโฟลเดอร์ของคุณมีสัญลักษณ์ตัวแทนหรืออักขระตัวหลบหนีนี้อยู่ภายใน ดูตัวอย่างเพิ่มเติมในตัวอย่างตัวกรองโฟลเดอร์และไฟล์ เส้นทางโฟลเดอร์ตัวแทน: เส้นทางโฟลเดอร์ที่มีอักขระตัวแทนภายใต้บัคเก็ตที่กําหนดเพื่อกรองโฟลเดอร์ต้นทาง

      ชื่อแฟ้มสัญลักษณ์แทน: ชื่อแฟ้มที่มีอักขระตัวแทนภายใต้บัคเก็ตและเส้นทางโฟลเดอร์ที่กําหนด (หรือเส้นทางโฟลเดอร์ตัวแทน) เพื่อกรองแฟ้มต้นฉบับ

  • รายการไฟล์: หากคุณเลือกประเภทนี้ ให้ระบุรายการเส้นทาง โฟลเดอร์ และ เส้นทางไปยังไฟล์ เพื่อระบุให้คัดลอกชุดไฟล์ที่กําหนด ชี้ไปที่ไฟล์ข้อความที่มีรายการไฟล์ที่คุณต้องการคัดลอก หนึ่งไฟล์ต่อบรรทัด ซึ่งเป็นเส้นทางสัมพัทธ์ไปยังเส้นทางที่กําหนดค่าไว้ โปรดดูตัวอย่างเพิ่มเติมที่หัวข้อตัวอย่างรายการไฟล์

    

    • เส้นทางโฟลเดอร์: ระบุเส้นทางไปยังโฟลเดอร์ภายใต้ที่เก็บข้อมูลที่กําหนด มันเป็นสิ่งจําเป็น
    • เส้นทางไปยังรายการไฟล์: ระบุเส้นทางของไฟล์ข้อความที่มีรายการไฟล์ที่คุณต้องการคัดลอก

• รูปแบบไฟล์: เลือกรูปแบบไฟล์ที่ใช้จากรายการดรอปดาวน์ เลือก การตั้งค่า เพื่อกําหนดค่ารูปแบบไฟล์ สําหรับการตั้งค่าของรูปแบบไฟล์ต่างๆ โปรดดูบทความใน รูปแบบที่รองรับ สําหรับข้อมูลโดยละเอียด

• เรียกซ้ํา: ระบุว่าข้อมูลจะถูกอ่านซ้ําจากโฟลเดอร์ย่อยหรือจากโฟลเดอร์ที่ระบุเท่านั้น เมื่อเลือก เรียกซ้ํา และปลายทางเป็นที่เก็บแบบไฟล์ โฟลเดอร์เปล่าหรือโฟลเดอร์ย่อยจะไม่ถูกคัดลอกหรือสร้างขึ้นที่ปลายทาง คุณสมบัตินี้ถูกเลือกตามค่าเริ่มต้น และจะไม่นําไปใช้เมื่อคุณกําหนดค่า เส้นทางไปยังรายการไฟล์

ภายใต้ ขั้นสูง คุณสามารถระบุฟิลด์ต่อไปนี้:

• กรองตามการแก้ไขล่าสุด: ไฟล์จะถูกกรองตามวันที่แก้ไขล่าสุดที่คุณระบุ คุณสมบัตินี้ใช้ไม่ได้เมื่อคุณกําหนดค่าชนิดเส้นทางไฟล์ของคุณเป็น รายการไฟล์

  • เวลาเริ่มต้น (UTC): ไฟล์จะถูกเลือกหากเวลาที่แก้ไขล่าสุดมากกว่าหรือเท่ากับเวลาที่กําหนดค่าไว้
  • เวลาสิ้นสุด (UTC): ไฟล์จะถูกเลือกหากเวลาที่แก้ไขล่าสุดน้อยกว่าเวลาที่กําหนดค่าไว้

  เมื่อ เวลาเริ่มต้น (UTC) มีค่าวันที่และเวลา แต่เวลาสิ้นสุด (UTC) เป็น NULL หมายความว่าไฟล์ที่มีแอตทริบิวต์ที่แก้ไขล่าสุดมากกว่าหรือเท่ากับค่าวันที่และเวลาจะถูกเลือก เมื่อ เวลาสิ้นสุด (UTC) มีค่าวันที่และเวลา แต่เวลาเริ่มต้น (UTC) เป็น NULL หมายความว่าไฟล์ที่มีแอตทริบิวต์ที่แก้ไขล่าสุดน้อยกว่าค่าวันที่และเวลาจะถูกเลือก คุณสมบัติสามารถเป็น NULL ซึ่งหมายความว่าจะไม่มีการนําตัวกรองแอตทริบิวต์ไฟล์ไปใช้กับข้อมูล

• เปิดใช้งานการค้นพบพาร์ติชัน: ระบุว่าจะแยกวิเคราะห์พาร์ติชันจากเส้นทางไฟล์และเพิ่มเป็นคอลัมน์ต้นทางเพิ่มเติมหรือไม่ ไม่ได้เลือกตามค่าเริ่มต้น และไม่ได้รับการสนับสนุนเมื่อคุณใช้รูปแบบแฟ้มไบนารี

  • เส้นทางรากของพาร์ติชัน: เมื่อเปิดใช้งานการค้นพบพาร์ติชันให้ระบุเส้นทางรากแบบสัมบูรณ์เพื่ออ่านโฟลเดอร์ที่แบ่งพาร์ติชันเป็นคอลัมน์ข้อมูล

    หากไม่ได้ระบุไว้ โดยค่าเริ่มต้น

    • เมื่อคุณใช้เส้นทางแฟ้มหรือรายการของแฟ้มบนต้นทาง พาธรากของพาร์ติชันคือเส้นทางที่คุณกําหนดค่าไว้
    • เมื่อคุณใช้ตัวกรองโฟลเดอร์ตัวแทน เส้นทางรากของพาร์ติชันคือเส้นทางย่อยก่อนสัญลักษณ์แทนตัวแรก
    • เมื่อคุณใช้คํานําหน้า เส้นทางรากของพาร์ติชันเป็นเส้นทางย่อยก่อน "/" สุดท้าย

    ตัวอย่างเช่น สมมติว่าคุณกําหนดค่าเส้นทางเป็น root/folder/year=2020/month=08/day=27:

    • หากคุณระบุเส้นทางรากของพาร์ติชันเป็น root/folder/year=2020กิจกรรมการคัดลอกจะสร้างคอลัมน์เดือนและวันอีกสองคอลัมน์ด้วยค่า "08" และ "27" ตามลําดับนอกเหนือจากคอลัมน์ภายในไฟล์
    • หากไม่ได้ระบุเส้นทางรากของพาร์ติชันจะไม่มีการสร้างคอลัมน์เพิ่มเติม

    

• การเชื่อมต่อพร้อมกันสูงสุด: ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น

• คอลัมน์เพิ่มเติม: เพิ่มคอลัมน์ข้อมูลเพิ่มเติมเพื่อจัดเก็บเส้นทางสัมพัทธ์หรือค่าคงที่ของไฟล์ต้นฉบับ นิพจน์ได้รับการสนับสนุนสําหรับรุ่นหลัง

จุดหมาย

คุณสมบัติต่อไปนี้รองรับสําหรับ Amazon S3 Compatible ภายใต้แท็บ ปลายทาง ของกิจกรรมการคัดลอก

คุณสมบัติต่อไปนี้ เป็นสิ่งจําเป็น:

• การเชื่อมต่อ: เลือกการเชื่อมต่อที่เข้ากันได้กับ Amazon S3 จากรายการการเชื่อมต่อ หากไม่มีการเชื่อมต่อ ให้สร้างการเชื่อมต่อใหม่ที่เข้ากันได้กับ Amazon S3 โดยเลือก ใหม่
• ประเภทการเชื่อมต่อ: เลือก Amazon S3 Compatible สําหรับประเภทการเชื่อมต่อของคุณ
• เส้นทางไฟล์: ข้อมูลสามารถคัดลอกไปยังบัคเก็ตที่กําหนดหรือบัคเก็ตและเส้นทางโฟลเดอร์ที่กําหนดที่ระบุ
• รูปแบบไฟล์: เลือกรูปแบบไฟล์ที่ใช้จากรายการดรอปดาวน์ เลือก การตั้งค่า เพื่อกําหนดค่ารูปแบบไฟล์ สําหรับการตั้งค่าของรูปแบบไฟล์ต่างๆ โปรดดูบทความใน รูปแบบที่รองรับ สําหรับข้อมูลโดยละเอียด

ภายใต้ ขั้นสูง คุณสามารถระบุฟิลด์ต่อไปนี้:

• พฤติกรรมการคัดลอก: กําหนดลักษณะการคัดลอกเมื่อแหล่งที่มาเป็นไฟล์จากที่เก็บข้อมูลแบบไฟล์ คุณสามารถเลือกลักษณะการทํางานจากรายการแบบหล่นลง

  • แบนลําดับชั้น: ไฟล์ทั้งหมดจากโฟลเดอร์ต้นทางอยู่ในระดับแรกของโฟลเดอร์ปลายทาง ไฟล์ปลายทางมีชื่อที่สร้างขึ้นโดยอัตโนมัติ
  • ผสานไฟล์: รวมไฟล์ทั้งหมดจากโฟลเดอร์ต้นทางเป็นไฟล์เดียว ถ้าระบุชื่อไฟล์ ชื่อไฟล์ที่ผสานจะเป็นชื่อที่ระบุ มิฉะนั้นจะเป็นชื่อไฟล์ที่สร้างขึ้นโดยอัตโนมัติ
  • รักษาลําดับชั้น: รักษาลําดับชั้นของไฟล์ในโฟลเดอร์เป้าหมาย เส้นทางสัมพัทธ์ของไฟล์ต้นฉบับไปยังโฟลเดอร์ต้นทางจะเหมือนกับเส้นทางสัมพัทธ์ของไฟล์เป้าหมายไปยังโฟลเดอร์เป้าหมาย

• การเชื่อมต่อพร้อมกันสูงสุด: คุณสมบัตินี้ระบุขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลระหว่างการรันกิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น

การแม็ป

สําหรับการกําหนดค่าแท็บ การแม็ป ไปที่ กําหนดค่าการ แม็ปของคุณภายใต้แท็บการแม็ป หากคุณเลือกไบนารีเป็นรูปแบบไฟล์ของคุณจะไม่รองรับการแมป

การตั้งค่า

สําหรับการกําหนดค่าแท็บการตั้งค่า ให้ไปที่กําหนดการตั้งค่าอื่นๆ ของคุณภายใต้แท็บการตั้งค่า

ข้อมูลสรุปของตาราง

ตารางต่อไปนี้มีข้อมูลเพิ่มเติมเกี่ยวกับกิจกรรมการคัดลอกในที่เข้ากันได้กับ Amazon S3

แหล่งข้อมูล

ข้อมูลจุดหมายปลายทาง

เนื้อหาที่เกี่ยวข้อง

• ภาพรวมที่เข้ากันได้กับ Amazon S3