หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
Lakehouse ผสานรวมกับความสามารถในการจัดการวงจรชีวิตใน Microsoft Fabric ซึ่งเป็นการทํางานร่วมกันที่ได้มาตรฐานระหว่างสมาชิกทีมพัฒนาทุกคนตลอดชีวิตของผลิตภัณฑ์ การจัดการวงจรชีวิตช่วยอํานวยความสะดวกในการกําหนดรุ่นและเผยแพร่ผลิตภัณฑ์ที่มีประสิทธิภาพโดยการนําเสนอคุณลักษณะและการแก้ไขข้อบกพร่องในหลายสภาพแวดล้อมอย่างต่อเนื่อง หากต้องการเรียนรู้เพิ่มเติม โปรดดู การจัดการวงจรชีวิตใน Microsoft Fabric คืออะไร
สิ่งที่ถูกติดตามใน git และไปป์ไลน์การปรับใช้
ตารางต่อไปนี้สรุปรายการ Lakehouse และรายการย่อย และการสนับสนุนในพื้นที่ทํางานที่เชื่อมต่อ git และไปป์ไลน์การปรับใช้
| รายการ/รายการย่อย | Git | ไปป์ไลน์การปรับใช้ | สถานะการเผยแพร่ | บันทึกย่อ |
|---|---|---|---|---|
| ข้อมูลเมตาของเลคเฮาส์ (ชื่อที่แสดง คําอธิบาย GUID เชิงตรรกะ) | ✅ ติดตาม | ✅ ติดตาม | GA | ตัวระบุข้ามพื้นที่ทํางานสําหรับการควบคุมแหล่งที่มา |
| ข้อมูลเมตาของทางลัด OneLake | ✅ ติดตาม | ✅ ติดตาม | GA | เก็บไว้ในไฟล์ shortcuts.metadata.json |
| ทางลัดภายนอก: ADLS Gen2, S3, Dataverse และ Google Cloud Storage | ✅ ติดตาม | ✅ ซิงค์ข้ามขั้นตอน | GA | เป้าหมายเดียวกันในทุกขั้นตอน เว้นแต่จะแมปใหม่โดยใช้ไลบรารีตัวแปร |
| ทางลัดภายนอก: SharePoint, ที่เก็บข้อมูล Azure Blob, OneDrive | ❌ ไม่ถูกติดตาม | ❌ ไม่เขียนทับ | ไม่สนับสนุน | ข้อมูลจะถูกเก็บรักษาไว้เสมอระหว่างการดําเนินงาน |
| ทางลัด OneLake ภายใน | ✅ ติดตาม | ✅ ทําการแมปใหม่โดยอัตโนมัติในขั้นตอนต่างๆ | GA | ต้องมีเป้าหมายที่ถูกต้องในพื้นที่ทํางานจึงจะใช้งานได้ |
| ข้อมูลเมตาของ OneLake Security Data Access Roles | ✅ ติดตาม | ✅ ติดตาม | การแสดงตัวอย่าง | เก็บไว้ในไฟล์ data-access-roles.json |
| ตาราง (เดลต้าและไม่ใช่เดลต้า) | ❌ ไม่ถูกติดตาม | ❌ ไม่เขียนทับ | ไม่สนับสนุน | ข้อมูลจะถูกเก็บรักษาไว้เสมอระหว่างการดําเนินงาน |
| มุมมองสปาร์ค | ❌ ไม่ถูกติดตาม | ❌ ไม่เขียนทับ | ไม่สนับสนุน | ข้อมูลจะถูกเก็บรักษาไว้เสมอระหว่างการดําเนินงาน |
| โฟลเดอร์ในส่วนไฟล์ | ❌ ไม่ถูกติดตาม | ❌ ไม่เขียนทับ | ไม่สนับสนุน | ข้อมูลจะถูกเก็บรักษาไว้เสมอระหว่างการดําเนินงาน |
ประสบการณ์ Opt-In สําหรับประเภทออบเจ็กต์
Lakehouse นําเสนอประสบการณ์การเลือกใช้ที่เปิดหรือปิดใช้งานประเภทออบเจ็กต์การติดตามใน git และไปป์ไลน์การปรับใช้ หากต้องการเปิดใช้งานประสบการณ์ ให้ไปที่การตั้งค่าเลคเฮาส์ และเปิดใช้งานประเภทออบเจ็กต์ที่ต้องการเพื่อติดตาม
คุณลักษณะนี้ให้ประโยชน์ดังต่อไปนี้ด้วยเหตุผลสองประการ:
- ให้ความยืดหยุ่นแก่ทีมพัฒนาในการเลือกประเภทอ็อบเจ็กต์ที่จะติดตามใน git และไปป์ไลน์การปรับใช้ตามความต้องการและเวิร์กโฟลว์เฉพาะของพวกเขา ทีมอาจต้องการประสานประเภทออบเจ็กต์ผ่านเครื่องมือหรือสคริปต์ภายนอก นอกจากนี้ ออบเจ็กต์บางชนิดอาจไม่เกี่ยวข้องกับทุกขั้นตอนในไปป์ไลน์การปรับใช้
- ค่อยๆ แนะนําประเภทออบเจ็กต์ใหม่สําหรับการติดตาม ช่วยให้ทีมสามารถปรับเวิร์กโฟลว์และระบบอัตโนมัติที่มีอยู่ก่อนที่จะเลือกใช้ออบเจ็กต์ประเภทอื่นๆ สิ่งนี้จะช่วยป้องกันการหยุดชะงักที่อาจเกิดขึ้นกับเวิร์กโฟลว์และระบบอัตโนมัติที่มีอยู่
ลักษณะการทํางานต่อไปนี้จะถูกนําไปใช้เมื่อเลือกใช้หรือไม่ใช้การติดตามชนิดออบเจ็กต์:
- หลังจากเลือกที่จะติดตามประเภทออบเจ็กต์ที่ไม่เคยถูกติดตามมาก่อนและซิงค์การเปลี่ยนแปลงกับ git สถานะเมตาดาต้าปัจจุบันของออบเจ็กต์ประเภทนั้นจะถูกทําให้เป็นอนุกรมและจัดเก็บไว้ใน git การเปลี่ยนแปลงในอนาคตของชนิดออบเจ็กต์นั้นจะถูกติดตามและซิงโครไนส์ระหว่างพื้นที่ทํางานในไปป์ไลน์การปรับใช้
- หลังจากเลือกที่จะไม่ติดตามประเภทอ็อบเจ็กต์ที่เคยติดตามมาก่อน เมตาดาต้าของประเภทอ็อบเจ็กต์จะไม่ถูกทําให้เป็นอนุกรมหรือจัดเก็บไว้ใน git อีกต่อไป การเปลี่ยนแปลงในอนาคตของชนิดออบเจ็กต์นั้นจะไม่ถูกติดตามหรือซิงโครไนส์ระหว่างพื้นที่ทํางานในไปป์ไลน์การปรับใช้ ข้อมูลเมตาที่มีอยู่ใน git จะถูกลบออก
- เลคเฮาส์ใหม่ถูกสร้างขึ้นด้วยออบเจ็กต์ทุกประเภทที่เลือกใช้ตามค่าเริ่มต้น ยกเว้นชนิดที่อยู่ในสถานะแสดงตัวอย่าง
- เลคเฮาส์ที่มีอยู่จะคงสถานะการติดตามประเภทอ็อบเจ็กต์ปัจจุบันไว้ เว้นแต่ผู้ใช้จะเปลี่ยนแปลง
คําจํากัดความการติดตาม ALM จะถูกเก็บไว้ในไฟล์ที่มีชื่อ alm.settings.json ภายใต้โฟลเดอร์เลคเฮาส์ใน git การกําหนดค่าเหล่านั้นสามารถเปลี่ยนแปลงและกําหนดเวอร์ชันได้โดยตรงในที่เก็บ git โดยการเปลี่ยน alm.settings.json ไฟล์ จากนั้นนําการเปลี่ยนแปลงเหล่านั้นกลับไปยังพื้นที่ทํางาน
การรวม Lakehouse git
Lakehouse เป็นรายการที่ประกอบด้วยทั้งเมตาดาต้าและข้อมูลที่ถูกอ้างอิงในหลายวัตถุในพื้นที่ทํางาน Lakehouse มีการอ้างอิงไปยังตาราง โฟลเดอร์ และทางลัดเป็นรายการคอนเทนเนอร์ข้อมูลที่จัดการได้หลัก จากมุมมองเวิร์กโฟลว์การพัฒนา วัตถุที่ขึ้นต่อกันต่อไปนี้อาจอ้างอิงถึงเลคเฮ้าส์:
- กระแสข้อมูล และ ไปป์ไลน์
- ข้อกําหนดงาน Spark
- โน้ต บุ๊ค
- แบบจําลองความหมายและ Power BI
ข้อมูลเมตาของตําแหน่งข้อมูลการวิเคราะห์ SQL เกี่ยวข้องกับ Lakehouse และจัดการโดยกระบวนการอัปเดต git ตามค่าเริ่มต้น เนื่องจากไม่มีการติดตามข้อมูลหลักการ ใน git มีการติดตามเฉพาะเมตาดาต้าเท่านั้น
การแสดง Git
ข้อมูลของเลคเฮ้าส์ต่อไปนี้จะถูกซีเรียลไลซ์และติดตามในพื้นที่ทํางานที่เชื่อมต่อ git:
- ชื่อที่แสดง
- คำอธิบาย
- guid แบบลอจิคัล
หมายเหตุ
guid เชิงตรรกะที่ถูกติดตามเป็นตัวระบุพื้นที่ทํางานข้ามที่สร้างขึ้นโดยอัตโนมัติที่แสดงถึงหน่วยข้อมูลและการแสดงตัวควบคุมแหล่งข้อมูล
สำคัญ
เฉพาะสิ่งประดิษฐ์คอนเทนเนอร์ Lakehouse และไอเท็มที่อ้างอิงในส่วนแรกของบทความนี้เท่านั้นที่จะถูกติดตามใน git ในประสบการณ์ปัจจุบัน ตาราง (Delta และไม่ใช่ Delta) และโฟลเดอร์ในส่วนไฟล์จะไม่ถูกติดตาม และเวอร์ชันใน git
ความสามารถในการรวม git และไปป์ไลน์การปรับใช้ของ Lakehouse artifact
ความสามารถต่อไปนี้จะพร้อมใช้งาน:
- การทําให้เป็นอนุกรมของข้อมูลเมตาของวัตถุอาร์ติแฟกต์ Lakehouse เป็นการแสดง git JSON
- ใช้การเปลี่ยนแปลงโดยตรงหรือใช้คําขอดึงข้อมูลเพื่อควบคุมการเปลี่ยนแปลงพื้นที่ทํางานและสาขาต้นทางหรือปลายทาง
- การเปลี่ยนชื่อเลคเฮ้าส์มีการติดตามใน git การอัปเดตเลคเฮาส์ที่เปลี่ยนชื่อจะเปลี่ยนชื่อตําแหน่งข้อมูล SQL Analytics ด้วย
- ไม่มีการดําเนินการใด ๆ ถูกนําไปใช้กับตารางและโฟลเดอร์เมตาดาต้าและข้อมูลของรายการเหล่านั้นจะถูกรักษาไว้เสมอ
- เมตาดาต้าของ OneLake Shortcuts จะถูกรักษาไว้ใน git
เลคเฮ้าส์ได้รับการสนับสนุนในไปป์ไลน์การปรับใช้การจัดการวงจรชีวิต Microsoft Fabric ซึ่งเปิดใช้งานแนวทางปฏิบัติที่ดีที่สุดสําหรับการแบ่งเซกเมนต์สภาพแวดล้อม
ความสามารถในการรวมไปป์ไลน์การปรับใช้ Lakehouse:
- การปรับใช้ทั่วทั้งพื้นที่ทํางานการพัฒนา การทดสอบ และการผลิต
- เลคเฮ้าส์สามารถลบออกเป็นวัตถุที่ขึ้นต่อกันได้เมื่อมีการปรับใช้ การแมปเลคเฮ้าส์ที่แตกต่างกันภายในบริบทไปป์ไลน์การปรับใช้ยังได้รับการสนับสนุน
ถ้าไม่มีการระบุสิ่งใดในระหว่างการกําหนดค่าไปป์ไลน์การปรับใช้ ออบเจ็กต์ Lakehouse ที่ว่างเปล่าใหม่ที่มีชื่อเดียวกันจะถูกสร้างขึ้นในพื้นที่ทํางานเป้าหมาย ข้อกําหนดงานของสมุดบันทึกและ Spark จะถูกแมปใหม่เพื่ออ้างอิงวัตถุ Lakehouse ใหม่ในพื้นที่ทํางานใหม่
ถ้าการขึ้นต่อกันของเลคเฮ้าส์ถูกกําหนดค่าให้อ้างอิงสําหรับเลคเฮ้าส์ที่แตกต่างกันในระหว่างการปรับใช้เวลาการกําหนดค่าไปป์ไลน์ เช่น อัปสตรีมเลคเฮ้าส์ วัตถุใหม่ที่ว่างเปล่าของ Lakehouse ที่มีชื่อเดียวกันยังคงถูกสร้างขึ้นในพื้นที่ทํางานเป้าหมาย แต่การอ้างอิงสมุดบันทึกและ Spark Job Definitions จะถูกเก็บไว้ที่เลคเฮ้าส์อื่นตามที่ร้องขอ
จุดสิ้นสุดการวิเคราะห์ SQL และแบบจําลองความหมายถูกเตรียมใช้งานเป็นส่วนหนึ่งของการปรับใช้เลคเฮ้าส์
- การอัปเดตชื่อเลคเฮ้าส์สามารถซิงโครไนซ์ข้ามพื้นที่ทํางานในบริบทไปป์ไลน์การปรับใช้ได้
OneLake Shortcuts git และความสามารถในการรวมไปป์ไลน์การปรับใช้
เมื่อใช้ การรวม git กับ Lakehouse ข้อมูลเมตาของ OneLake Shortcuts จะถูกติดตามใน git ความสามารถต่อไปนี้พร้อมใช้งานสําหรับการรวม git:
- ข้อกําหนดทางลัดในทั้งส่วน ตาราง และ ไฟล์ จะถูกเก็บไว้ในไฟล์ที่ชื่อ
shortcuts.metadata.jsonภายใต้โฟลเดอร์ lakehouse ใน git - การดําเนินการต่อไปนี้ได้รับการสนับสนุนและติดตามโดยอัตโนมัติ: การเพิ่ม การลบ และการอัปเดต ของทางลัด
- สามารถดําเนินการได้โดยตรงในอินเทอร์เฟซผู้ใช้ Fabric หรือในที่เก็บ git โดยการเปลี่ยนไฟล์
shortcuts.metadata.json - ทางลัดที่มีเป้าหมายภายใน (ทางลัด OneLake) จะได้รับการอัปเดตโดยอัตโนมัติระหว่างการซิงโครไนซ์ git เพื่อให้ปุ่มลัดถูกต้อง ข้อมูลอ้างอิงเหล่านั้นต้องเป็นเป้าหมายที่ถูกต้องในพื้นที่ทํางาน หากเป้าหมายไม่ถูกต้องสําหรับทางลัดที่กําหนดไว้ในส่วนตาราง lakehouse ทางลัดเหล่านั้นจะถูกย้ายไปยังส่วน
Unidentifiedจนกว่าจะแก้ไขการอ้างอิง
สำคัญ
ใช้ความระมัดระวังเมื่อเปลี่ยนคุณสมบัติทางลัด OneLake โดยตรงในไฟล์ shortcuts.metadata.json การเปลี่ยนแปลงที่ไม่ถูกต้องไปยังคุณสมบัติ GUID พิเศษสามารถแสดงทางลัด OneLake ไม่ถูกต้องเมื่อมีการนําการอัปเดตกลับไปยังพื้นที่ทํางาน
สำคัญ
การอัปเดตจาก git จะแทนที่สถานะของทางลัดในพื้นที่ทํางาน ทางลัดทั้งหมดในพื้นที่ทํางานจะถูกสร้างขึ้น อัปเดต หรือลบโดยยึดตามสถานะที่เข้ามาจาก git
เมื่อใช้ ไปป์ไลน์การปรับใช้กับ Lakehouse ข้อมูลเมตาของ OneLake Shortcuts จะถูกปรับใช้ข้ามขั้นตอนในไปป์ไลน์ ความสามารถต่อไปนี้พร้อมใช้งานสําหรับไปป์ไลน์การปรับใช้:
- มีการซิงค์ข้อกําหนดทางลัดทั่วทั้งขั้นตอนในไปป์ไลน์การปรับใช้
- ทางลัดที่มีเป้าหมายภายนอก (ADLS Gen2, S3 เป็นต้น) จะเหมือนกันในทุกขั้นตอนหลังจากการปรับใช้
- ทางลัดที่มีเป้าหมายภายใน (ทางลัด OneLake) ในพื้นที่ทํางานเดียวกันจะถูกแมปใหม่โดยอัตโนมัติทั่วทั้งขั้นตอน ทางลัดที่กําหนดเป้าหมายคลังข้อมูลและแบบจําลองความหมายจะไม่ถูกแมปใหม่ในระหว่างการปรับใช้ ตาราง โฟลเดอร์ และไฟล์ไม่ได้ถูกสร้างขึ้นในพื้นที่ทํางานเป้าหมาย เพื่อให้ทางลัดถูกต้อง การอ้างอิงเหล่านั้นจะต้องถูกสร้างขึ้นในพื้นที่ทํางานเป้าหมายหลังจากการปรับใช้
- ในสถานการณ์ที่ปุ่มลัดเดียวกันจําเป็นต้องกําหนดเป้าหมายตําแหน่งที่ตั้งที่แตกต่างกันในขั้นตอนที่แตกต่างกัน ตัวอย่างเช่นในการพัฒนาชี้ไปที่โฟลเดอร์เฉพาะใน Amazon S3 และในการผลิตโฟลเดอร์ที่แตกต่างกันใน ADLS Gen2 วิธีที่แนะนําคือการใช้ตัวแปรในข้อกําหนดทางลัด เมื่อต้องการเรียนรู้เพิ่มเติมเกี่ยวกับไลบรารีตัวแปรและวิธีใช้อย่างมีประสิทธิภาพใน Microsoft Fabric โปรดอ่าน ไลบรารีตัวแปรคืออะไร (พรีวิว) บทความ. ตัวเลือกอื่นคือ; หลังจากการปรับใช้ ให้อัปเดตข้อกําหนดทางลัด OneLake ด้วยตนเองใน Lakehouse หรือใช้ OneLake API โดยตรง
สำคัญ
การปรับใช้จะแทนที่สถานะของทางลัดในพื้นที่ทํางานเป้าหมาย ทางลัดทั้งหมดในเลคเฮาส์เป้าหมายได้รับการอัปเดตหรือลบตามรัฐในเลคเฮาส์ต้นทาง ทางลัดใหม่จะถูกสร้างขึ้นในเลคเฮ้าส์เป้าหมาย เลือก "ตรวจสอบการเปลี่ยนแปลง" เสมอเพื่อทําความเข้าใจการเปลี่ยนแปลงที่ปรับใช้ระหว่างพื้นที่ทํางานต้นทางและเป้าหมาย
ความสามารถของ OneLake Security Data Access Roles
- คําจํากัดความบทบาทการเข้าถึงข้อมูลความปลอดภัยของ OneLake จะถูกเก็บไว้ในไฟล์ที่มีชื่อ
data-access-roles.jsonภายใต้โฟลเดอร์เลคเฮาส์ใน git การเปลี่ยนแปลงสามารถทําได้โดยตรงในที่เก็บ git โดยการเปลี่ยนdata-access-roles.jsonไฟล์ จากนั้นนําการเปลี่ยนแปลงเหล่านั้นกลับไปยังพื้นที่ทํางาน - การดําเนินการต่อไปนี้ได้รับการสนับสนุนและติดตามโดยอัตโนมัติ: การเพิ่ม การลบ และการอัปเดต บทบาทการเข้าถึงข้อมูล
- เฉพาะผู้ใช้ที่มีบทบาทผู้ดูแลระบบหรือสมาชิกเท่านั้นที่สามารถซิงโครไนซ์ข้อกําหนด Security role กับ git ได้
ตารางต่อไปนี้อธิบายลักษณะการทํางานของบทบาทการเข้าถึงข้อมูลความปลอดภัยของ OneLake ในระหว่างการซิงโครไนซ์ git และการดําเนินการไปป์ไลน์การปรับใช้ตามการกําหนดค่าพื้นที่ทํางานต้นทางและเป้าหมาย:
| พื้นที่ทํางานต้นทาง | พื้นที่ทํางานเป้าหมาย | การรวม Git | ไปป์ไลน์การปรับใช้ | คำอธิบาย |
|---|---|---|---|---|
| เปิดใช้งาน DAR + Opt-In | เป้าหมายใหม่ (ไม่มีเลคเฮาส์) | ✅ เปิดใช้งานการติดตาม DAR บนเป้าหมาย | ✅ เปิดใช้งานการติดตาม DAR บนเป้าหมาย | พื้นที่ทํางานเป้าหมายเปิดใช้งานการติดตาม DAR โดยอัตโนมัติ |
| เปิดใช้งาน DAR + Opt-In | ปิดใช้งานการติดตาม DAR | ✅ เปิดใช้งานทั้งการติดตาม DAR และการ Opt-In ตามเป้าหมาย | ✅ เปิดใช้งานทั้งการติดตาม DAR และการ Opt-In ตามเป้าหมาย | พื้นที่ทํางานเป้าหมายเปิดใช้งานคุณสมบัติทั้งสองโดยอัตโนมัติ |
| เปิดใช้งาน DAR + Opt-In | เปิดใช้งาน DAR Opt-In ปิดใช้งาน | ⚠️ แจ้งให้ผู้ใช้เปิดใช้งาน Opt-In และ DAR (แทนที่หรือยกเลิก) | ❌ แสดงข้อผิดพลาด | การรวม Git ช่วยให้ผู้ใช้เลือกได้ ไปป์ไลน์การปรับใช้ต้องมีการกําหนดค่าเป้าหมายด้วยตนเอง |
| เปิดใช้งาน DAR + Opt-In | เปิดใช้งาน DAR + Opt-In | ✅ การซิงค์ปกติ (สร้าง/อัปเดต/ลบตามต้องการ) | ✅ การซิงค์ปกติ (สร้าง/อัปเดต/ลบตามต้องการ) | การทํางานมาตรฐานพร้อมการซิงโครไนซ์เต็มรูปแบบ |
หมายเหตุ
เมื่อไปป์ไลน์การปรับใช้แสดงข้อผิดพลาด ลูกค้าต้องเปิดใช้งานการติดตาม DAR ด้วยตนเองบนพื้นที่ทํางานเป้าหมาย และกระทบยอดบทบาทเพื่อให้แน่ใจว่าไม่มีข้อขัดแย้งในบทบาทการเข้าถึงข้อมูลก่อนที่จะดําเนินการปรับใช้
สำคัญ
ใช้ความระมัดระวังเมื่อเปลี่ยน OneLake Security เฉพาะผู้ใช้ที่มีบทบาทผู้ดูแลระบบหรือสมาชิกเท่านั้นที่สามารถซิงโครไนส์ข้อกําหนด Security Role กับ git หรือไปป์ไลน์การปรับใช้
สำคัญ
รหัสสมาชิก Microsoft Entra จะไม่ถูกติดตามใน git เนื่องจากเหตุผลด้านความปลอดภัย ในระหว่างการอัปเดต git และการดําเนินการไปป์ไลน์การปรับใช้ สมาชิกจะถูกเก็บรักษาไว้ระหว่างพื้นที่ทํางานก็ต่อเมื่อชื่อบทบาทตรงกันทุกประการ ขอแนะนําให้ใช้ความระมัดระวังเมื่อเปลี่ยนชื่อบทบาทที่มีสมาชิกมอบหมายให้พวกเขา