แชร์ผ่าน

ทํางานกับข้อมูลลูกค้าใน Fabric

Microsoft Fabric OneLake เป็นที่จัดเก็บข้อมูลทะเลสาบเชิงตรรกะแบบครบวงจรสําหรับทั้งองค์กร ซึ่งออกแบบมาเพื่อให้เป็นจุดเดียวสําหรับข้อมูลการวิเคราะห์ทั้งหมด ซึ่งมาพร้อมกับผู้เช่า Microsoft Fabric ทั้งหมดโดยอัตโนมัติและสร้างขึ้นจาก Azure Data Lake Storage (ADLS) Gen2 OneLake สนับสนุนไฟล์ ประเภทใดก็ตาม ที่มีโครงสร้างหรือไม่มีโครงสร้าง และจัดเก็บข้อมูลแบบตารางทั้งหมดในรูปแบบ Delta Parquet ซึ่งช่วยให้ทํางานร่วมกันข้ามกลุ่มธุรกิจที่แตกต่างกันโดยให้ที่จัดเก็บข้อมูลทะเลสาบเดียวซึ่งถูกควบคุมโดยค่าเริ่มต้นด้วยความเป็นเจ้าของแบบกระจายสําหรับการทํางานร่วมกันภายในขอบเขตของผู้เช่า พื้นที่ทํางานภายในผู้เช่าเปิดใช้งานส่วนต่างๆ ขององค์กรเพื่อแจกจ่ายนโยบายความเป็นเจ้าของและการเข้าถึง และข้อมูลทั้งหมดใน OneLake สามารถเข้าถึงได้ผ่านรายการข้อมูล เช่น Lakehouses และ Warehouses ในแง่ของที่เก็บข้อมูล OneLake ทําหน้าที่เป็นตําแหน่งที่เก็บข้อมูลทั่วไปสําหรับการนําเข้า การแปลง ข้อมูลเชิงลึกแบบเรียลไทม์ และการแสดงภาพข่าวกรองธุรกิจ ซึ่งเป็นศูนย์รวมบริการ Fabric ที่แตกต่างกันและเป็นที่เก็บข้อมูลสําหรับรายการข้อมูลที่ปริมาณงานทั้งหมดใน Fabric ใช้

Microsoft Fabric Eventhouse นําเสนอโซลูชันที่ปรับขนาดได้สําหรับการจัดการและวิเคราะห์ข้อมูลจํานวนมาก โดยเฉพาะอย่างยิ่งในสถานการณ์การวิเคราะห์แบบเรียลไทม์ อีเวนต์เฮ้าส์จัดการสตรีมข้อมูลแบบเรียลไทม์ได้อย่างมีประสิทธิภาพ ช่วยให้องค์กรสามารถนําเข้า ประมวลผล และวิเคราะห์ข้อมูลได้ใกล้เคียงกับเวลาจริง ซึ่งเหมาะสําหรับสถานการณ์ที่จําเป็นต้องมีข้อมูลเชิงลึกทันเวลา และเป็นเครื่องมือที่เหมาะสมสําหรับการวิเคราะห์ข้อความแบบกึ่งโครงสร้างและแบบฟรี Eventhouse คือพื้นที่ทํางานของฐานข้อมูลที่สามารถใช้ร่วมกันทั่วทั้งโครงการ เพิ่มประสิทธิภาพการทํางาน และต้นทุนโดยการจัดการฐานข้อมูลหลายฐานข้อมูลพร้อมกัน Eventhouses สนับสนุนข้อมูลจากหลายแหล่งข้อมูลและรูปแบบ การทําดัชนีและแบ่งพาร์ติชันข้อมูลโดยอัตโนมัติตามเวลาการนําเข้า

วิธีการอ่านและเขียนข้อมูลใน Microsoft Fabric

Microsoft Fabric เป็นแพลตฟอร์มที่ช่วยให้สามารถจัดเก็บและจัดการข้อมูลลูกค้าได้ ในการอ่านและเขียนข้อมูลใน Fabric คุณจําเป็นต้องใช้ Fabric REST API และวิธีการรับรองความถูกต้องที่เหมาะสม

สิทธิ์ API

บางวิธีในการเข้าถึงข้อมูลลูกค้าจําเป็นต้องใช้บริการอื่น ๆ ภายนอก Fabric เช่น Azure Storage หรือ Azure SQL Database ตัวอย่างเช่น ในตัวอย่างชุดนักพัฒนาซอฟต์แวร์ Microsoft Fabric สิทธิ์ API ที่เก็บข้อมูล user_impersonation Azure จะใช้ร่วมกับสิทธิ์ บริการของ Power BI Lakehouse.Read.All ในการเข้าถึงข้อมูลจาก Lakehouses

คุณสามารถใช้ฐานข้อมูล Azure SQL เพื่อเข้าถึงข้อมูลตารางจากรายการของคลังสินค้า ในกรณีนี้ กําหนดค่าแอปของคุณด้วยฐานข้อมูล Azure SQL user_impersonation เพื่อคิวรีฐานข้อมูลในนามของผู้ใช้และบริการของ Power BI Warehouse.Read.All เพื่อคิวรีจุดสิ้นสุด Fabric REST API Get Warehouse

ตรวจสอบให้แน่ใจว่าคุณได้กําหนดค่าแอป Microsoft Entra ID ของคุณตามความต้องการในการพัฒนาของคุณ

การรับรองความถูกต้อง

ก่อนที่คุณจะเริ่มใช้ Fabric REST API หรือบริการอื่น ๆ เช่น Azure Storage และ Azure SQL Database ในนามของผู้ใช้ คุณต้องรับรองความถูกต้องโดยใช้โทเค็น คุณสามารถรับโทเค็นนี้ผ่านกระบวนการแลกเปลี่ยนโทเค็น

Fabric Workload Development Kit SDK มีวิธีการรับโทเค็นการเข้าถึงใน front end ของปริมาณงาน ตัวอย่างเช่น ดู ตัวอย่างตัวควบคุมปริมาณงาน

โทเค็นไคลเอ็นต์นี้ต้องถูกส่งผ่านไปยัง Backend ของปริมาณงานและการแลกเปลี่ยนโดยใช้โฟลว์ในนามของสําหรับโทเค็นที่มีขอบเขตที่จําเป็นในการเข้าถึงทรัพยากรที่คุณต้องการ เช่น OneLake ตัวอย่างเช่น หากต้องการเข้าถึงและอ่านจาก Lakehouse ผู้ใช้ต้องอนุญาตให้แอปพลิเคชันเรียกใช้ API ในนามของพวกเขาโดยใช้สิทธิ์ที่เก็บข้อมูล user_impersonation Azure จากนั้น ใน backend ต้องได้รับโทเค็นการเข้าถึงด้วยขอบเขต https://storage.azure.com/user_impersonation ที่ได้รับมอบสิทธิ์เพื่อใช้ Azure Storage

ถ้าคุณตัดสินใจที่จะใช้ SQL เพื่อเข้าถึงข้อมูลลูกค้าของคุณ คุณต้องได้รับโทเค็นการเข้าถึงด้วยขอบเขต https://database.windows.net//user_impersonation เพื่อใช้ฐานข้อมูล Azure SQL และเนมสเปซ Microsoft.Data.SqlClient โทเค็นการเข้าถึงต้องใช้ตามที่เขียนไว้ ด้วยเครื่องหมายทับสองเครื่องหมายก่อน user_impersonationเพื่อตรวจสอบความถูกต้องโดยคลาส SQLConnection สําหรับตัวอย่างเพิ่มเติมของการรับรองความถูกต้องของโทเค็น ดูตัวอย่างชุดนักพัฒนา Microsoft Fabric

รายละเอียดเพิ่มเติมเกี่ยวกับวิธีการขอรับโทเค็นสามารถพบได้ในเอกสาร Microsoft Fabric Workload Development REST API

อ่านเมตาดาต้า

Fabric REST API ให้วิธีการเข้าถึงคุณสมบัติของรายการ ตัวอย่างเช่น การคิวรี Get Lakehouse API จะให้เมตาดาต้าสําหรับ Lakehouse บางแห่ง รวมถึงคุณสมบัติที่มีประโยชน์เช่น เส้นทาง OneLake และสายอักขระการเชื่อมต่อ SQL จุดสิ้นสุดที่มีประโยชน์อีกประการหนึ่งคือ GET Warehouse API ซึ่งส่งกลับข้อมูลต่อไปนี้:

    {
        Id: Guid
        Type: string
        DisplayName: string
        Description: string
        WorkspaceId: Guid
        Properties {
            ConnectionInfo: string
            CreatedDate: DateTime
            LastUpdatedTime: DateTime
        }
    }

ที่นี่ คุณสมบัติ "ConnectionInfo" เป็นชื่อโดเมนที่มีคุณสมบัติครบถ้วน (FQDN) ของ Warehouse SQL Server ด้วย FQDN นี้ คุณสามารถสร้างการเชื่อมต่อ SQL ได้ สําหรับข้อมูลเพิ่มเติม ดูการเชื่อมต่อกับคลังข้อมูลใน Microsoft Fabric สําหรับตัวอย่างการใช้งาน ให้ดู ชุดการพัฒนาปริมาณงาน Microsoft Fabric

การอ่านข้อมูล

เมื่อคุณรับรองความถูกต้องคุณสามารถเชื่อมต่อกับ OneLake โดยใช้ Azure Data Lake Storage REST API เพื่ออ่านข้อมูลประเภทต่างๆ ได้ เราขอแนะนําให้ใช้ โพรโทคอล Delta Lake เพื่ออ่านตาราง

อีกวิธีหนึ่งคือ ถ้าคุณเลือกที่จะใช้ฐานข้อมูล SQL Azure คุณสามารถใช้ขั้นตอนต่อไปนี้เพื่ออ่านข้อมูลจาก Warehouse

  1. สร้างบริบทการอนุญาต สําหรับตัวอย่างของการสร้างบริบทการให้สิทธิ์ ให้ดู วิธีการ AuthenticateDataPlaneCall

  2. รับโทเค็นที่มี ขอบเขต Warehouse.Read.All ในนามของผู้ใช้โดยใช้โทเค็นแบเรอร์ที่ส่งผ่านจากส่วนหน้าสุด

  3. ใช้โทเค็น Fabric เพื่อเรียกใช้ API รับ Warehouse จําเป็นต้องเข้าถึงข้อมูลการเชื่อมต่อและชื่อที่แสดงของ Warehouse ซึ่งเป็นแค็ตตาล็อกเริ่มต้นของเซิร์ฟเวอร์

  4. รับโทเค็นที่มีขอบเขต SQL ในนามของผู้ใช้ หากต้องการสร้างการเชื่อมต่อ SQL ให้สําเร็จ ให้ใช้ ขอบเขตhttps://database.windows.net//user_impersonation

  5. ใช้โทเค็น SQL และข้อมูลการเชื่อมต่อเพื่อเปิดการเชื่อมต่อ SQL:

    private SqlConnection GetSqlConnection(string token, string databaseFqdn, string initialCatalog)
        {
            var builder = new SqlConnectionStringBuilder();
            builder.DataSource = databaseFqdn; // ConnectionInfo from Get Warehouse API
            builder.InitialCatalog = initialCatalog; //display name of the Warehouse
            builder.ConnectTimeout = 120;

            var connection = new SqlConnection();
            connection.AccessToken = token; // SQL token acquired with the Azure SQL Database user_impersonation scope
            connection.ConnectionString = builder.ConnectionString;
            connection.Open();
            return connection;
        }

  6. การเชื่อมต่อนี้สามารถสอบถามเพื่อเข้าถึงข้อมูลจากคลังสินค้าได้แล้ว สําหรับข้อมูลเพิ่มเติมเกี่ยวกับการใช้งานเนม สเปซ Microsoft.Data.SqlClient โปรดดู เอกสารประกอบ Microsoft.Data.SqlClient Namespace

API ของอีเวนต์เฮ้าส์

เมื่อคุณรับรองความถูกต้อง คุณสามารถดําเนินการต่าง ๆ เช่น สร้าง Eventhouse, ลบ Eventhouse, รับรายการของอีเวนต์เฮ้าส์ ฯลฯ วิธีหนึ่งที่ทําได้คือการใช้พอร์ทัล - ภาพรวม Eventhouse

อีกวิธีหนึ่งคือการใช้ Eventhouse Rest API - ภาพรวมของ Eventhouse Rest API

  1. อนุญาต
  2. รับโทเค็นที่มี FabricEventhouse.Read.All ขอบเขตในนามของผู้ใช้โดยใช้โทเค็นแบเรอร์ที่ส่งผ่านจาก front end
  3. ใช้โทเค็น Fabric เพื่อเรียกใช้ Get Eventhouse API
  4. ตอนนี้ด้วยรายการของฐานข้อมูลของ Eventhouse คุณสามารถคิวรี DB เฉพาะที่คุณต้องการตามที่อธิบายไว้ในส่วนข้อมูลคิวรีด้านล่าง

ข้อมูลคิวรี

เพื่อคิวรีข้อมูลจากฐานข้อมูล Eventhouse KQL ให้ทําตามขั้นตอนเหล่านี้: ก่อนอื่น ให้ตรวจสอบสิทธิ์โดยใช้วิธีการที่เหมาะสม ถัดไป เชื่อมต่อกับ Eventhouse เพื่อเรียกดูรายการของฐานข้อมูล จากนั้น คิวรีฐานข้อมูลเฉพาะที่คุณต้องการเข้าถึง สิ่งสําคัญคือต้องแยกความแตกต่างระหว่างคําสั่งคิวรี เช่น .show tablesและคิวรีข้อมูล เช่น <TableName> | take 10 สําหรับเอกสารประกอบเต็มรูปแบบบน KQL REST API โปรดดูเอกสารประกอบ KQL REST API

อีกวิธีหนึ่งคือการใช้ Eventhouse Rest API - ภาพรวมของ Eventhouse Rest API

  1. อนุญาต
  2. รับโทเค็นที่มี KQLDatabase.ReadWrite.All ขอบเขตในนามของผู้ใช้โดยใช้โทเค็นแบเรอร์ที่ส่งผ่านจาก front end
  3. ใช้โทเค็น Kql เพื่อเรียกใช้ KQL Rest API

การเขียนข้อมูล

นอกเหนือจากการอ่านข้อมูลโดยใช้โทเค็นแล้ว คุณยังสามารถใช้ ADLS API เพื่อเขียนข้อมูลลงในตารางตามที่อธิบายไว้โดย โพรโทคอล Delta Lake ได้

คุณยังสามารถใช้ API เพื่อสร้างไฟล์และไดเรกทอรีได้

อีกวิธีหนึ่งคือ คุณสามารถใช้ปริมาณงาน Fabric อื่นเพื่อเขียนข้อมูลไปยังแพลตฟอร์มได้ ตัวอย่างเช่น คุณสามารถใช้ API ปริมาณงานของ Lakehouse ของ Fabric เพื่อโหลดชนิดไฟล์ทั่วไปลงในตาราง Delta ที่ปรับให้เหมาะสมได้อย่างมีประสิทธิภาพ การดําเนินการนี้ทําได้โดยการส่งคําขอ POST ไปยัง ตาราง - โหลดตําแหน่งข้อมูล API ของตาราง

การเชื่อมต่อ SQL ยังสามารถใช้เพื่อดําเนินการคําสั่งที่แทรกข้อมูลลงในตารางได้

การรวม OneLake

คุณอาจเลือกใช้การรวม OneLake ในปริมาณงานของคุณ หากคุณทําเช่นนั้น เมื่อรายการใหม่ถูกสร้างขึ้นสําหรับปริมาณงานของคุณ Fabric จะสร้างโฟลเดอร์สําหรับรายการใหม่โดยอัตโนมัติ

หากต้องการเลือกใช้ XML รายการของคุณต้องประกาศสิ่งนี้โดยการตั้งค่าแอตทริบิวต์ CreateOneLakeFoldersOnArtifactCreation เป็น true ตัวอย่างเช่น:

<ItemManifestConfiguration xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" SchemaVersion="1.101.0">  
  <Item TypeName="Org.WorkloadSample.SampleWorkloadItem" Category="Data" CreateOneLakeFoldersOnArtifactCreation="true">
    <Workload WorkloadName="Org.WorkloadSample" />
    ...
  </Item>
</ItemManifestConfiguration>

โน้ต

SchemaVersion ต้องถูกตั้งค่าเป็น 1.101.0 (หรือเวอร์ชันที่สนับสนุนใหม่กว่า)

SchemaVersion เดียวกันต้องถูกตั้งค่าใน WorkloadManifest.xml:

<WorkloadManifestConfiguration xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" SchemaVersion="1.101.0">
  <Workload WorkloadName="Org.WorkloadSample" HostingType="Remote">
  ...
  </Workload>
</WorkloadManifestConfiguration>

เมื่อรายการใหม่ถูกสร้างขึ้น โฟลเดอร์รากต่อไปนี้จะถูกสร้างขึ้นใน OneLake:

<WorkspaceID>/<ItemID>/Files

<WorkspaceID>/<ItemID>/Tables

คุณสามารถสร้างโฟลเดอร์เพิ่มเติมภายใต้โฟลเดอร์เหล่านี้และใช้เพื่อจัดเก็บข้อมูลในรูปแบบใดๆ (ภายใต้โฟลเดอร์ Files) หรือในรูปแบบ parquet (ภายใต้โฟลเดอร์ Tables) ทําตามคําแนะนํา ด้านบนเพื่ออ่าน/เขียนจากที่เก็บข้อมูล OneLake

เนื้อหาที่เกี่ยวข้อง

  • Last updated on