Zelfstudie: CSV-parseropname uitvoeren

De CSV-parser opname biedt de mogelijkheid om CSV-bestanden op te nemen in een Azure Data Manager voor Energy-instantie.

In deze handleiding leer je hoe je:

• Een voorbeeld van een CSV-bestand met boorgatgegevens opnemen in een Azure Data Manager for Energy-exemplaar met behulp van cURL.
• Zoek naar records voor metagegevens van opslag die zijn gemaakt tijdens csv-opname met behulp van cURL.

Vereiste voorwaarden

• Een Azure-abonnement
• Een exemplaar van Azure Data Manager for Energy dat is gemaakt in uw Azure-abonnement
• cURL-opdrachtregelprogramma geïnstalleerd op uw computer
• Genereer het toegangstoken voor de service-principal om de Seismic-API's aan te roepen. Zie Hoe u een verificatietoken genereert.

Verkrijg details van het Azure Data Manager for Energy-exemplaar

• Voor deze zelfstudie hebt u de volgende parameters nodig:

Volg de handleiding Gebruikers beheren om de juiste rechten toe te voegen voor de gebruiker die deze zelfstudie uitvoert.

Uw omgeving instellen

Zorg ervoor dat u op uw systeem hebt cURL geïnstalleerd. U gebruikt deze om API-aanroepen te maken.

Gegevens van de boorput opnemen met behulp van cURL

Als u een CSV-voorbeeldbestand met wellboorgegevens wilt importeren in de Azure Data Manager for Energy-instantie, voert u de volgende stappen uit: Vervang de tijdelijke aanduidingen (<DNS>, <access_token>) door de juiste waarden.

1. Een schema maken

Voer de volgende cURL opdracht uit om een schema te maken:

curl -X POST "https://<DNS>/api/schema-service/v1/schema" \
     -H "Authorization: Bearer <access_token>" \
     -H "Content-Type: application/json" \
     -H "data-partition-id: <data-partition-id>" \
     -d '{
           "schemaInfo": {
               "schemaIdentity": {
                   "authority": "<data-partition-id>",
                   "source": "shapeFiletest",
                   "entityType": "testEntity",
                   "schemaVersionPatch": 1,
                   "schemaVersionMinor": 0,
                   "schemaVersionMajor": 0
               },
               "status": "DEVELOPMENT"
           },
           "schema": {
               "$schema": "http://json-schema.org/draft-07/schema#",
               "title": "Wellbore",
               "type": "object",
               "properties": {
                   "UWI": {
                       "type": "string",
                       "description": "Unique Wellbore Identifier"
                   }
               }
           }
       }'

Voorbeeldantwoord:

{
  "id": "schema-12345",
  "status": "DEVELOPMENT"
}

Sla het id antwoord op voor gebruik in de volgende stappen.

2. Een juridische tag maken

Voer de volgende cURL opdracht uit om een juridische tag te maken:

curl -X POST "https://<DNS>/api/legal/v1/legaltags" \
     -H "Authorization: Bearer <access_token>" \
     -H "Content-Type: application/json" \
     -H "data-partition-id: <data-partition-id>" \
     -d '{
           "name": "LegalTagName",
           "description": "Legal Tag added for Well",
           "properties": {
               "contractId": "123456",
               "countryOfOrigin": ["US", "CA"],
               "dataType": "Third Party Data",
               "exportClassification": "EAR99",
               "originator": "Schlumberger",
               "personalData": "No Personal Data",
               "securityClassification": "Private",
               "expirationDate": "2025-12-25"
           }
       }'

Voorbeeldantwoord:

{
  "name": "LegalTagName",
  "status": "Created"
}

3. Haal een ondertekende URL op voor het uploaden van een CSV-bestand

Voer de volgende cURL opdracht uit om een ondertekende URL op te halen:

curl -X GET "https://<DNS>/api/file/v2/files/uploadURL" \
     -H "Authorization: Bearer <access_token>" \
     -H "data-partition-id: <data-partition-id>"

Voorbeeldantwoord:

{
  "SignedURL": "https://storageaccount.blob.core.windows.net/container/file.csv?sv=...",
  "FileSource": "file-source-12345"
}

Sla de SignedURL en FileSource uit het antwoord op voor gebruik in de volgende stappen.

4. Een CSV-bestand uploaden

Download het Wellbore.csv voorbeeld naar uw lokale computer. Voer vervolgens de volgende cURL opdracht uit om het bestand te uploaden:

curl -X PUT -T "Wellbore.csv" "<SignedURL>" -H "x-ms-blob-type: BlockBlob"     

Voorbeeldantwoord:

{
  "status": "Success"
}

5. Metagegevens van CSV-bestand uploaden

Voer de volgende cURL opdracht uit om metagegevens voor het CSV-bestand te uploaden:

curl -X POST "https://<DNS>/api/file/v2/files/metadata" \
     -H "Authorization: Bearer <access_token>" \
     -H "Content-Type: application/json" \
     -H "data-partition-id: <data-partition-id>" \
     -d '{
           "kind": "osdu:wks:dataset--File.Generic:1.0.0",
           "acl": {
               "viewers": ["data.default.viewers@<data-partition-id>.dataservices.energy"],
               "owners": ["data.default.owners@<data-partition-id>.dataservices.energy"]
           },
           "legal": {
               "legaltags": ["<data-partition-id>-LegalTagName"],
               "otherRelevantDataCountries": ["US"],
               "status": "compliant"
           },
           "data": {
               "DatasetProperties": {
                   "FileSourceInfo": {
                       "FileSource": "<FileSource>"
                   }
               }
           }
       }'

Voorbeeldantwoord:

{
  "id": "metadata-12345",
  "status": "Created"
}

Sla de idid van het geüploade bestand op uit het antwoord voor gebruik in de volgende stap.

6. Een CSV-parseropnamewerkstroom activeren

Voer de volgende cURL opdracht uit om de opnamewerkstroom te activeren:

curl -X POST "https://<DNS>/api/workflow/v1/workflow/csv-parser/workflowRun" \
     -H "Authorization: Bearer <access_token>" \
     -H "Content-Type: application/json" \
     -H "data-partition-id: <data-partition-id>" \
     -d '{
           "executionContext": {
               "id": "<uploadedFileId>",
               "dataPartitionId": "<data-partition-id>"
           }
       }'

Voorbeeldantwoord:

{
  "runId": "workflow-12345",
  "status": "Running"
}

Sla het runId antwoord op voor gebruik in de volgende stap.

7. Controleer de status van de werkstroom en wacht tot de werkstroom is voltooid.

Voer de volgende cURL opdracht uit om de status van de werkstroomuitvoering te controleren:

curl -X GET "https://<DNS>/api/workflow/v1/workflow/csv-parser/workflowRun/<runId>" \
     -H "Authorization: Bearer <access_token>" \
     -H "Content-Type: application/json" \
     -H "data-partition-id: <data-partition-id>"      

Voorbeeldantwoord:

{
  "runId": "workflow-12345",
  "status": "Completed"
}

Controleer om de paar seconden totdat het antwoord aangeeft dat het is voltooid.

8. Zoeken naar opgenomen CSV-records

Voer de volgende cURL opdracht uit om te zoeken naar opgenomen records:

curl -X POST "https://<DNS>/api/search/v2/query" \
     -H "Authorization: Bearer <access_token>" \
     -H "Content-Type: application/json" \
     -H "data-partition-id: <data-partition-id>" \
     -d '{
           "kind": "osdu:wks:dataset--File.Generic:1.0.0"
       }'

Voorbeeldantwoord:

{
  "results": [
    {
      "id": "dataset-12345",
      "kind": "osdu:wks:dataset--File.Generic:1.0.0",
      "status": "Available"
    }
  ]
}

U moet de records in de zoekresultaten kunnen zien.

Volgende stap

Ga verder naar de volgende tutorial: