Hoe Azure Data Explorer werkt

Azure Data Explorer biedt ongeëvenaarde prestaties voor het opnemen en opvragen van telemetrie, logboeken, gebeurtenissen, traceringen en tijdreeksgegevens. Het bevat geoptimaliseerde opslagindelingen, indexen en maakt gebruik van geavanceerde gegevensstatistieken voor efficiënte queryplanning en Just-In-Time gecompileerde queryuitvoering.

Opslag versus rekenkracht

Azure Data Explorer scheidt opslag- en rekenresources. Permanente gegevens bevinden zich in Azure Blob Storage, terwijl rekenresources tijdelijke gegevens kunnen opslaan of als cache kunnen fungeren voor permanente opslag.

Deze scheiding biedt de volgende voordelen:

• Onafhankelijk uitschalen van opslag- en rekenkracht mogelijk maken.
• Toegankelijkheid tot identieke gegevens in meerdere rekenclusters. Zie Gegevensshare voor meer informatie.
• Optimalisatie van SKU's. Zie Selecteer een SKU voor uw cluster voor meer informatie.

Gegevensopslag

Azure Data Explorer partitioneert alle opgenomen gegevens in extents of gegevensshards, die horizontale delen van de doelentabel zijn. Een omvang kan zo klein als één record beginnen. Naarmate gegevens zich in de tabel verzamelen, worden in Azure Data Explorer automatisch gebieden samengevoegd totdat ze miljoenen records omvatten. Elke omvang wordt onafhankelijk van andere gebieden gecodeerd en geïndexeerd. Deze functionaliteit draagt bij aan lineaire opnamedoorvoer.

Extents worden evenredig verspreid over de clusterknooppunten, waar ze worden gecachet op de lokale SSD en in het geheugen. Deze distributie verbetert de capaciteit om zeer gedistribueerde en parallelle query's voor te bereiden en uit te voeren.

Zie Extentsoverzicht voor meer informatie over gegevensopslag.

Gegevenscache

Azure Data Explorer heeft een systeem voor gegevenscache met meerdere hiërarchieën om ervoor te zorgen dat de meest relevante gegevens zo dicht mogelijk bij de CPU in de cache worden opgeslagen. Het cachesysteem is afhankelijk van de onveranderbaarheid van gebieden en werkt volledig met gecomprimeerde gegevens. Om de queryprestaties te verbeteren, blijven gegevens gecomprimeerd, zelfs in ram-geheugen en worden ze alleen gedecomprimeerd wanneer dat nodig is voor een query.

Zie Cachebeleid voor meer informatie over opslaan in cache.

Tekstindexering

Azure Data Explorer is ontworpen om vrije tekst (tekenreeks) en JSON-achtige (dynamische) kolommen efficiënt te indexeren wanneer gegevens worden opgenomen. De indexen behouden een granulariteitsniveau waarmee onderdelen van de query kunnen worden geëvalueerd op basis van de index zonder de gegevens te scannen.

Continue achtergrondoptimalisatie van gebieden door samenvoegen verbetert compressie en indexering, waardoor efficiënte opslag en lage querylatentie worden gegarandeerd. Zodra de omvang een bepaalde grootte heeft bereikt, worden alleen de indexen samengevoegd om de queryprestaties te verbeteren zonder de efficiëntie in gevaar te brengen.

Zie samenvoegbeleid voor meer informatie over het samenvoegen van omvang en index.

Rijarchief

Azure Data Explorer biedt een tussenliggende opslagoplossing met de naam rijopslag. Met het rijarchief kunt u efficiënt kleine hoeveelheden gegevens opnemen en ervoor zorgen dat deze gegevens onmiddellijk beschikbaar zijn voor query's. Wanneer u streaming-ingestie op uw cluster inschakelt, worden gegevens in eerste instantie opgenomen in het rijgeheugen en vervolgens verplaatst naar kolomgeheugenextents.

Voor meer informatie, zie Batching versus streaming-inname.

Kolomcompressie

Azure Data Explorer onderhoudt gegevens in een gecomprimeerde status, waardoor er minder geheugen nodig is om gegevens op te slaan en te verwerken. Dit gedrag resulteert in snellere queryprestaties en efficiënter gebruik van systeemresources.

Azure Data Explorer vermijdt verticale compressie, waarbij gegevens moeten worden gesorteerd om de compressie te verbeteren, vanwege de hoge CPU-kosten in vrije tekst- of semi-gestructureerde gegevensscenario's. In plaats daarvan kunt u de sorteervolgorde voor voorkeursgegevens opgeven voor scenario's met dominante querypatronen. Deze afweging geeft prioriteit aan snelle beschikbaarheid van gegevens voor query's.

Zie Het beleid voor rijvolgorde voor meer informatie over het opgeven van de sorteervolgorde van gegevens.

Gedistribueerde gegevensquery

Azure Data Explorer maakt gebruik van gedistribueerde gegevensquerytechnologie die is bedoeld voor snelle ad-hocanalyse op grote ongestructureerde gegevenssets. Belangrijke functies van deze technologie zijn:

• Door query's gegenereerde tijdelijke gegevens worden opgeslagen in geaggregeerd RAM-geheugen
• Relevante gebieden worden gemarkeerd in een queryplan en bieden isolatie van momentopnamen
• Snelle en efficiënte query's krijgen prioriteit met korte standaardtime-outs
• Systeemeigen ondersteuning voor query's tussen clusters die de uitwisseling van gegevens tussen clusters minimaliseren
• Query's worden just-in-time gecompileerd in zeer efficiënte machinecode, met behulp van gegevensstatistieken uit alle gebieden en afgestemd op kolomcoderingsdetails

Verwante inhoud

• Een Azure Data Explorer-cluster en -database maken
• Azure Data Explorer whitepaper