Einleitung

  • 4 Minuten

Mit Azure IoT Edge können Sie Ihre Workloads von der Cloud auf den Edge verschieben. Auf diese Weise können Sie Ihre Workloads lokal auf Edgegeräten ausführen, die näher an der Stelle liegen, an der Ihre Daten generiert werden. Dieser Ansatz passt gut zu Diensten, die große Datenmengen verarbeiten, z. B. Computervisionsmodelle. Mit Azure AI-Diensten mit IoT Edge können Sie eine Lösung erstellen und als Container auf IoT-Geräten bereitstellen. Wenn Azure IoT Edge und Azure AI-Dienste implementiert werden, können Sie Einblicke aus Bildern oder Videostreams am Edge finden, ohne zuerst alle Daten vor Ort zu übertragen.

Angenommen, Sie arbeiten als Data Scientist und sind für die Bereitstellung von Azure AI-Diensten verantwortlich, die die Bilderkennungsfunktion für Selbstkassen implementieren, die in Supermärkten verwendet werden. Das System sollte eine Bild-zu-Sprache-Funktion enthalten, damit sehbehinderte Personen das Self-Checkout verwenden können. Das System wird das gescannte Elementbild mit einem bereits trainierten maschinellen Lern-Modell vergleichen, um das gescannte Element zu identifizieren. Der Artikel wird dann gewogen, und die Kosten werden anhand der Identifikation berechnet. Diese Einrichtung verhindert, dass die sehbehinderte Person das Element betrachten muss. Mithilfe von Text zu Sprache wird der Kunde über eine Audionachricht informiert, dass das Element gescannt wurde. Die Geschäftslogik für das Bilderkennungsmodul befindet sich auf dem Gerät. Das System identifiziert den gescannten Gegenstand und wandelt eine Beschriftung des Bildes in Sprache um.

Um diesen Ansatz zu implementieren, könnten Sie das Imageerkennungsmodul in der Cloud erstellen und trainieren, das einer bestimmten Domäne (z. B. der Identifizierung von Obst) zugeordnet ist, und das Modell als Container auf dem Gerät bereitstellen.

Die Abbildung zeigt das Szenariobild.

In diesem Modul führen Sie eine Azure IoT Edge-Lösung aus, die Azure Custom Vision und Azure Speech Service verwendet und die Lösung auf dem Edgegerät bereitstellt. Die Anwendung besteht aus einer Reihe von Modulen, die die Elemente mithilfe einer Kamera scannen, die gescannten Elemente klassifizieren und die identifizierten Elemente in Sprache konvertieren.

Am Ende dieses Moduls können Sie IoT-Geräte mit dem kognitiven Dienst verbinden und Ihre Lösung auf dem IoT Edge-Gerät bereitstellen. Die Anwendung teilt Ihnen (über Audio) mit, welche Elemente gescannt wurden.

Lernziele

  • Verwenden eines vorab trainierten Bildklassifizierungsmoduls mit Azure KI Services

  • Bereitstellen Ihrer Lösung für IoT Edge mit Visual Studio Code

  • Überprüfen der erfolgreichen Ausführung eines Moduls

Voraussetzungen

  • Grundlegende Kenntnisse zu IoT Edge

  • Grundkenntnisse zu Azure KI Services

  • Gute Kenntnisse im Umgang mit Visual Studio Code

  • Azure-Abonnement

  • Linux-Computer, der als simuliertes Azure IoT Edge-Gerät fungiert

  • USB-Kamera