Wprowadzenie
Usługa Azure IoT Edge umożliwia przenoszenie obciążeń z chmury do krawędzi. Umożliwia to przetwarzanie zadań lokalnie na urządzeniach brzegowych, bliżej miejsca, gdzie dane są generowane. Takie podejście dobrze pasuje do usług, które przetwarzają duże ilości danych, takich jak modele przetwarzania obrazów. Usługi azure AI z usługą IoT Edge umożliwiają tworzenie rozwiązania i wdrażanie ich na urządzeniach IoT jako kontenerów. Gdy są wdrożone razem, usługi Azure IoT Edge i Azure AI umożliwiają wyszukiwanie wniosków z obrazów lub strumieni wideo na brzegu, bez wcześniejszej wysyłki wszystkich danych do zewnętrznej lokalizacji.
Załóżmy, że pracujesz jako analityk danych i odpowiadasz za wdrażanie usług azure AI, które implementują funkcję rozpoznawania obrazów na potrzeby samoobsługowych kas używanych w supermarketach. System powinien mieć funkcję zamiany obrazu na mowę, aby umożliwić osobom z dysfunkcją wzroku korzystanie z samoobsługowej kasy. System uruchomi obraz zeskanowanego elementu względem wstępnie wytrenowanego modelu uczenia maszynowego w celu zidentyfikowania zeskanowanego elementu. Element zostanie następnie ważony, a koszt zostanie obliczony w zależności od identyfikacji. To udogodnienie pozwala osobie niedowidzącej uniknąć konieczności patrzenia na przedmiot. Przy użyciu tekstu na mowę klient otrzyma wiadomość dźwiękową, że element został zeskanowany. Logika biznesowa modułu rozpoznawania obrazów będzie znajdować się na urządzeniu. System zidentyfikuje zeskanowany element i przekonwertuje etykietę obrazu na mowę.
Aby zaimplementować to podejście, możesz skompilować i wytrenować moduł rozpoznawania obrazów w chmurze przeznaczony dla danej domeny (takiej jak identyfikowanie owoców) i wdrożyć model jako kontener na urządzeniu.
W tym module uruchomisz rozwiązanie usługi Azure IoT Edge korzystające z usług Azure Custom Vision i Azure Speech Service oraz wdrożysz rozwiązanie na urządzeniu Brzegowym. Aplikacja składa się z wielu modułów, które skanują elementy przy użyciu aparatu, klasyfikują zeskanowane elementy i konwertują zidentyfikowane elementy na mowę.
Po ukończeniu tego modułu będzie można połączyć urządzenia IoT z usługą Cognitive Service i wdrożyć rozwiązanie na urządzeniu usługi IoT Edge. Aplikacja poinformuje Cię (za pośrednictwem dźwięku), jakie elementy zostały zeskanowane.
Cele nauki
Korzystanie ze wstępnie wytrenowanego modułu klasyfikacji obrazów z usługami Azure AI
Wdrażanie rozwiązania w usłudze IoT Edge przy użyciu programu Visual Studio Code
Weryfikowanie modułu, który został uruchomiony pomyślnie
Warunki wstępne
Podstawowa wiedza na temat usługi IoT Edge
Podstawowa wiedza na temat usług Azure AI
Możliwość korzystania z programu Visual Studio Code
Subskrypcja platformy Azure
Komputer z systemem Linux, który działa jako symulowane urządzenie usługi Azure IoT Edge
Kamera USB