Exercice - Concevoir une solution de vision par ordinateur
Dans ce module, vous allez créer une solution de reconnaissance d’images avec un appareil IoT Edge capable de communiquer via l’audio. Cette solution utilise trois services Azure, chacun avec des services de niveau gratuit.
Vous allez configurer le runtime IoT Edge pour que votre ordinateur Linux agisse comme un appareil IoT Edge. Vous allez utiliser Visual Studio Code pour déployer votre solution en périphérie.
Composants de la solution
La solution s’exécute sur Azure IoT Edge et se compose de plusieurs services qui fonctionnent ensemble.
- Le Module de capture d'images scanne les éléments à l’aide d’une caméra.
- Le module de classification d’images identifie l’élément. Le module de classification d’images comprend un modèle Machine Learning qui a été entraîné avec des images de fruits qui classifient les éléments analysés.
- Le module Text to Speech convertit l’étiquette d’élément en voix. Après cela, le nom de l’élément analysé est lu sur le haut-parleur. Le module Text to Speech convertit le nom de l’élément analysé en voix audio à l’aide des services Azure Speech.
- Une caméra USB capture des images d’articles à acheter.
- Un haut-parleur est utilisé pour la diffusion audio du nom de l’article identifié.
- Azure IoT Hub (niveau gratuit) gère les appareils Azure IoT Edge utilisés pour implémenter la solution.
- Azure Speech Services (niveau gratuit) génère la reconnaissance vocale naturelle qui informe le client de l’élément analysé.
- Le service Azure Custom Vision est utilisé pour créer le modèle fruit utilisé pour la classification d’images.
- Visual Studio Code est un éditeur de code source. Vous utilisez Visual Studio Code comme outil de développement pour l’appareil IoT.
Procédure à suivre
Les étapes globales du module sont les suivantes :
Configurer un appareil IoT Edge
a) Créer un hub IoT
b. Créer un appareil edge dans votre hub
c. Installer le runtime IoT Edge sur Linux
d. Définir la chaîne de connexion sur Azure IoT Edge
Cloner le référentiel
Créer un service Azure Speech
Générer et déployer la solution
Surveiller la solution
Une fois le module terminé, votre ordinateur Linux agit comme un appareil IoT Edge, et il est configuré sur IoT Hub. Les modules seront déployés sur l’appareil périphérique. La solution obtenue va effectuer une classification d’images à l’aide d’Azure AI services pour le scénario de la caisse automatique.