Activer la télémétrie pour les indicateurs de fonctionnalité

La télémétrie est le processus automatisé de collecte, de transmission et d’analyse des données sur la façon dont votre application et ses fonctionnalités sont utilisées. L’activation de la télémétrie pour les indicateurs de fonctionnalités offre des insights précieux sur le comportement et l’impact des déploiements de fonctionnalités, ce qui permet aux équipes d’itérer plus rapidement, d’améliorer l’expérience utilisateur, de détecter les problèmes tôt et de valider l’efficacité des nouvelles fonctionnalités. Avec la télémétrie, les équipes peuvent répondre à des questions critiques telles que :

• Une fonctionnalité est-elle activée ou désactivée comme prévu ?
• Des utilisateurs ou des groupes spécifiques accèdent-ils à la nouvelle fonctionnalité ?
• Une fonctionnalité provoque-t-elle des régressions ou des erreurs de performances ?
• Quel est l’impact d’une fonctionnalité sur les métriques clés telles que l’engagement ou la conversion ?

En tirant parti des données de télémétrie, les organisations peuvent prendre des décisions éclairées, pilotées par les données, identifier et résoudre rapidement les problèmes et optimiser la distribution des fonctionnalités pour de meilleurs résultats métier et utilisateur.

La télémétrie est le processus de collecte, de transmission et d’analyse des données sur l’utilisation et les performances de votre application. Il vous aide à surveiller le comportement de l’indicateur de fonctionnalité et à prendre des décisions pilotées par les données. Lorsqu’un changement d’indicateur de fonctionnalité est déployé, il est souvent important d’analyser son effet sur une application. Par exemple, voici quelques questions qui peuvent survenir :

• Mes indicateurs sont-ils activés/désactivés comme prévu ?
• Les utilisateurs ciblés ont-ils accès à une certaine fonctionnalité comme prévu ?
• Comment une variante affecte-t-elle l’engagement client ?

Il est possible de répondre à ces types de questions par le biais de l’émission et de l’analyse des événements d’évaluation des indicateurs de fonctionnalité.

Conditions préalables

• Indicateur de fonctionnalité créé dans Utiliser des indicateurs de fonctionnalité variant.

Se connecter à Application Insights

1. Ouvrez votre magasin App Configuration dans le portail Azure.

2. Dans la section Télémétrie, sélectionnez l'onglet Application Insights (aperçu).

3. Sélectionnez l’abonnement, le groupe de ressources. Sélectionnez ensuite votre ressource Application Insights existante à laquelle vous souhaitez vous connecter à votre magasin App Configuration, ou sélectionnez Créer pour créer une ressource Application Insights.

4. Sélectionnez le bouton Connexion.

   

Activer la télémétrie pour un indicateur de fonctionnalité

1. Ouvrez votre magasin App Configuration dans le portail Azure et sélectionnez le panneau Gestionnaire de fonctionnalités sous la section Opérations .

2. Sélectionnez l’indicateur de fonctionnalité nommé Greeting. Si vous ne l’avez pas, suivez les instructions pour la créer. Ensuite, cliquez avec le bouton droit sur l’indicateur de fonctionnalité, puis sélectionnez Modifier.

   

3. Dans la nouvelle vue, sélectionnez l’onglet Télémétrie .

4. Cochez la case Activer la télémétrie , puis sélectionnez le bouton Vérifier + mettre à jour en bas de la page.

   

5. Passez aux instructions suivantes pour utiliser la télémétrie dans votre application pour la langue ou la plateforme que vous utilisez.

   • ASP.NET Core
   • Python
   • JavaScript

Passer en revue les résultats de télémétrie dans Azure App Configuration

1. Accédez au panneau Application Insights dans le portail App Configuration. Vous devez voir un graphique affichant tous les événements de votre application. Ce graphique fournit une vue d’ensemble initiale des modèles d’activité.

   

2. Utilisez le sélecteur d’intervalle de temps pour vous concentrer sur des périodes spécifiques pour identifier les tendances ou examiner des délais particuliers d’intérêt.

3. Filtrer par indicateur de fonctionnalité

   1. Cliquez sur le menu déroulant au-dessus du graphique d’événements
   2. Sous Indicateurs de fonctionnalité avec des événements , sélectionnez votre indicateur de fonctionnalité
   3. Le graphique affiche désormais uniquement les événements liés aux évaluations de l’indicateur de fonctionnalité

   

4. Pour accéder à des données de télémétrie plus détaillées , cliquez sur Afficher les détails pour ouvrir l’onglet télémétrie.

   

Vérifier les attributions de variantes

Sous l’onglet Télémétrie, vous pouvez afficher :

• Nombre total d’événements d’évaluation émis par votre application
• Utilisateurs uniques : nombre d’utilisateurs distincts ciblés et pour lesquels des événements ont été émis.

Pour afficher la distribution des utilisateurs et le nombre d’évaluations entre les variantes Simple, Long et None, regroupez les métriques par Variant. Ce regroupement vous permet de déterminer si les allocations configurées fonctionnent comme prévu et que toutes les variantes attendues sont servies aux utilisateurs.

Dans cet exemple, nous voyons que le nombre d’utilisateurs affectés à la variante « None » est presque deux fois supérieur à celui des variantes « Simple » et « Long » étant donné respectivement le fractionnement 50-25-25 centile configuré entre « None », « Simple » et « Long ».

Confirmer les remplacements et le comportement en fonction de l’état de l’indicateur

Les utilisateurs peuvent recevoir une variante pour différentes raisons. Vous souhaitez vous assurer que vos attributions de variantes ne sont pas seulement dans la bonne proportion, mais également pour la raison appropriée. Vous pouvez regrouper les métriques par raison d’affectation. Dans cet exemple, nous voyons que la seule raison de l’affectation est uniquement due aux allocations centiles.

1. Désactivez l’indicateur de fonctionnalité en accédant au gestionnaire de fonctionnalités et en basculant le commutateur « Activer » de l’indicateur de fonctionnalité.

2. Dans la colonne de télémétrie, cliquez sur Afficher les événements pour accéder à l’onglet Télémétrie en mode lecture seule.

3. Afficher le nombre d’utilisateurs uniques par Variant. Vous devez voir que toutes les attributions pour Long et Simple passent à zéro. Seule la variante None, qui est la valeur par défaut dans notre cas, est affectée aux utilisateurs.

   

4. Basculez vers l'affichage du nombre d’utilisateurs uniques par raison d’affectation. Vérifiez à partir du graphique que les allocations percentiles tombent à zéro et DefaultWhenDisabled est la seule raison pour laquelle les utilisateurs se voient attribuer des variantes.

   D’autres raisons possibles incluent « DefaultWhenEnabled », « Group » ou « User » si configuré.

   

Analyser les données de télémétrie dans Application Insights

Maintenant que vous avez confirmé que les allocations d’indicateurs de fonctionnalité fonctionnent comme prévu, vous pouvez approfondir les événements de télémétrie pour voir le fonctionnement de différentes variantes en fonction des mentions J’aime émises pour les utilisateurs.

Ouvrez votre ressource Application Insights dans le portail Azure et sélectionnez Journaux sous Surveillance. Dans la fenêtre de requête, exécutez la requête suivante pour afficher les événements de télémétrie :

// Step 1: Get distinct users and their Variant from FeatureEvaluation (Replace <store-endpoint> with your store's endpoint)
let evaluated_users =
    customEvents
    | where name == "FeatureEvaluation"
    | where tostring(customDimensions.FeatureFlagReference) == "https://<store-endpoint>/kv/.appconfig.featureflag/Greeting"
    | extend TargetingId = tostring(customDimensions.TargetingId),
            Variant = tostring(customDimensions.Variant)
    | summarize Variant = any(Variant) by TargetingId;

// Step 2: Get distinct users who emitted a "Like"
let liked_users =
    customEvents
    | where name == "Liked"
    | extend TargetingId = tostring(customDimensions.TargetingId)
    | summarize by TargetingId;

// Step 3: Join them to get only the evaluated users who also liked
let hearted_users =
    evaluated_users
    | join kind=inner (liked_users) on TargetingId
    | summarize HeartedUsers = dcount(TargetingId) by Variant;

// Step 4: Total evaluated users per variant
let total_users =
    evaluated_users
    | summarize TotalUsers = dcount(TargetingId) by Variant;

// Step 5: Combine results
let combined_data =
    total_users
    | join kind=leftouter (hearted_users) on Variant
    | extend HeartedUsers = coalesce(HeartedUsers, 0)
    | extend PercentageHearted = strcat(round(HeartedUsers * 100.0 / TotalUsers, 1), "%")
    | project Variant, TotalUsers, HeartedUsers, PercentageHearted;

// Step 6: Add total row
let total_sum =
    combined_data
    | summarize Variant="All", TotalUsers = sum(TotalUsers), HeartedUsers = sum(HeartedUsers);

// Step 7: Output
combined_data
| union (total_sum)

Vous voyez un événement « FeatureEvaluation » à chaque fois que la page est chargée et un événement « J’aime » à chaque fois que le bouton j’aime est activé. Les événements « FeatureEvaluation » ont une propriété personnalisée appelée FeatureName avec le nom de l’indicateur de fonctionnalité qui a été évalué. Les deux événements ont une propriété personnalisée appelée TargetingId, contenant le nom de l'utilisateur qui a aimé la citation.

Dans cet exemple, nous pouvons voir que, même si le nombre d’utilisateurs obtenant la variante Long et Simple était à peu près le même, la variante Simple semble s’améliorer d’une marge de 22%.