Science des données Toolkit - Incrementality et Xandr

Mesure de l’incrémenticité

Comment l’incrémenticité est-elle mesurée ?

L’idée de base derrière la mesure de l’incrémenticité consiste à fractionner les utilisateurs en groupes de test et de contrôle et à afficher uniquement des publicités aux utilisateurs du groupe de test. L’objectif est de voir si les utilisateurs du groupe de test dépensent plus d’argent sur les produits de l’annonceur que les utilisateurs qui n’ont pas été exposés aux publicités.

Options de test de groupe de contrôle

Il existe plusieurs options pour les tests de groupe de contrôle, chacune est fournie avec des coûts et des degrés de précision variables.

• Bannières PSA - Une façon de le faire est de servir une bannière PSA/Charité au groupe de contrôle, mais cette option nécessite de dépenser un pourcentage du budget de campagne sur la publicité qui ne générera aucun résultat commercial pour vous ou votre annonceur.
• Groupe d’attente : une autre méthode consiste à créer arbitrairement un groupe d’audiences de données internes, que vous ciblerez négativement dans vos paramètres d’élément de ligne et utiliserez comme groupe de contrôle. Bien que ne coûtant pas d’argent, cette option ne conduira probablement pas à des résultats très précis. L’exclusion du groupe de contrôle empêche le retour des informations de demande d’offre, telles que le domaine ou l’appareil, ce qui signifie qu’il peut être difficile de s’assurer que vos Groupes Test & Control sont statistiquement similaires.
• Enchères fantômes : une approche améliorée consiste à ne pas diffuser une publicité à l’utilisateur, mais à journaliser que nous aurions pu lui envoyer une publicité. L’analyse peut ensuite être effectuée sur le jeu de données obtenu. Il s’agit de l’approche la meilleure et la plus précise qui permettra à votre équipe Science des données de concevoir un test de propre et ne nécessite pas de gaspiller un pourcentage de votre budget sur les bannières PSA.

Enchères fantômes Xandr et flux d’incrémenticité

Xandr offre aux clients disposant de fonctionnalités de science des données la possibilité de mesurer l’incrémenticité. Nous fournissons le mécanisme dans Invest pour fractionner une audience en un groupe de test (le groupe exposé à des publicités) et un groupe de contrôle (le groupe non exposé aux publicités). Le test utilise la même approche de ciblage et d’enchère pour chaque groupe. Cela permet aux annonceurs d’analyser les revenus générés par les utilisateurs de chaque groupe pour déterminer l’augmentation incrémentielle des utilisateurs exposés aux publicités. Nous fournissons les données nécessaires dans un flux Log-Level Incrementality qui journalise les enchères DSP gagnées par chacun des groupes d’audience. Dans le cas des groupes de contrôle, l’offre « gagnante » est extraite de la vente aux enchères afin que le public ne soit pas exposé à la publicité. Le flux contient une ligne par impression.

Segmentation de l’audience

Vous pouvez fractionner votre public cible en un groupe de test et de contrôle par l’une des deux méthodes suivantes :

Aléatoire par Xandr

Il s’agit de la méthode par défaut. Xandr divise l’audience cible en groupes de test et de contrôle en fonction des paramètres que vous avez placés dans la section Incrementality de la configuration de l’élément de ligne dans Invest. Ces paramètres incluent une clé personnalisée que vous avez configurée pour permettre à Xandr de créer des segments d’utilisateurs uniques pour les groupes de test et de contrôle de manière déterministe. Pour une clé unique, l’audience est distribuée de manière unique en groupes de test et de contrôle. Cela vous permet de fractionné les audiences différemment pour différents tests. Pour avoir la même segmentation utilisateur sur différents éléments de ligne, utilisez simplement la même clé unique.  L’autre paramètre est un pourcentage qui détermine le nombre d’utilisateurs qui seront inclus dans le groupe de contrôle.  

Comment configurer un élément de ligne pour l’incrémenticité ?

1. Accédez à Élément de ligne > Configuration de base > Incrementality et sélectionnez « Utiliser le groupe de contrôle ».
2. Affectez une clé et un pourcentage d’utilisateurs à affecter au groupe de contrôle.
   • Une clé peut être n’importe quelle chaîne de caractères et crée une segmentation utilisateur unique entre les Groupes test & control. Vous pouvez définir la même clé sur plusieurs éléments de ligne pour vous assurer qu’ils utilisent tous la même segmentation utilisateur, ce qui permet d’éviter toute contamination croisée entre les éléments de ligne. Voir plus ci-dessous.
   • Pourcentage du groupe de contrôle détermine le pourcentage d’utilisateurs que vous ciblez qui appartiennent au groupe de contrôle.

Contrôlé par le client

Vous pouvez également choisir de créer votre propre regroupement d’utilisateurs de test et de contrôle à l’aide d’un segment précréé. Il s’agit d’un segment unique qui détermine le test ou le contrôle à l’aide du champ du value segment.

Les valeurs suivantes peuvent être utilisées :

• Définissez la valeur 0 sur pour créer un groupe de test qui recevra des annonces comme d’habitude.
• Définissez la valeur sur 1 ou toute valeur différente de zéro pour créer un groupe de contrôles. Ce paramètre de segment crée une ligne dans le flux Incrementality, puis passe au résultat suivant.

Pour plus d’informations sur l’utilisation des valeurs de segment, consultez Batch Segment Service.

Pourquoi les regroupements personnalisés sont bénéfiques :

• Vous disposez de votre propre sous-ensemble du pool d’audiences totales Xandr et souhaitez mieux surveiller la façon dont les groupes de test et de contrôle sont divisés.
• Vous avez des informations sur la façon dont les ID de cookie Xandr sont mappés aux consommateurs individuels. Si Xandr n’a pas connaissance de ce mappage lors de la détermination des utilisateurs qui se retrouvent dans le test/contrôle, nous allons contaminer votre mesure avec des cookies qui croisent le test/contrôle qui doivent être alignés sur un consommateur mappé.

Considérations relatives à la planification des tests d’incrémenticité

Commencez par une hypothèse bien cadré

Vérifiez que vous commencez par une hypothèse bien cadré. Le test de l’incrémenticité doit être effectué pour répondre à une hypothèse sur l’élévation incrémentielle pour une campagne spécifique. Une hypothèse trop générale ne fournira pas de résultats de test adéquats et ne vous permettra pas d’avoir des réponses exploitables à ces résultats.  

Réduction de la contamination

La contamination peut être définie comme une situation où les utilisateurs du groupe de contrôle sont involontairement exposés à la publicité. La réduction de la contamination est essentielle pour un test de propre. Lorsque vous concevez votre test, tenez compte des éléments suivants pour réduire la contamination :

Vérifiez que le groupe de contrôle n’est pas exposé aux acheteurs externes ou aux fournisseurs de services de sécurité qui exécutent une campagne similaire

Il est important de veiller à ce que les utilisateurs affectés au groupe de contrôle dans notre plateforme ne soient pas exposés à des publicités d’acheteurs externes ou d’autres fournisseurs de services de protection des données exécutant la même campagne.

Comment l’atténuer ?

• Le scénario idéal consiste à s’assurer que Xandr est le seul fournisseur de services de domaine à exécuter une campagne particulière. Il est important d’y réfléchir lors de la planification des tests et de la configuration du groupe de contrôle.
• S’il n’est pas possible d’isoler les utilisateurs du groupe de contrôle, envisagez de géofencing de votre campagne. Pour ce faire, exécutez votre campagne exclusivement sur Xandr dans certains emplacements géographiques, tandis que d’autres acheteurs/fournisseurs de solutions cloud du plan ciblent une autre région. Par exemple, si la campagne doit être exécutée dans le États-Unis, accordez à Xandr l’exclusivité dans certains États et faites exécuter d’autres acheteurs/fournisseurs de services de sécurité dans les autres États.
  • Comment déterminer les géolocalisations à clôturer pour garantir l’absence de biais dans le test ?
    Dans l’exemple ci-dessus, il est recommandé de sélectionner une liste d’états dont les taux de conversion sont similaires à ceux du États-Unis en général. Cela devrait rendre les résultats de l’essai de levée représentatifs de l’États-Unis dans son ensemble.

La campagne peut s’exécuter sur d’autres canaux

Il est probable que le budget marketing d’une campagne ne sera pas isolé de l’activité programmatique et qu’il y aura d’autres canaux, tels que la télévision, la radio, la recherche ou d’autres, utilisés pour la campagne particulière. Dans ce cas, l’incrémenticité est la mesure de l’impact de la campagne que vous testez, dans le contexte de toutes les publicités associées. L’élévation résultante sera plus petite, mais votre analyse présentera une mesure réelle.

Comment l’atténuer ?

Vérifiez que la publicité « en arrière-plan » est la même pour les groupes de test et de contrôle.

Contamination croisée de l’élément de ligne

Si votre campagne comporte plusieurs éléments de ligne, par exemple un pour la prospectation et un autre pour le reciblage, il est important de s’assurer qu’il n’y a pas de contamination croisée entre eux.

Comment l’atténuer ?

La définition de la même clé sur tous vos éléments de ligne dans le test garantit qu’ils utilisent tous la même segmentation d’utilisateur, ce qui rend impossible pour un élément de ligne de cibler les utilisateurs du groupe de contrôle à partir d’un autre élément de ligne.

Utilisateurs sur plusieurs appareils

Il est important de noter que la segmentation d’utilisateurs aléatoire par défaut ne prend pas en compte plusieurs appareils. Cela signifie que le même utilisateur peut être à la fois dans un groupe de test et un groupe de contrôle en fonction de l’appareil qu’il utilise.

Comment l’atténuer ?

• Si vous êtes en mesure de créer un graphe inter-appareils à l’aide de données internes, vous pouvez charger votre propre segmentation d’utilisateur via l’API.
• Appliquez votre propre graphe inter-appareils rétrospectivement, lors du nettoyage des données.
• Vous pouvez également limiter le test à un seul type d’appareil et supposer qu’une personne ne possède généralement qu’un seul appareil du même type. Il s’agit de la façon la plus intrusive et aura probablement un impact sur les performances de la campagne.

Comparaison efficace des groupes de test et de contrôle

Dans les enchères fantômes, la randomisation des utilisateurs dans des groupes de test et de contrôle, soit par le client, soit par Xandr, se produit hors connexion avant l’envoi des enchères. Cela signifie que tous les utilisateurs de test ne seront pas exposés à une publicité et que la partie des utilisateurs exposés à une publicité dans le groupe de test est soumise à un biais gagnant.

Le groupe de test peut maintenant être considéré comme scindé en deux sous-ensembles, exposé et non exposé à une publicité. Le tableau ci-dessous fournit un moyen de catégoriser les trois groupes.

Par exemple, il est probable qu’un utilisateur du groupe de tests (non exposé) soit très utile pour d’autres acheteurs. Cela signifie que le biais de gain pourrait produire une mesure d’élévation négative s’il n’est pas considéré avec soin.

Comment vous assurer que les groupes de test et de contrôle que vous comparez sont statistiquement similaires ?

En règle générale, nous vous recommandons d’effectuer les opérations suivantes pour vous assurer que les Groupes test de contrôle & que vous comparez sont statistiquement similaires. Gardez à l’esprit que la façon dont vous rendez vos groupes statistiquement similaires dépend probablement de votre hypothèse, des objectifs que vous essayez d’atteindre et de l’approche de votre équipe de science des données :

• Utilisez des données historiques pour identifier les fonctionnalités, qui sont fortement corrélées avec les résultats souhaités. Par exemple, vous avez peut-être noté dans le passé que les utilisateurs sur un certain appareil et sur un certain domaine sont beaucoup plus susceptibles de convertir en moyenne.
• Prenez un sous-ensemble des utilisateurs exposés et non exposés pour créer le groupe de test et de contrôle que vous allez comparer. Assurez-vous d’une distribution comparable des utilisateurs qui disposent de ces fonctionnalités importantes dans les groupes de test et de contrôle.

Nuances du groupe de contrôle

Comme pour les groupes de test ayant un pourcentage de leurs utilisateurs qui ne reçoivent pas de publicités, il en va de même pour les membres du groupe de contrôle. Les offres retirées pourraient perdre dans la vente aux enchères en aval. Les journaux de contrôle reflètent les utilisateurs qui auraient pu gagner, plutôt que ceux qui auraient gagné.

Pour estimer le nombre d’impressions que le groupe de contrôle aurait réellement gagnées, vous pouvez examiner taux de gain pour le groupe de test.

Il peut être utile de passer en revue le fonctionnement d’une vente aux enchères pour un élément de ligne d’incrémenticité :

1. Un emplacement publicitaire dans un navigateur web envoie une demande d’enchère.
   • La demande d’enchère est enrichie avec des données utilisateur et contextuelles via ImpBus.
2. La demande d’offre est envoyée au soumissionnaire AppNexus et à la demande externe.
3. La vente aux enchères interne du soumissionnaire se produit : tout LI sur la console.
4. Si l’enchère d’un LI associé à un segment d’incrémentiel est le classement supérieur des enchères, cette impression est consignée dans le flux d’incrémenticité
   • Si l’utilisateur se trouve dans le groupe de contrôles (1), l’enchère est extraite de la liste des enchères
   • Si l’utilisateur se trouve dans le groupe Test (0), l’enchère continue normalement
5. Les enchères de test les mieux classées sont envoyées à Imp Bus à partir de la console, et les soumissionnaires externes répondent à Imp Bus.
6. Imp Bus applique les règles de qualité des annonces du vendeur et organise une vente aux enchères finale.
7. L’annonce est renvoyée à la page web
   • Si cette demande d’annonce provient d’une offre externe, le gagnant est envoyé à un fournisseur de services partagés où la véritable enchère finale a lieu
8. Ad renvoie un signal de rendu à Imp Bus.
9. L’impression est consignée dans standard_feed.

Réfléchissez à la signification statistique

La signification statistique est la probabilité qu’une relation entre deux variables ou plus soit provoquée par quelque chose d’autre que le hasard. Vous utilisez la signification statistique pour déterminer la plausibilité d’une hypothèse null. Une hypothèse null suppose que toute différence entre les caractéristiques choisies que vous voyez dans un ensemble de données est due au hasard. Le rejet de l’hypothèse null présente un cas plus fort pour votre hypothèse.

Il est important de penser aux niveaux de signification statistique avec lesquels vous êtes à l’aise avant le test. Cela vous aidera à avoir une idée du nombre d’impressions que vous devez servir et des utilisateurs à atteindre.

Utilisez vos données d’historique pour déterminer quelles fonctionnalités, telles que les domaines ou les types d’appareils, sont statistiquement corrélées avec un taux de réussite élevé (c’est-à-dire le taux de conversion).

Ces deux formules peuvent vous aider à déterminer le taux d’échantillonnage nécessaire :

Test statistique

Une fois que vous recevez une métrique telle qu’un taux de conversion pour les groupes de contrôle et de test, utilisez un test T ou un test Z pour déterminer si la différence d’incrémenticité est statistiquement significative ou non.

Procédez comme suit pour déterminer la différence d’incrémenticité :

1. Calculez la valeur T.
2. Obtient la valeur P de la valeur T.
3. Comparez la valeur P au niveau de précision prédéfini α (généralement défini sur 5 %).

Taille d’échantillon requise

La taille de l’échantillon requise pour l’acceptation/le rejet de l’hypothèse null pour l’indicateur de performance clé(KPI), comme le taux de conversion ou le nombre de conversion, dépend des paramètres suivants.

• Écart type de la variable de résultat.
• Effet détectable minimal (différence minimale entre les indicateurs de performance clés du groupe de test et du groupe de contrôle).
• Niveau de précision statique souhaité α.
• Desired power β.
• Type du test : test à une ou deux extrémités.

Définition du pourcentage du groupe de contrôle

Le pourcentage du groupe de contrôles, qu’il soit défini via les paramètres d’élément de ligne dans Microsoft Invest ou l’API de la plateforme, ne peut pas dépasser 20 %.  Nous recommandons un pourcentage compris entre 10 et 20 pour de meilleurs résultats.

Considérations supplémentaires

Comportement d’optimisation

Il est important de comprendre comment l’optimisation peut se comporter différemment entre les enchères pour les groupes de test et de contrôle.

Étant donné que les enchères des utilisateurs du groupe de contrôle sont extraites et qu’ils n’ont jamais servi de publicité, les mesures de fréquence et de récence sont toujours différentes pour eux.  Cela signifie que le modificateur de cadence se comporte différemment entre les groupes de test et de contrôle. Consultez l’image ci-dessous pour obtenir une vue d’ensemble de l’impact du modificateur de cadence sur la valeur d’enchère.

Comment l’atténuer ?

• Utilisez des modèles personnalisés pour remplacer le modificateur de cadence et définissez-le sur un. Cela garantit le même comportement d’enchère pour les groupes de test et de contrôle.
• Utilisez une enchère plate pour votre test et optimisez manuellement.

Vendeurs exclus

Actuellement, nous ne pouvons pas exécuter de tests d’incrémenticité sur l’inventaire de Verizon et moPub . Par conséquent, les ID de membre vendeur suivants doivent être exclus dans le ciblage de l’élément de ligne :