Guide Comprendre la Pertinence Statistique (ou Quand couper ses LPs / Bannières )

Discussion dans 'Analyse & Optimisation' créé par Mehdi, 6 Septembre 2016.

  1. Mehdi

    Mehdi Overpaid Hobo

    Inscrit:
    19 Janvier 2016
    2 613
    $14.7k
    Bonjour à tous,

    Aujourd'hui j'aimerais vous parler d'un aspect particulier du media buy, qui est bien souvent négligé d'ailleurs malgré son importance capitale dans les résultats que vous obtiendrez.

    On sait tous que pour réussir ses campagnes, il faut split-tester, les fameux a/b tests dont tout le monde parle, tester plusieurs landing pages, plusieurs bannières, plusieurs offres ..

    Généralement, tout le monde (ou presque) a retenu cette leçon, et lance ses campagnes avec au moins 2 ou 3 items par élément afin d'augmenter ses chances de trouver des combinaisons gagnantes.

    Mais sans savoir comment analyser les résultats, ça ne sert à rien !

    Entre donc en jeu ..

    La Pertinence (ou Validité) Statistique !

    Derrière ce terme - que je ne suis même pas sûr de bien traduire (Statistical Significance en anglais) - se cache un principe tout simple.

    La data recueillie sur vos tests doit être statistiquement valable, c'est à dire qu'on doit se baser sur un algorithme mathématique de calcul de probabilités pour arriver à une conclusion, et non pas juger les chiffres au feeling.

    L'algo le plus simple et le plus souvent utilisé dans ces cas là est le Bayesian.

    La formule ressemble à ça :

    [​IMG]

    Comme je vois déjà vos yeux s'écarquiller, je vous rassure de suite, il y'a des outils gratuits et tout prêts à faire le calcul à votre place :)

    L'objectif principal de l'algorithme est de nous permettre de prendre des décisions les plus scientifiquement valides possible, et ainsi supprimer l'élément émotionnel de la décision.

    Concrètement, ça donne quoi ?

    Je vais prendre un exemple et vous expliquer ici étape par étape comment utiliser l'outil et comment appliquer l'algorithme Bayesian à toutes vos optimisations de landing pages ou bannières.

    Pour cet exemple, imaginons que vous ayez ces résultats sur votre campagne :

    LP1 > 91928 affichages, 89 conversions
    LP2 > 93784 affichages, 107 conversions

    La plupart des affiliés en voyant ça, vont couper la LP1 sans hésiter.. erreur !

    A aucun moment une décision d'optimisation telle que celle ci ne doit être prise à vue d'oeil, ou au feeling, ça vous mènera inévitablement à des erreurs de jugement qui pourront vous coûter cher, ou vous faire passer à côté d'une opportunité.

    Pour décider si on coupe une des 2 LPs ou pas (encore), on se réfère à cet outil :
    AB split test graphical Bayesian calculator – PeakConversion

    AB_split_test_graphical_Bayesian_calculator_–_PeakConversion.jpg

    Ce que nous dit ce résultat, c'est que la LP2 (B) a en effet 87% de chances d'être la meilleure.. ceci dit, on ne coupe une LP que lorsqu'elle tombe en dessous de 10%, on doit donc continuer à tester les 2 LPs en parallèle avant de prendre une décision finale.

    On est très souvent tenté de couper très vite des items de nos campagnes, en ayant l'impression d'optimiser vite, mais il ne faut pas tomber dans la sur-optimisation! Si vos décisions sont basé sur vos émotions, sur la longue, vous en ressortirez perdant.

    Prenons un autre exemple extrême pour démontrer l'importance de respecter la règle :

    AB_split_test_graphical_Bayesian_calculator_–_PeakConversion.jpg

    Là encore, à vue d'oeil on est très tentés de couper la LP2 (B), hors, regardez ce qui se passe avec une seule conversion de plus :

    AB_split_test_graphical_Bayesian_calculator_–_PeakConversion.jpg

    La probabilité que LP2 (B) soit la meilleure a quasiment doublé, certes elle reste en dessous de LP1 (A), mais on ne peut objectivement pas prendre de décision valide quand un nombre faible de conversions peut changer la donne de façon dramatique.

    Astuce : Remarquez comme on zappe complètement le CTR% :)

    Important : Il est indispensable de comparer les statistiques de LPs (ou bannières) sur la même durée, et qu'elles aient reçu le même trafic, splité en parallèle.
    Si vous avez ajouté LP2 il y'a seulement 3 jours alors que LP1 tourne depuis une semaine, on ne compare les stats des 2 LPs que sur les 3 derniers jours où les 2 étaient en prod.

    Comment tester plus de 4 éléments ?

    En se rendant sur la page de l'outil peakconversion on voit qu'il ne proposent que 4 lignes, et donc qu'on ne peut comparer que 4 landing pages ou bannières à la fois.

    Pour remédier à ça, on va analyser les LPs par séquences, c'est à dire premièrement comparer 4, éliminer celles qui obtiennent <10%, et ensuite comparer le reste.

    Exemple:

    LP1 > 7363 affichages : 93 conversions
    LP2 > 8370 affichages : 51 conversions
    LP3 > 7592 affichages : 48 conversions
    LP4 > 2947 affichages : 32 conversions
    LP5 > 3756 affichages : 45 conversions
    LP6 > 9472 affichages : 68 conversions
    LP7 > 7557 affichages : 59 conversions
    LP8 > 6728 affichages : 77 conversions

    LP1 vs LP2 vs LP3 vs LP4 >

    AB_split_test_graphical_Bayesian_calculator_–_PeakConversion.jpg

    LP5 vs LP6 vs LP7 vs LP8 >

    AB_split_test_graphical_Bayesian_calculator_–_PeakConversion.jpg

    Déjà 4 LPs de pausées, il nous reste donc à comparer les 4 restantes.

    LP1 vs LP4 vs LP5 vs LP8 >

    AB_split_test_graphical_Bayesian_calculator_–_PeakConversion.jpg

    Résultat : Aucune des 4 ne ressort clairement gagnante, rien à faire donc on laisse tourner et on analyse de nouveau un peu plus tard.

    Conclusion

    Voilà c'est terminé pour cette première partie du guide, j'espère que ça vous aidera à y voir plus clair sur le process d'optimisation des bannières et landing pages.

    Je posterais une 2ème partie de ce guide pour couvrir le processus d'optimisation des offres qui lui est un petit différent!

    Vos questions sont les bienvenues et à vos optimizations ! :)



    Mehdi
     
    Dernière édition: 6 Septembre 2016
  2. Moody_jr

    Moody_jr Actif

    Inscrit:
    26 Août 2016
    59
    37
    $342
    Excellent merci pour ce partage ! c'est vraiment intéressant des analyses comme celle-ci
     
  3. Olaf

    Olaf Actif

    Inscrit:
    25 Mai 2016
    180
    81
    $906
    La grosse erreur quand j'ai débuté c’était de prendre des décisions sur du traffic/nb de conv insuffisant(es).
    Mais y'a pas de secret, il faut pratiquer, pratiquer et encore pratiquer.

    J’ajoute que quand tu utilises des LP trouvées sur les sites de spy, tu t’évites une bonne partie du boulot et après l'optimisation se fera a la marge (j'ai l'impression). Même si reprendre des LP vues et revues ça a forcement ses gros defauts.
     
    Moody_jr aime ça.
  4. Olivier

    Olivier Confirmé

    Inscrit:
    20 Mai 2016
    309
    400
    $2.2k
    Excellent Mehdi et tellement important ! On ne zappe pas tout à fait le CTR car il entre dans le process de calcul de probabilité plus complexe Bayesian, que Peak Conversion nous simplifie bien :pray:

    Mehdi parlait surtout de compréhension statistique dans un but d'optimisation basée sur l'efficacité de conversion et non d'une campagne en général et qui fera certainement partie d'un nouveau post où l'on parlera EPV/EPC, ROI et scalling je pense ;)

    Donc utiliser des LP scrappés sur les spy tools ne t'évites pas cette partie du boulot mais plutôt celle en amont de simplifier et accéléré la création de contenu pour ta campagne. D'autant que tu ne vas pas toujours utiliser les mêmes Traffic Source ni les mêmes Offers que les LP scrappées...

    Mais tu as raison sur le premier point par contre, il faut run sur du moyen et long terme !

    Olivier
     
    Moody_jr aime ça.
  5. Olaf

    Olaf Actif

    Inscrit:
    25 Mai 2016
    180
    81
    $906
    OlivierOlivier Ah oui on été au niveau Trial !!! Désolé. J'étais sur des stats d'affichages de LP vers conversions :pray:

    Posté trop vite.
     
    Dernière édition: 6 Septembre 2016
    Moody_jr aime ça.
  6. lennybar

    lennybar Motivé

    Inscrit:
    24 Mai 2016
    548
    149
    $2.4k
    Très pratique cette analyse !
     
    Moody_jr et Mehdi aiment ça.
  7. Mehdi

    Mehdi Overpaid Hobo

    Inscrit:
    19 Janvier 2016
    2 613
    $14.7k
    C'est une erreur très commune lorsqu'on débute oui !

    C'est pourquoi il est toujours conseillé de commencer avec des offres à petit payouts plutôt que des pin submit à $20/conv, car plus le payout est gros plus ça demandera de budget de test, et surtout le détachement émotionnel nécessaire pour ne pas couper trop vite et donc tout fausser.

    Pourtant on ne lui donne que les affichages de la LP (visits sur Voluum) et les conversions.

    Un exemple plus parlant aurait été de comparer une LP avec backbutton et une sans, où le ctr serait de 0.9% vs 34% par exemple, et les résultats peakconversion seraient les mêmes .. donc le ctr% est bien insignifiant.



    Mehdi
     
    Moody_jr aime ça.
  8. pol

    pol Actif

    Inscrit:
    11 Juin 2016
    179
    154
    $1.1k
    Clairement la base et indispensable cet outil. Il faut mettre le plus possible ses émotions de côté et ne se référer qu'à lui . Avant de l'utiliser je pense que parfois je coupais des LP à 55-45 % :joy: .Une fois l'erreur faite c'est un beau bordel pour redresser la barre.
     
    Moody_jr aime ça.
  9. Olivier

    Olivier Confirmé

    Inscrit:
    20 Mai 2016
    309
    400
    $2.2k
    Euh oui, je suis fatigué moi... J'ai lu et écrit CTR alors que je pensais CR...
     
    Mehdi aime ça.
  10. Mehdi

    Mehdi Overpaid Hobo

    Inscrit:
    19 Janvier 2016
    2 613
    $14.7k
    Hehe, vaut mieux que ça t'arrives ici plutôt que sur Voluum :yum


    Mehdi
     
  11. Olivier

    Olivier Confirmé

    Inscrit:
    20 Mai 2016
    309
    400
    $2.2k
    tu m'étonnes !
     
    Mehdi aime ça.
  12. paul

    paul Confirmé

    Inscrit:
    24 Mai 2016
    328
    108
    $1.8k
    Merci Medhi pour cette analyse au top ! :peace:

    C'est vrai que lorsque j'ai commencé dans le Média Buy le côté émotionnel était trop présent.
    Il faut apprendre à ne plus l'écouter et laisser parler les chiffres ^^
     
    Mehdi aime ça.
  13. Mehdi

    Mehdi Overpaid Hobo

    Inscrit:
    19 Janvier 2016
    2 613
    $14.7k
    Je t'en prie :)

    Et c'est normal, il faut juste le savoir et essayer de corriger ça, si le payout ou la géo de l'offre demandent des budgets qu'on est pas prêt à perdre switcher sur une autre campagne un peu plus douce.

    Encore aujourd'hui les campagnes US ou DE testent mes limites hehe.


    Mehdi
     
    Olaf et paul aiment ça.
  14. tony

    tony Apprenti

    Inscrit:
    28 Novembre 2016
    38
    14
    $209
    Je rebondis sur le sujet, j'ai découvert le côté stat de l'A/B testing récemment avec un cours sur udacity (A/B Testing | Udacity) vraiment intéressant parfois un peu trop stats mais à la fin vous savez comment bien comprendre les résultats de vos tests et comment interpréter au mieux les résultats.

    Un autre site qui permet de prendre exemple sur les types d'A/B testing possible avec les résultats ou non probants, Tests of the Week | Case Studies by Date - BEHAVE

    Bonne consultation ;)
     
    PDV, Mehdi et adilero aiment ça.
  15. Mehdi

    Mehdi Overpaid Hobo

    Inscrit:
    19 Janvier 2016
    2 613
    $14.7k
    Merci pour le partage tonytony :)


    Mehdi
     
Brouillon sauvegardé Brouillon supprimé
Chargement...

Ce site utilise des cookies, cliquer sur OK indique votre accord.