Conversation
sur la publicité actuelle

Nous avons reçu quelques questions sur la méthodologie utilisée sur le site PubMtl depuis le billet sur les agences populaires et l’autre sur les agences plus aimées. Ces questions sont légitimes. Je partage ici les grandes lignes de notre méthodologie. Tous les commentaires seront accueillis avec intérêt, toute amélioration suggérée, avec plaisir, toute erreur soulignée, avec humilité.

Comment avez-vous choisi les agences ?

La liste de départ des agences a été générée à partir des membres de l’Association des agences de publicité du Québec (AAPQ) à laquelle on ajouté la liste des agences non membres mentionnées dans le guide des Com et publiée chez Infopresse.  Les agences qui n’avaient pas d’adresse à Montréal ont été éliminées. Cette liste a été crée en début juin et elle comprend 97 agences.

Pourquoi avoir un nombre limité de qualités ? Pourquoi 14 ?

La prémisse de départ était d’avoir un nombre restreint de qualités afin de permettre le maximum de points d’ancrage, de comparaisons. Accepter les commentaires ouverts rendrait les comparaisons et les croisements impossibles.  Avoir trop de qualités, l’échantillon minimum nécessaire pour permettre les comparaisons entre les agences aurait été beaucoup trop grand. Avec seulement trois qualités (créatif, stratégique, moderne par exemple) les résultats auraient été par trop prévisibles et non significatifs. Le nombre de 14 a été déterminé. Ce choix est relativement arbitraire mais il est rapidement devenu efficient.

Comment avez-vous choisi ces qualités ?

Une première liste intuitive a été créée. Puis des rencontres avec des annonceurs, des publicitaires et autres personnes du milieu on permit de raffiner et enrichir la liste de qualités. Nous trouvions important que chaque « genre » d’agence puisse y trouver son compte. La prémisse étant que Cossette, Sid Lee, Twist et LXB ont toutes des qualités, mais pas nécessairement les mêmes, la diversité devient dès lors cruciale. Un pré-test du questionnaire avec 100 personnes a permis d’éliminer des mots trop flous et des corrélations évidentes. Si « Techno » est trop systématiquement associé à « avant-gardiste », la présence des deux devient inutile. La liste finale des qualités choisies est : avant-gardiste, cool, créative, dynamique, efficace, flexible, généreuse, honnête, humaine, humble, inspirante, rentable, sécurisante et stratégique.

Pourquoi prendre juste des qualités ?

Étant donné que les agences se trouvent classées de 1 à 97 pour chaque qualité, le fait qu’il s’agisse de qualité ou défaut n’allait rien changer.  L’agence qui a le plus faible résultat pour une qualité donnée a nécessairement, comparer aux autres agences, le défaut associé. Offrir des qualités et des défauts entremêlés aurait rendu les questions plus complexes. et potentiellement les agences non aimées aurait été systématiquement associé à n’importe quel défaut. Finalement, on pensait que PubMtl allait déranger certaines agences, le fait de ne demander que des qualités allait mettre du lubrifiant sur la friction sans pour autant nuire aux résultats.

Est-ce que c’est un sondage traditionnel ?

Il a été décidé de ne pas exiger aux mêmes personnes de qualifier les 97 agences pour considérer leur réponses. La méthode à relai a été préconisée. Là où un répondant arrête, le suivant qui a le même profil (métier et langue) continue le questionnaire qui est construit en boucle.

Pourquoi telles qualités sont proposées à telle agence et pas à l’autre ?

Suite aux pré-tests, il a été établi de proposer quatre qualités à la fois, par agence. Un algorithme a été développé pour s’assurer cependant que les 14 qualités soient proposées à chaque agence et que chaque qualité soit proposée un nombre équivalent de fois dans les quatre positions. 101 affichages assuraient toutes les possibilités. 101 affichages par agence. Cette permutation a été développée pour minimiser l’influence d’une qualité sur l’autre.

Qu’est-ce qui a déterminé l’ordre des agences ?

Un ordre aléatoire a été généré avant la mise en ligne. Le premier visiteur s’est fait offrir la première agence, puis la deuxième, jusqu’au moment où il s’est arrêté. Le deuxième visiteur commence sa liste là où le dernier l’a laissé.  Ainsi, chaque agence potentiellement qualifiée est assurée du même nombre de chances.

Comment être certain de la qualité des réponses ?

On n’est jamais certain. Comme tout exercice de ce type, on a fait tout pour minimiser les réponses forcées, truquées. Les répondants ont la possibilité de déclarer qu’ils ne connaissaient pas une agence ou qu’elle n’a aucune des quatre qualités proposées. Les répondants ne choisissant ni l’agence à qualifier, ni les quatre qualités proposées, il est dès lors très difficile de répéter une réponse pour influencer les résultats. Finalement, une détection de chorégraphies de triche est mis en place pour éliminer les mauvaises données. Un échantillon assez grand devient finalement le meilleur moyen d’améliorer la qualité des réponses.

Comment enregistrez-vous les résultats ?

Quatre qualités sont proposées par agence, disons Q1, Q2, Q3, Q4 pour une agence donnée A1.

A1 prend une impression (I) de plus, (I) =  (I) + 1.  Si le répondant déclare qu’il ne connait pas l’agence, la variable  « non reconnu » (N) est incrémenté de 1, (N) =  (N) + 1. Ainsi pour établir si une agence est connue, l’index est basé sur (I)-(N)/(I) lors de la requête.  Au moment d’écrire ces lignes je me rends compte que nous avons commis une erreur dans ce calcul.  Les 144 personnes qui ont fait plus qu’une fois le tour des 97 agences, ont pu requalifier les agences sans pour autant dire qu’ils ne les connaissent pas. Ainsi, ces super-répondants ont pu influencer l’ensemble des données pour cet index. Nous corrigerons et publierons la rectification si nécessaire.

Dès qu’une qualité est choisie,  les impressions pour chaque qualité est incrémentée :  (Q1)(I) = (Q1)(I) + 1, etc.  La qualité choisie a la variable « choisie » (C) qui est incrémentée.  Un index peut alors être géré en divisant les Choisis par les Impressions pour une agence et qualité donnée.

Pour simplifier imaginons une seule agence, 4 qualités possibles, et on en montre deux à chaque fois. Imaginons que la Q1 est celle qui lui correspond le mieux, Q2 un peu, Q3 pas vraiment et Q4 pas du tout.   Les questions seraient posées dans l’ordre suivant :

Q1 ou Q2 (Q1 est choisi)
Q3 ou Q1 (Q1 est choisi)
Q1 ou Q4 (Q1 est choisi)
Q2 ou Q3 (Q2 est choisi)
Q2 ou Q4 (Q2 est choisi)
Q4 ou Q3 (Q3 est choisi)

Ça donne 3 impressions chacune. Q1 à été choisi 3 fois sur une possibilité de 3, soit un index de 1,00, Q2 de 2 fois sur trois pour un index de 0,66, Q3 de 0,33 et Q4 n’a jamais été choisi et a donc un index de 0. La moyenne des index est à 0,5 ce qui est normal étant donné que le répondant devait poser un choix sur deux possibilités.

Quand un répondant choisi « aucune de ces qualités », il passe à la prochaine question.   Le système se souvient du choix, mais n’a pas affecté l’index des qualités non choisies. Ainsi nous éliminons les décisions facile du type « pas de qualité peu importe laquelle ». L’index de popularité reste possible à mesurer, mais le système reste intègre. Le système reconnait quelle qualité est plus représentative par rapport aux autres et non dans l’absolu.

Comment générez-vous les résultats ?

Sur PubMtl trois types de résultats sont affichés : les qualités d’une agence, la comparaison des qualités entre deux agences et l’ordre des agences pour chacune des qualités.

Les qualités d’une agence sont représentées sous la forme d’un arbre, où la grosseur de chaque qualité est déterminée par son index.  Une agence dont tous les index de qualité se ressemblent, les mots seront de la même grosseur.  À l’Opposée, une agence très « typée » aura une grande variation dans la grosseur des qualités. Un petit jeu graphique a été ajouté dans ce résultat : l’index « flexible » influence la redistribution des mots. Moins l’agence est flexible, plus la distribution ressemble systématiquement à un grand V, plus elle est considéré comme flexible, plus la distribution est aléatoire et irrégulière. Il s’agit d’une simple exploration dans la démonstration des résultats.

L’interface de comparaison de deux agences est tout spécialement conçu pour bien exploiter la nature relative du site. L’interface déplace ici les qualités sur un axe horizontal. Les qualités que se trouvent au milieu ont un index similaire pour les agences comparées. Que cet index soit haut ou bas. Plus la différence entre les deux index est forte, plus le mot sera éloigné du centre, le déplacement se faisant en direction de l’agence qui a plus le haut index. La redistribution est étirée au maximum de la largeur de l’interface afin d’être le plus visible possible. La ligne horizontale n’étant pas graduée, c’est vraiment la distance relative qui est ici représentée.

La comparaison de toutes les agences pour une qualité donnée est sans doute la moins riche des trois. Ici, la différence relative des index sont gommés pour ne garder que l’ordre. La moyenne des index par agence étant le même, chacun a sa chance. Le visiteur peut choisir une qualité puis déplacer le curseur pour voir les agences de la première à la dernière.

Pourquoi je ne vois pas toutes les agences?

Les résultats sont limités aux seules agences connues et qualifiées par un répondant donné.  Cette approche a pour premier but d’encourager les répondants à qualifier le plus d’agences possibles. Elle améliore aussi l’expérience usager : si quelqu’un ne connait que 10 agences, ses résultats seront alors limités à celles-ci. Cette relativité des résultats est dans l’esprit de PubMtl. La plus créative des agences qu’on connait est plus pertinent que la plus créative parmi celles qu’on ne connait ou pas. Cette approche nuit par contre à la découverte de nouvelles agences. Nous considérons présentement différents modèles pour ouvrir l’accès tout en continuant d’enrichir la base de données.

Y’a eu combien de monde? De réponses? D’échantillons?

Les chiffres suivant étaient valides vendredi 7 octobre 2011 à 17 hre.

Nombre de questions (1 agence, 4 qualités) posées : 123 287
Nombre de questions avec la réponse « je ne connais cette agence » : 72 637
Nombre de questions répondues avec au moins une des 4 qualités : 38 974
Nombre de questions répondues avec « aucune de ces qualités » : 14 676
Nombre de répondants : 3 031