Le point de vue d’un observateur privilégié
J’ai eu la chance de côtoyer les gens d’iXmédia au cours des derniers jours, et d’observer la couverture médiatique gonfler à propos de buzzz.tv. Au point de provoquer, comme vous l’avez peut-être constaté, une rupture des serveurs au début de l’expérience. Victimes de leur succès: on aura connu de pires sorts pour ce qui s’avère autrement une expérience très intéressante aux plans politique et statistique.
Pour iXmédia, les retombées médiatiques sont absolument fantastiques. Ne serait-ce que pour affirmer leur leadership dans l’industrie et attirer l’attention de clients potentiels, le jeu en valait la chandelle. Il faudra maintenant transformer le tout en revenus, mais ça, c’est une autre histoire que je leur laisse le soin d’écrire eux-mêmes.
Bien que je ne sois pas tout à fait d’accord avec Yves Williams qui nous parle de la “sagesse des foules” de la perception des groupes vs la perception des experts (j’élabore un peu plus bas), buzzz.tv nous montre qu’il est possible d’interagir en temps quasi réel avec la télévision. Que la configuration particulière utilisée par iXmédia pour la version ultra-beta de l’application aie flanché n’a pas d’importance: le graphique obtenu en fin de soirée permet de faire parler les données d’une manière très éloquente.
Des données valides?
Personne n’a jamais prétendu que l’échantillon recruté hier soir par buzzz.tv était représentatif de quoi que ce soit. Les premiers utilisateurs du système sont des “early adopters”, et font dans ce cas en forte proportion d’un groupe de techies, de blogueurs, de commentateurs politiques amateurs, mais néanmoins très enthousiastes.
Que les données montrent une polarisation et un parti-pris pour un parti ou un autre est donc normal. Les concepteurs du système ont eu l’humilité et la réalisme de présenter leur création comme une expérience sans prétention scientifique.
Il sera néanmoins intéressant de suivre l’évolution des tendances au fur et à mesure que le nombre de répondants pourra augmenter. S’il est facile de manipuler les résultats d’un échantillon de 200 personnes (j’ai lu qqpart une référence au “paquetage d’assemblée”, une vieille tactique partisane), cela devient plus complexe et plus dangereux avec un groupe de 10000 personnes.
La mise à l’échelle de buzzz.tv et des descendants que cette idée ne manquera pas de générer permettra donc d’atténuer les risques de manipulation, et donc d’améliorer la représentativité de l’échantillon.
La sagesse des foules, et les foules d’experts
Évidemment, quand on parle de web collaboratif ou 2.0, il est inévitable que l’expression “sagesse des foules ” soit utilisée. James Surowiecki, dans son bouquin “The Wisdom of Crowds“, explique le phénomène:
“De grands groupes de gens sont plus brillants (’smarter’) qu’une petite élite, aussi brillante soit-elle. Meilleure à résoudre des problèmes, à promouvoir l’innovation, à prendre des décisions éclairées et même à prédire l’avenir” (citation de commentaire de Jacques, sur le blogue de Yves Williams)
Il s’avère cependant, à l’examen et après que plusieurs études ont essayé de valider cette théorie, que la thèse de Surowiecki souffre de plusieurs défauts. Je recommande la lecture d’”Infotopia: How many minds produces knowledge” à quiconque serait tenté d’accepter pour monnaie courante la théorie de la sagesse des foules. L’auteur y fait la démonstration, basée sur les résultats d’études et non d’anecdotes, des forces et faiblesses de cette théorie.
En gros, ce qu’il faut retenir, c’est qu’une petite foule d’experts, une fois protégée des biais politiques ou de la peur de la perte de réputation qui vient avec le fait d’être interviewé en direct devant des millions de spectateurs, obtient systématiquement de meilleurs résultats qu’une grande foule de M. Tout-le-monde lorsqu’il s’agit de prévoir le résultat de quoi que ce soit. Comme d’une élection, par exemple.
Autrement dit, offrez l’anonymité et la liberté de s’exprimer à 200 journalistes spécialisés en politique grâce à une plateforme comme buzzz.tv, et leur appréciation d’un débat comme celui d’hier offrira à tout coup des résultats plus parlants que ceux de 200 quidams, malgré toute mon appréciation personnelle pour lesdits quidams, et mon respect pour les aspects collaboratifs du Web.
Néanmoins, le “wisdom of crowds” reste un concept très intéressant, capable d’expliquer plusieurs phénomènes et devant être pris en compte, mais avec quelques bémols pour assurer une bonne compréhension des données issues de telles expériences.
Je serais donc vraiment très curieux et intéressé de voir les résultats d’une expérience comme buzzz.tv avec un échantillon de 200 experts d’un sujet. Et on réglerait du même coup la question de la capacité de serveurs!
Quelles évolutions?
Je le répète, je n’ai pas fait partie de l’équipe qui a conçu et créé buzzz.tv. J’ai seulement la chance de les côtoyer au quotidien, d’être parfois sollicité pour répondre à des questions qui relèvent de mes compétences, et surtout de pouvoir leur poser des questions. J’étais aussi présent hier soir dans le “war room” improvisé chez Clément, pour participer à l’expérience. (Photos et vidéos ici). Par conséquent, je suis le seul responsable des élucubrations suivantes, et si elles vous semblent ridicules ou infaisables, je suis le seul à blâmer.
- Comme dit plus haut, pourquoi ne pas offrir un accès différent à un groupe d’experts d’un sujet? La comparaison des résultats avec ceux de la population serait très intéressante, et la différence entre les résultats du panel d’experts et les analyses réalisées par ceux-ci de manière individuelle permettrait d’explorer le phénomène de distortion dû à l’anonymité et la pression sociale.
- Maintenant que Greg a montré qu’il est possible de marier les données de buzzz.tv avec la géographie en seulement quelques heures de travail, il serait donc possible pour les responsables des partis de voir où les opinions de leurs chefs rencontrent de la résistance ou comblent l’auditoire, et sur quelles questions précisément.
- Pourquoi ne pas étendre l’utilisation de buzzz.tv aux publicités? Lors du premier test au cours de l’émission TLMEP, j’ai été frappé de constater le silence des votants pendant les pubs. Normal, on leur avait donné comme consigne de voter sur les débats entre participants à l’émission. Et si on leur donnait aussi comme consigne de montrer leur appréciation des publicités? Je pense que ces données seraient très intéressantes pour les marques qui les proposent.
- En superposant le graphique en temps réel au vidéo d’un débat, un réseau de télévision aurait un outil considérable pour montrer à l’auditoire comment réussissent les débatteurs. Évidemment, les débatteurs pourraient se servir des résultats en temps quasi réel pour modifier leurs discours. Ce qui aurait de bons et de mauvais côtés si on pense aux implications philosophiques et politiques, mais qui aurait le mérite de limiter les effets les “spins” excessivement positifs servis aux journalistes après une contre-performance d’un débatteur.
Je me suis amusé à réaliser une petite maquette schématique non exhaustive de ce dont pourrait avoir l’air un buzzz.tv intégré à l’écran d’une télévision, ou publié après le débat sur le site Web d’un média:
Buzzz.tv superposé au vidéo d'un débat?
Je me demande qui sera le premier à essayer ce qui me semble maintenant inévitable.
Et merde à la gang d’iXmédia qui a eu le guts d’essayer de créer qqch alors que la plupart des gens ne font qu’en parler. Un magnifique apprentissage de plus, et kudos pour les retombées publicitaires!
Tags: buzzz.tv
Par courriel:
11 commentaires ↓
Une autre “retombée” pour iXmedia: le recrutement! Ça donne envie de déménager à Québec!
Qui a parlé de la “Sagesse des foules” ? Surement pas moi. Ça ne fait pas vraiment parti de mon vocabulaire. C’est d’ailleurs une de ces expressions prohibées dans ma bouche et sur mon clavier.
Ce que je disais, c’est qu’à la suite du débat les analystes politiques qui essayaient de déterminer qui avaient “gagné” parmi les chefs m’apparaissaient tout-à-coup complètement impertinents par rapport à ce que j’avais vu sur Buzzz.tv. J’en déduisais donc que la “perception” des 3 analystes, malgré leur spécialité et leur compétence (et peut-être même à cause du biais de cette spécialité et de cette compétence), ne pouvait probablement pas être à la hauteur pour évaluer spontanément ce que “percevait” les auditeurs, et comment se traduirait cette “perception” sur les intentions de votes. Les mieux placés étant ceux-là même qui vont allés aux urnes.
Les sondages qui sont parus quelques heures après le débat qui mesuraient justement cette perception chez les électeurs, sont d’ailleurs beaucoup plus près de ce que révélaient Buzzz que des analystes. Même avec un échantillon non représentatif.
C’est la raison pour laquelle j’ai bien hâte de voir la même expérience réalisée avec un échantillon représentatif ou auprès d’une très large audience. L’expérience nous révélerait bien plus sa valeur… et bien sûr, ces nombreuses limites.
Un très grand bravo! Sincèrement. De l’excellent boulot.
Yves,
C’est la citation “Perception pour perception, la somme des perceptions des participants est probablement plus juste que la perception des analystes” qui a déclenché ma réflexion sur la sagesse des foules. Je suis heureux de voir que tu partages le même point de vue que moi à ce sujet! J’aurais cependant dû être plus clair: je ne voulais pas laisser entendre que tu soutenais cette théorie, mais bien que tu y faisais allusion indirectement. Je vais donc modifier un peu le libellé du lien pour éviter les mauvaises interprétations. :)
J’ai aussi discuté ce matin avec mon collègue Éric de l’étiquette “d’analystes” dont ont été affublés Denis Coderre et consorts lors de l’émission post-débat à RDI. On ne peut pas accorder de crédibilité à une analyse faite par un panel non seulement partisan mais dont les membres faisaient carrément partie des formations politiques concernées. Tout au plus, nous aurons eu droit à un deuxième débat.
Je n’ai malheureusement pas été parmi les privilégié-e-s qui ont pu vivre l’expérience buzzz.tv. Mais je trouve le concept particulièrement intéressant d’un point de vue démocratique.
Cela dit, je vous invite à la prudence lorsque vous utilisez les mots “échantillons représentatifs”. Même si 10 000 personnes avaient pu se brancher, nous n’aurions eu aucune garantie d’un échantillon représentatif. Petite remarque en passant pour éviter aussi les mauvaises interprétations… ;)
Merci Julie. Je pensais avoir été clair quant à la non représentativité de l’échantillon: “Personne n’a jamais prétendu que l’échantillon recruté hier soir par buzzz.tv était représentatif de quoi que ce soit.”
Cependant, je mentionne également que l’augmentation du nombre de participants améliorera sa représentativité. Évidemment, un échantillon plus élevé a plus de chances d’être représentatif qu’un échantillon plus petit: cependant, même si l’échantillon atteint 10000 personnes, il ne sera représentatif que quand quand tous les biais seront éliminés.
Plus représentatif? Oui. Vraiment représentatif? Absolument pas. C’est une distinction importante, merci de la souligner.
Twitter + TV http://current.com/topics/88834922_hack_the_debate
Merci Olivier. Ayoye, méchante intégration Web/télé ça!
Je reviens une dernière fois sur la notion de représentativité… Il faut juste faire attention, notamment lorsque tu dis : “Plus représentatif? Oui.” En fait, un échantillon de 300 personnes peut être plus représentatif qu’un échantillon de 10 000 personnes. Dans ce type d’exercice (buzzz.tv), où les participants s’inscrivent volontairement, il n’y a aucun garantie d’une quelconque représentativité. Je te renvoie à l’article de mon collègue Éric sur les débuts des sondages : http://blogue.som.ca/representativite-dun-echantillon-clin-doeil-historique
Même avec 2 millions de votes, l’échantillon n’était pas représentatif. C’est exactement le même principe. Dans l’expérience buzzz.tv, il est possible qu’avec 10 000 participants, ton échantillon soit représentatif. Mais ce serait “accidentel” en quelque sorte et, de surcroît, nous ne pourrions absolument pas le savoir.
La meilleure façon de s’assurer de la représentativité d’un échantillon est la sélection aléatoire des participants. De cette manière, il est possible de dégager une marge d’erreur qui nous indique l’écart possible entre les résultats observés dans l’échantillon et la “réalité”. Or, sélectionner des participants irait probablement à l’encontre des objectifs mêmes de buzzz.tv. Conclusion : ne parlons tout simplement pas de représentativité!
Dernier élément que j’aimerais ajouter : je lisais tes plus récents “tweets” où tu mentionnais qu’il y avait hier des participants de la Chambre des communes et de l’Assemblée nationale. C’est évident que les partis politiques ont intérêt à suivre de près ce genre d’expérience. Mais il y a un risque qu’ils essaient de “paqueter” les prochains exercices (i.e. de recruter des sympathisants qui voteront en leur faveur). Dans ce cas, l’échantillon serait encore plus biaisé! Enfin, bref, le sujet est vraiment intéressant… ;)
Merci (en retard) à Michael pour cet article qui a fait ma journée quand il est paru, principalement parce qu’il traite des apprentissages que permet l’expérience buzzz.tv
Plusieurs contributions dans les commentaires viennent enrichir ces apprentissages dont ceux qui touchent la représentativité des échantillons et tous les biais qui peuvent se glisser.
Je vois très bien la technologie de buzzz.tv être utilisée dans une salle de classe ou dans un colloque ou tous les participants (à conditions qu’ils soient branchés à Internet) pourraient en temps réel s’exprimer sur ce qu’ils vivent… Le prof de cette classe ou le conférencier vivrait toute une expérience!
Malgré les limites (normales) qu’on doit considérer, je considère que le fait de donner une parole aux gens qui utilisent la télé pourrait contribuer à faire basculer ce média de passif à interactif; n’est-ce pas un filon intéressant à suivre?
Merci à tous pour votre apport dans ce projet.
[...] De tout ce qui s’est dit/écrit/lu propos de buzzz.tv cette semaine, je suis encore habité par la contribution de Michael Carpentier, un observateur privilégié des différentes péripéties des derniers jours: «Et merde la gang [...]
Laissez un commentaire