Un des bienfaits d’une expérience comme buzzz.tv, c’est de pouvoir explorer des chiffres rapidement, et de manière amusante. Un exemple.

À la fin du débat, les 3 chefs bénéficiaient d’un temps de parole égal et exclusif. Puisque nous connaissons au départ les intentions de vote des participants, il est possible d’examiner les données en relation avec le biais prévisible, en affichant uniquement les votes des partisans d’un parti à la fois.

Il est donc intéressant de voir quels sont les partisans qui ont voté inconditionnellement pour les chefs de leurs partis préférés, et lesquels ont été plus modérés dans leurs opinions et ouverts à considérer comme positive la performance d’un chef adverse. Voyons voir qui est le plus polarisé dans ses opinions, et qui l’est moins.

Graphique pour l’ADQ

On voit en haut le moment où Mario Dumont parle (bande horizontale verte), Jean Charest (bande rouge) et Pauline Marois (en bleu). Les bandes verticales vertes représentent les votes positifs, en rouge les votes négatifs.

On remarque que les partisans déclarés de l’ADQ ont voté majoritairement pour Dumont (normal), mais ont donné aussi quelques notes positives aux deux autres chefs. Plus de négatif que de positif, mais tout de même du positif. Polarisation moyenne.

Graphique du PLQ

Jean Charest est en rouge, et est majoritaire. Mais on observe aussi plusieurs votes positifs pour Mme. Marois, et des votes négatifs pour Charest. Les partisans du PLQ sur buzzz.tv répartissent donc davantage leurs votes que ceux de l’ADQ. Polarisation faible! (ou du moins la plus faible des trois partis.)

Graphique du PQ

Pauline Marois est ici en bleu. Les partisans du PQ ont très fortement voté pour leur chef, et très négativement pour les deux autres chefs. À la différence des deux autres chefs, presque aucun partisan du parti n’a voté contre son chef. Polarisation forte! (ou du moins la plus forte des trois partis.)

Conclusion

Je ne conclus rien, mais constate que les partisans du PQ présents sur buzzz.tv semblaient plus polarisés que ceux des 2 autres partis, et que ceux du PLQ semblaient plus modérés.

Est-ce que la campagne actuelle ne serait pas moins endormante si vous pouviez faire savoir aux politiciens ce que vous pensez de leurs déclarations, et le faire en direct en plus?

Alors ne manquez pas d’essayer buzzz.tv ce soir, pendant le débat des chefs. Vous pourrez alors, par le biais de votre ordinateur, de votre iPod Touch ou de votre iPhone, exprimer ce que vous condidérez comme un bon coup, ou de la bull… Enfin, vous me comprenez.

L’application affichera en direct les résultats des votes de tous ceux qui participeront, ce qui permettra de voir si vous êtes le seul à penser comme vous le faites, ou si votre perception est partagée. C’est plutôt amusant de le voir, et on se prend au jeu, croyez-moi!

Radio-Canada sera un partenaire de cette initiative, en permettant un accès différent pour deux panels de participants différents de la population.

MAJ : toutes les stats issues de buzzz.tv sont disponibles ici, après quelques traitements pour les rendre utilisables.

La semaine passée s’est déroulée l’expérience buzzz.tv, dont j’ai déjà parlé ici. Puisque les responsables du projet ont été assez gentils pour publier les données, j’ai demandé à un ami crac d’Excel de traiter les données pour les rendre plus intelligibles.

J’ai donc utilisé les données disponibles pour effectuer différents calculs, et ensuite utilisé ManyEyes pour illustrer les résultats.

Ce qui m’intéressait particulièrement, c’était de comparer l’appréciation de l’audience pour chacun des politiciens, selon les thèmes, ou de connaître le solde total des votes pour chaque politicien. Ainsi, il devenait possible d’illustrer qui, pour chaque thème, avait été apprécié, ou s’était planté et qui, globalement, remportait la palme.

AVERTISSEMENT: Évidemment, ces données ne sont ni représentatives, ni scientifiques. De toute évidence, les utilisateurs du système présents lors du débat avaient un biais anti-Harper, et pro-Layton. Elles illustrent cependant quelques possibilités de visualisation des données issues du système Buzzz.tv. Ne jugez donc pas de la validité des résultats, mais plutôt des possibilités d’analyse et visualisation avec des données qui seraient valides.

Votes positifs selon les thèmes, par chefs de partis.

Ce graphique montre le nombre total de votes positifs accordés par l’audience du débat, selon les thèmes abordés lors du débat. Il vous est possible de cliquer sur chaque bulle pour voir le détail des données. (Page du graphique sur ManyEyes)

Moments forts selon les thèmes

L’audience apprécie-t-elle les thèmes du débat, ou ce qui s’y passe? Quels furent les moments forts du débat, et à quels thèmes sont-ils reliés? Ce graphique montre à quel moment du débat le bouton “Moment fort” fut davantage utilisé. (Page du graphique sur ManyEyes)

Degré d’engagement de l’audience selon les thèmes

Bien que l’utilisation du bouton “Moment fort” montre un certain intérêt, le total des interactions avec le système (Votes Pour, Contre et Moment Fort) est lié au degré d’engagement de l’audience avec le débat. Lors de quels thèmes l’audience s’est-elle sentie suffisamment interpellée pour voter, peu importe le vote? Ce graphique illustre le total des votes selon les thèmes abordés. (Page du graphique sur ManyEyes)

Solde total des votes: qui a gagné?

Bien que la ventilation des votes selon les thèmes soit une donnée intéressante à étudier, LA question que tout le monde se pose au lendemain d’un débat est: alors, qui a gagné? Ce graphique permet de voir le solde de tous les votes de la soirée, tous thèmes confondus. (Page du graphique sur ManyEyes)

J’avais prévu passer une petite soirée tranquille chez moi.

Finalement, je me retrouve à nouveau au war room de buzzz.tv, à m’amuser comme un petit fou. Ce soir, tout baigne: plus de 450 participants et le serveur semble bien au frais, le temps de réponse est excellent!
On s’amuse comme des petits fous, on se croirait à un LAN party. Mais on boit du cognac au lieu de bière cheap comme au cégep… ;)

Le point de vue d’un observateur privilégié

J’ai eu la chance de côtoyer les gens d’iXmédia au cours des derniers jours, et d’observer la couverture médiatique gonfler à propos de buzzz.tv. Au point de provoquer, comme vous l’avez peut-être constaté, une rupture des serveurs au début de l’expérience. Victimes de leur succès: on aura connu de pires sorts pour ce qui s’avère autrement une expérience très intéressante aux plans politique et statistique.

Pour iXmédia, les retombées médiatiques sont absolument fantastiques. Ne serait-ce que pour affirmer leur leadership dans l’industrie et attirer l’attention de clients potentiels, le jeu en valait la chandelle. Il faudra maintenant transformer le tout en revenus, mais ça, c’est une autre histoire que je leur laisse le soin d’écrire eux-mêmes.

Bien que je ne sois pas tout à fait d’accord avec Yves Williams qui nous parle de la “sagesse des foules” de la perception des groupes vs la perception des experts (j’élabore un peu plus bas), buzzz.tv nous montre qu’il est possible d’interagir en temps quasi réel avec la télévision. Que la configuration particulière utilisée par iXmédia pour la version ultra-beta de l’application aie flanché n’a pas d’importance: le graphique obtenu en fin de soirée permet de faire parler les données d’une manière très éloquente.

Des données valides?

Personne n’a jamais prétendu que l’échantillon recruté hier soir par buzzz.tv était représentatif de quoi que ce soit. Les premiers utilisateurs du système sont des “early adopters”, et font dans ce cas en forte proportion d’un groupe de techies, de blogueurs, de commentateurs politiques amateurs, mais néanmoins très enthousiastes.

Que les données montrent une polarisation et un parti-pris pour un parti ou un autre est donc normal. Les concepteurs du système ont eu l’humilité et la réalisme de présenter leur création comme une expérience sans prétention scientifique.

Il sera néanmoins intéressant de suivre l’évolution des tendances au fur et à mesure que le nombre de répondants pourra augmenter. S’il est facile de manipuler les résultats d’un échantillon de 200 personnes (j’ai lu qqpart une référence au “paquetage d’assemblée”, une vieille tactique partisane), cela devient plus complexe et plus dangereux avec un groupe de 10000 personnes.

La mise à l’échelle de buzzz.tv et des descendants que cette idée ne manquera pas de générer permettra donc d’atténuer les risques de manipulation, et donc d’améliorer la représentativité de l’échantillon.

La sagesse des foules, et les foules d’experts

Évidemment, quand on parle de web collaboratif ou 2.0, il est inévitable que l’expression “sagesse des foules ” soit utilisée. James Surowiecki, dans son bouquin “The Wisdom of Crowds“, explique le phénomène:

“De grands groupes de gens sont plus brillants (’smarter’) qu’une petite élite, aussi brillante soit-elle. Meilleure à résoudre des problèmes, à promouvoir l’innovation, à prendre des décisions éclairées et même à prédire l’avenir” (citation de commentaire de Jacques, sur le blogue de Yves Williams)

Il s’avère cependant, à l’examen et après que plusieurs études ont essayé de valider cette théorie, que la thèse de Surowiecki souffre de plusieurs défauts. Je recommande la lecture d’”Infotopia: How many minds produces knowledge” à quiconque serait tenté d’accepter pour monnaie courante la théorie de la sagesse des foules. L’auteur y fait la démonstration, basée sur les résultats d’études et non d’anecdotes, des forces et faiblesses de cette théorie.

En gros, ce qu’il faut retenir, c’est qu’une petite foule d’experts, une fois protégée des biais politiques ou de la peur de la perte de réputation qui vient avec le fait d’être interviewé en direct devant des millions de spectateurs, obtient systématiquement de meilleurs résultats qu’une grande foule de M. Tout-le-monde lorsqu’il s’agit de prévoir le résultat de quoi que ce soit. Comme d’une élection, par exemple.

Autrement dit, offrez l’anonymité et la liberté de s’exprimer à 200 journalistes spécialisés en politique grâce à une plateforme comme buzzz.tv, et leur appréciation d’un débat comme celui d’hier offrira à tout coup des résultats plus parlants que ceux de 200 quidams, malgré toute mon appréciation personnelle pour lesdits quidams, et mon respect pour les aspects collaboratifs du Web.

Néanmoins, le “wisdom of crowds” reste un concept très intéressant, capable d’expliquer plusieurs phénomènes et devant être pris en compte, mais avec quelques bémols pour assurer une bonne compréhension des données issues de telles expériences.

Je serais donc vraiment très curieux et intéressé de voir les résultats d’une expérience comme buzzz.tv avec un échantillon de 200 experts d’un sujet. Et on réglerait du même coup la question de la capacité de serveurs!

Quelles évolutions?

Je le répète, je n’ai pas fait partie de l’équipe qui a conçu et créé buzzz.tv. J’ai seulement la chance de les côtoyer au quotidien, d’être parfois sollicité pour répondre à des questions qui relèvent de mes compétences, et surtout de pouvoir leur poser des questions. J’étais aussi présent hier soir dans le “war room” improvisé chez Clément, pour participer à l’expérience. (Photos et vidéos ici). Par conséquent, je suis le seul responsable des élucubrations suivantes, et si elles vous semblent ridicules ou infaisables, je suis le seul à blâmer.

• Comme dit plus haut, pourquoi ne pas offrir un accès différent à un groupe d’experts d’un sujet? La comparaison des résultats avec ceux de la population serait très intéressante, et la différence entre les résultats du panel d’experts et les analyses réalisées par ceux-ci de manière individuelle permettrait d’explorer le phénomène de distortion dû à l’anonymité et la pression sociale.
• Maintenant que Greg a montré qu’il est possible de marier les données de buzzz.tv avec la géographie en seulement quelques heures de travail, il serait donc possible pour les responsables des partis de voir où les opinions de leurs chefs rencontrent de la résistance ou comblent l’auditoire, et sur quelles questions précisément.
• Pourquoi ne pas étendre l’utilisation de buzzz.tv aux publicités? Lors du premier test au cours de l’émission TLMEP, j’ai été frappé de constater le silence des votants pendant les pubs. Normal, on leur avait donné comme consigne de voter sur les débats entre participants à l’émission. Et si on leur donnait aussi comme consigne de montrer leur appréciation des publicités? Je pense que ces données seraient très intéressantes pour les marques qui les proposent.
• En superposant le graphique en temps réel au vidéo d’un débat, un réseau de télévision aurait un outil considérable pour montrer à l’auditoire comment réussissent les débatteurs. Évidemment, les débatteurs pourraient se servir des résultats en temps quasi réel pour modifier leurs discours. Ce qui aurait de bons et de mauvais côtés si on pense aux implications philosophiques et politiques, mais qui aurait le mérite de limiter les effets les “spins” excessivement positifs servis aux journalistes après une contre-performance d’un débatteur.

Je me suis amusé à réaliser une petite maquette schématique non exhaustive de ce dont pourrait avoir l’air un buzzz.tv intégré à l’écran d’une télévision, ou publié après le débat sur le site Web d’un média:

Buzzz.tv superposé au vidéo d'un débat?

Je me demande qui sera le premier à essayer ce qui me semble maintenant inévitable.

Et merde à la gang d’iXmédia qui a eu le guts d’essayer de créer qqch alors que la plupart des gens ne font qu’en parler. Un magnifique apprentissage de plus, et kudos pour les retombées publicitaires!