Social Impacts of Visual Disinformation

Researchers

Ganaele Langlois (York),
Fenwick McKelvey (Concordia),
Wendy Chun (SFU),
Greg Elmer (Ryerson),
Patricio Davila (York)

Funding

Funding provided by Heritage Canada’s Digital Citizenship Initiative

Our project saw the development of three methods and four workshops for tracking and analyzing the role played by images in flows of mis/disinformation. We developed software to undertake cluster analysis and visualization of large datasets of political images from social media platforms that enabled us in particular to track and use and spread of memes by different political communities on Facebook, Twitter, Reddit and 4Chan. We developed a coding schema to analyze the rhetoric of images in relation to mis/disinformation and that will be used to develop machine learning analytical tools. We developed a participatory methodology for users to identify and track the affective and emotional impact of images they are constantly seeing online. Altogether, these tools and methods highlight that misinformation operates very differently via images than text, cultivating emotional and affective reactions rather than cognitive ones that then orient how users perceive different political discourses.

Notre projet nous a permis de développer trois méthodes et quatre ateliers dédiés au traçage et à l’analyse du rôle joué par les images dans les flux de mésinformation. Nous avons développé un logiciel d’analyse par grappe de bases de données d’images politiques collectées sur des plates-formes de réseautage. Cela nous a permis de tracer et de comprendre l’utilisation des mèmes par différentes communautés politiques sur Facebook, Twitter, Reddit et 4Chan. Nous avons développé un schéma d’analyse de la rhétorique de la mésinformation par les images qui nous servira de base pour créer des outils d’analyse par apprentissage automatique. Nous avons développé une méthode participative qui permet aux utilisateurs d’identifier et de prendre note des impacts affectifs et émotionnels des images en ligne. Dans leur ensemble, ces outils et méthodes montrent que la mésinformation par les images diffère considérablement de la mésinformation textuelle, en particulier parce qu’elle cultive des réactions émotionnelles et affectives plutôt que des changements cognitifs, réactions qui orientent les perceptions des utilisateurs par rapport aux différents discours politiques auxquels ils/elles sont confronté(e)s.