7.5 KiB
Méthodes numériques
Diego Antolinos Basso
-
Research software engineer à l'AJM
-
Formation de linguiste-informaticien
-
Je code pour des chercheurs en sciences sociales
Cours IA et outils numériques
Merci à Nicolas Becquet et Antonin Descampe
-
Excel et les données tabulaires
-
Flourish, Datawrapper et la visualisation
-
Google Colab et les Jupyter notebooks en Python
-
Exercice : analyser -> visualiser -> mettre en récit
Objectifs
-
Explorer d'autres méthodes numériques
-
Préciser les étapes d'un travail sur des données
-
Démystifier et pointer les pièges à éviter
Plan
-
Définitions
-
Données
-
Étapes
-
Panda
-
Outils
-
Discussion
Disclaimer
- Premier cours à l'AJM
- Premier cours en Suisse
- Pas mon premier cours pour autant
Définitions
Méthodes wat ?!
"Méthode" comme dans méthode scientifique
Un procédé d'investigation qui recquiert l'observation, la classification, l'hypothèse et la vérification, et qui permet de chercher la vérité
Numériquoi ?!
"Numérique" en français, "digital" en anglais
Lié aux humanités numériques. Généralement entendu comme "qui utilise un ordi, des données".
Pas une réalité claire, mais un ensemble varié de pratiques liées à l'utilisation d'ordinateurs dans des disciplines traditionnellement "papier-crayon".
Méthodes numériques
Mot-valise qui recouvre de nombreuses techniques et outils d'analyse de données de tous types
Du simple tableau Excel au "pipeline" complexe d'analyses utilisant du code informatique
Données
Différents types de données impliquent différents outils, hypothèses, traitements, résultats...
Tableau de chiffres
Entretien retranscrit
- Locuteur A : Alors moi, perso, quand je travaillais à <Entreprise 1> j'ai eu à gérer plusieurs cas assez bordeline <inaudible> ça impliquait toujours la même personne
- Locuteur B : <rires> Je serais intéressé par connaître le profil de la personne !
- <Question de relance B.4>...
Carte
Données geocodées
Le format JSON
Du HTML
Des images
N'importe quoi est une donnée, si ça rentre dans un algorithme et que ça donne un résultat ?
Sources journalistiques versus sources scientifiques ?
Un article et ses métadonnées
Étapes
- Formulation d'hypothèses
- Identification des sources
- Collecte des données
- Exploration et contrôle
- Choix des outils adaptés
- Filtrage et enrichissement
- Analyse et visualisation
- Restitution et mise à disposition
1. Formulation d'hypothèses
Les questions doivent, autant que possible, précéder l'exploration et l'analyse
Méthodes numériques =/= magie
Conseil : noter/(re)formuler vos pistes et intuitions
2. Sources
-
Sources officielles : opendata.swiss
-
Sites web : europresse, smd.ch, scraping...
-
Entrepôt de données : kaggle.com
-
Constitution manuelle de données
-
Capteurs, crowdsourcing...
3. Collecte
-
Parfois simple : télécharger un jeu de données, demander gentiment à un partenaire, ...
-
Parfois complexe : faire du scraping sur un site, constituer son jeu de données à la main, ...
-
Parfois impossible : certaines données sont inexistantes, trop couteuses, interdites, ...
-
Combien de données ? Trop ? Pas assez ?...
4. Exploration & contrôle
-
Regarder ses données, les lire, s'en "imprégner"
-
Ajuster et re-re-re-formuler ses hypothèses
-
Contrôler la qualité de ses données, l'adaptation à la tâche, les besoins d'enrichir ou de croiser
5. Choix des outils
-
Des outils libres, open source, gratuits
-
Des formats simples et ouverts : csv, json, txt
-
Un "pipeline" dimensionné correctement
-
Des outils modulaires dont on comprend les entrées / sorties / interactions
6. Filtrage & enrichissement
-
Inutile de garder des données énormes si ça n'est pas nécessaire : difficile à manipuler, ajoute des possibilités d'erreur
-
Possibilité de documenter, d'annoter, ou de joindre des données : manuellement ou à l'aide d'outils adaptés
7. Analyse & visualisation
-
Warning : "J'ai fait tourner l'outil, j'ai fini !"
-
Analyse guidée par les hypothèses : pour répondre à une question précise, outillée correctement
-
Visualisation exploratoire, analytique ou de restitution ?
8. Restitution et repartage
-
Raconter une histoire avec des données
-
Mettre autant que possible à disposition ses sources, sa méthode, ses outils, son code
+ Documentation
Tout au long d'un travail de recherche, à chaque étape, il faut documenter ses choix
Démystifier
Panda
Un exemple concret
Le projet Panda
Pandemic Data : Production, diffusion et compréhension des données en temps de pandémie
Données
-
~180k articles - 5 partenaires médias - 3 ans
-
~40 entretiens qualitatifs
-
3 expériences contrôlées sur la perception des données (N=600)
Hypothèses
Les manières dont les chiffres, les statistiques et les dataviz sont utilisées dans les articles de presse nous informent sur les pratiques journalistiques
Durant la pandémie, il est important de comprendre ces usages et pratiques en regard des / en rapport avec les "chiffres officiels"
Les communiqués de presse sont une donnée officielle, régulière, fiable, et disponible, qui permet d'enrichir nos données principales (les articles)
Admin.ch
Un site gouvernemental cassé parmi tant d'autres
Les données sont consultables en lignes, mais pas téléchargeables
Scraping et mise en forme
Le scraping permet de récupérer des données structurées depuis un site internet
Attention le code est souvent "ad-hoc" : il faut analyser le html pour structurer ses données de sorties
Analyse de texte
On répère avec un algorithme simple des mots-clés dans les texte pour catégoriser les communiqués et compter les prises de paroles officielles sur les sujets "covid"
Visualisation des résultats
Outils
Open Refine
-
Un Excel sous stéroïdes
-
Explorer, contrôler, enrichir
Voyant Tools
-
Toute l'analyse de texte lexicométrique à portée de main...presque
Open QDA
-
Analyse qualitative, codage d'entretien
-
Pas de fonction d'analyses/visualisations avancées
Raw Graphs
-
Le cours Data d'Andrew R. !
-
Un outil / plein de dataviz
Démystifier encore
Ça paraît beaucoup, mais c'est faisable
Ça paraît facile, mais pas d'emportement
Soyez confiant-e mais raisonnable, et demandez conseil : diego.antolinos@unine.ch
Un travail outillé n'est pas meilleur
Utiliser de nouvelles méthodes demande rigueur
On abandonne pas la déontologie en chemin