Compare commits

..

No commits in common. "67624f3c7fbb881d1b1fe64e987de86061aa8f32" and "5b462e77194825c767d2f8a436705cb58ea8e9a4" have entirely different histories.

3 changed files with 23 additions and 137 deletions

View file

@ -9,9 +9,3 @@
- Données geo json de France GeoJSON : https://france-geojson.gregoiredavid.fr/
- Exemples de JSON et XML : https://www.json.org/example.html
- Nathalie Blanc, Caroline Gallez, Éléonore Genest, Diego Antolinos-Basso, Jean chiche et Hugo Rochard, « Prendre en charge les inégalités environnementales », Développement durable et territoires [En ligne], Vol. 15, n°2 | Septembre 2024, mis en ligne le 30 septembre 2024, consulté le 23 novembre 2025. URL : http://journals.openedition.org/developpementdurable/23744 ; DOI : https://doi.org/10.4000/12hq6
- Le Public Data Lab : https://publicdatalab.org/
- La liste de diffusion Digital Humanities : https://groupes.renater.fr/sympa/arc/dh

View file

@ -42,7 +42,7 @@ _Merci à Nicolas Becquet et Antonin Descampe_
-
### Méthodes wat ?!
"Méthode" comme dans _méthode scientifique_
"Méthode" comme dans méthode scientifique
Un procédé d'investigation qui recquiert l'observation, la classification, l'hypothèse et la vérification, et qui permet de chercher la vérité
@ -51,21 +51,19 @@ Un procédé d'investigation qui recquiert l'observation, la classification, l'h
### Numériquoi ?!
"Numérique" en français, "digital" en anglais
Lié aux _humanités numériques_. Généralement entendu comme "qui utilise un ordi, des données".
Pas une réalité claire, mais un ensemble varié de pratiques liées à l'utilisation d'ordinateurs dans des disciplines traditionnellement "papier-crayon".
Intimement lié à la définition des humanités numériques. Généralement entendu comme "qui utilise un ordi", les "digits" étant les 0/1 du code informatique.
-
### Méthodes numériques
Mot-valise qui recouvre de nombreuses techniques et outils d'analyse de données de tous types
Mot-valise qui recouvre de nombreuses techniques et outils d'analyse de données de tous types (quantitatives ou qualitatives)
Du simple tableau Excel au "pipeline" complexe d'analyses utilisant du code informatique
------
### Les données
Différents types de données impliquent différents outils, hypothèses, traitements, résultats...
Différents types de données impliquent différents types d'hypothèses, de traitements, de résultats
-
@ -103,10 +101,6 @@ Différents types de données impliquent différents outils, hypothèses, traite
N'importe quoi est une donnée, si ça rentre dans un algorithme et que ça donne un résultat ?
-
------
### Étapes
@ -124,18 +118,19 @@ N'importe quoi est une donnée, si ça rentre dans un algorithme et que ça donn
### Formulation d'hypothèses
Les questions doivent, autant que possible, précéder l'exploration et l'analyse
__Méthodes numériques =/= magie__
__Les méthodes numériques =/= magie__
_Conseil : noter/(re)formuler vos pistes et intuitions_
-
### Sources
- Sources officielles : opendata.swiss
- Sites web : europresse, smd.ch, scraping...
- Entrepôt de données : kaggle.com
- Constitution manuelle de données
- Capteurs, crowdsourcing...
- Sources officielles
- Sites web
- Entrepôt de données
- Constitution manuelle d'un jeu de données
- Capteurs
...
-
@ -148,22 +143,22 @@ _Conseil : noter/(re)formuler vos pistes et intuitions_
### Exploration & contrôle
- Regarder ses données, les lire, s'en "imprégner"
- Ajuster et re-re-re-formuler ses hypothèses
- Contrôler la qualité de ses données, l'adaptation à la tâche, les besoins d'enrichir ou de croiser
- Ajuster ses hypothèses, re-re-formuler ses questions
- Contrôler la qualité de ses données, l'adaptation à la tâche
-
### Choix des outils
- Des outils libres, open source, gratuits
- Des outils libres, open source, gratuit
- Des formats simples et ouverts : csv, json, txt
- Des outils modulaires dont on comprend les entrées/sorties
- Un "pipeline" dimensionné correctement
- Des outils modulaires dont on comprend les entrées / sorties / interactions
-
### Filtrage & enrichissement
- Inutile de garder des données énormes si ça n'est pas nécessaire : difficile à manipuler, ajoute des possibilités d'erreur
- Possibilité de documenter, d'annoter, ou de _joindre_ des données : manuellement ou à l'aide d'outils adaptés
- Possibilité de documenter, d'annoter, ou de joindre des données : manuellement ou à l'aide d'outils adaptés
-
@ -173,9 +168,9 @@ _Conseil : noter/(re)formuler vos pistes et intuitions_
-
### Restitution et repartage
### Restitution et mise à disposition
- Raconter une histoire avec des données
- Mettre autant que possible à disposition ses sources, sa méthode, ses outils, son code
- Mettre autant que possible à disposition ses sources de données et sa méthodes / outils / code
------
@ -193,55 +188,15 @@ _Pandemic Data : Production, diffusion et compréhension des données en temps d
-
- Hypothèses de Panda
- 5 sources différentes : ArcInfo, Le Temps, Heidi News, Tribune de Genève, RTS, 24 Heures
- Données fournies + scrapées avec Python
- Partage spreadsheets, csv, notebooks, github...
- Contrôle outillé (Python, xan) + manuel
- Plein d'outils : Iramuteq, beautifulSoup, xan...
- Enrichissement + croisement + données secondaires
- Analyse de texte, analyse de séquences
- Visualisation d'exploration + analyse
- Papiers de recherche en préparation + entrepôt de données de l'UniNE
### Méthodes numériques
- Analyse du contenu des articles "Covid-19"
- Analyse des représentations de données / dataviz
------
## Outils
-
### Warning
Les outils, ça donnne envie / semble magique
De bonnes hypothèses de travail, c'est mieux
-
### Open Refine
- Excel sous stéroïdes
- Explorer, contrôler, enrichir
- [openrefine.org](https://openrefine.org/)
-
### Voyant Tools
- Toute l'analyse de texte lexicométrique à portée de main...presque
- [voyant-tools.org](https://voyant-tools.org/)
-
### Open QDA
- Analyse qualitative, codage d'entretien
- Pas de fonction d'analyses avancées
- [openqda.org](https://openqda.org/)
-
### Dataviz
- Le cours Data d'Andrew R. !
- [RawGraphs](https://app.rawgraphs.io/)
###
------
[Bibliographie](bibliographie.md)
[Liste d'outils](outils.csv)

View file

@ -1,63 +0,0 @@
Nom,Lien,Usages,Input,Output,étape méthodologique
Table2Net,http://tools.medialab.sciences-po.fr/table2net/,construire un réseau à partir dun tableur csv,csv,Graph file (gexf),collecting
Online csv tools,https://onlinecsvtools.com/,"fonctions de remplacement, déplacement, transposition sur tableur csv",csv,Table file (csv),curating
Hyphe,http://hyphe.medialab.sciences-po.fr/,crawler web complet orienté analyse topologique du web (pas analyse de contenu),urls,"Graph file (gexf, csv)","collecting, curating, analyzing, visualizing"
NetVizz,https://wiki.digitalmethods.net/Dmi/ToolNetvizz,récupération de données publiques facebook,,,collecting
DMI Google Scraper,https://wiki.digitalmethods.net/Dmi/ToolGoogleScraper,récupération de résultats google search,,,collecting
Sciencescape,http://tools.medialab.sciences-po.fr/sciencescape/,outils danalyse et de visualisation de données scientométriques,,,analysing
Google Bookmarklets,https://medialab.github.io/google-bookmarklets/,signet google chrome qui récupère une recherche sur google,,,collecting
Libre Office,https://www.libreoffice.org/,version gratuite et open source de Microsoft Office,,,publishing
Raw Graphs,http://rawgraphs.io/,outil de visualisation de données en ligne,csv,png,"analyzing, visualizing"
Palladio,http://hdlab.stanford.edu/palladio/about/,un outil pour analyser et représenter les relations présentes dans les données temporelles,,,"analyzing,visualizing"
Piktochart,https://piktochart.com/,online web design tool,,"Image (png, jpeg, embed)",publishing
Seealsology,http://tools.medialab.sciences-po.fr/seealsology/,outil dexploration de wikipédia,Wikipedia urls,Graph file (gexf),"collecting,visualizing"
Datawrapper,https://www.datawrapper.de/,"outil payant de datavisualisations (très classiques) en ligne, version gratuite bridée mais intéressante",,,visulizing
Voyant tools,http://voyant-tools.org/,"analyse de texte en ligne (fréquence de mots, analyse distributionnelle, ...)",,,analyzing
CorText,https://managerv1.cortext.net/,"analyse de texte en ligne (réseaux de cooccurrence, représentation temporelle, etc.)",,,analyzing
Iramuteq,http://www.iramuteq.org/,"lexicométrie, analyse de texte, réseau de cooccurrences",,,analyzing
Khartis,http://www.sciencespo.fr/cartographie/khartis/,outil de cartographie en ligne,,,visulizing
Gephi,https://gephi.org/,outil de visualisation de réseaux,,,visulizing
Open refine,http://openrefine.org/,nettoyage de données tabulaires,,,curating
Takoyaki,https://yomguithereal.github.io/takoyaki/,nettoyage de données tabulaires,,,curating
Catwalk,https://medialab.github.io/catwalk/,nettoyage de corpus de tweets,,,curating
Trifacta,https://www.trifacta.com/start-wrangling/,nettoyage de données tabulaires,,,curating
CsvRinseRepeat,http://tools.medialab.sciences-po.fr/csv-rinse-repeat/#/upload,"nettoyage, manipulation, visualisation de données tabulaires. Attention cet outil demande de savoir écrire des scripts en JavaScript",,,curating
wordij,http://wordij.net/,Analyse de corpus de texte par co-occurrence. Gratuit pour éducation et recherche (free for non-commercial research). Il faut remplir un formulaire. Interface assez aride mais tutoriel vidéo en anglais ici : https://www.youtube.com/watch?v=7lpvQW360js,,,analyzing
Flourish,https://app.flourish.studio/,outil de visualisation de données en ligne et storytelling à partir de ces viz,"csv, tsv, excel",,"visualizing, storytelling"
TimelineJS,https://timeline.knightlab.com/,création d'une timeline a partir d'un Google Spreadsheet,,,visualizing
StoryMap,https://storymap.knightlab.com,création d'un map a partir d'un Google Drive,,,
Twine,https://twinery.org/,"Twine is an open-source tool for telling interactive, nonlinear stories.",,,storytelling
Graph Commons,https://graphcommons.com/,"Transform your data into interactive maps, untangle complex relations that impact you and your communities",,,"collecting,visualizing,analyzing,publishing"
Pearltrees,https://www.pearltrees.com/,"Collecting data, organisation des connaissances",,,collecting
Treecloud,http://treecloud.univ-mlv.fr/,"Ce site web vous permet de générer des nuages arborés à partir d'un texte, c'est à dire des nuages de mots disposés autour d'un arbre qui indique leur proximité dans le texte.",,,visualizing
Odyssey,http://cartodb.github.io/odyssey.js/,Ce site vous permet de créer un récit associé à une visualisation cartographique.,,,visualizing
CiteSpace,http://cluster.cis.drexel.edu/~cchen/citespace/,"Visualizing Patterns and Trends in Scientific Literature (attention, appli à installer)",,,analyzing
Translated,https://labs.translated.net/extraction-terminologie/,Extraction terminologique en ligne,copy/past text,,analyzing
interactivemindmap,http://www.rubenswieringa.com/blog/wp-content/uploads/2007/interactivemindmap/,Interactive mindmap,,,visualizing
timeline curator,http://tl-generator.herokuapp.com/,"Cet outil vous permet de construire une frise chronologique à partir d'un texte comprenant des dates, de l'éditer et de l'exporter comme page en ligne ou fichier html.",,,visualizing
contextminer,http://www.contextminer.org/,Outil de veille,,,collecting
Google Trends,https://trends.google.fr/trends/,,,,collecting
Google nGram,https://books.google.com/ngrams,,,,"collecting,analyzing"
prezi,https://prezi.com/,Outil de présentation spatialisée,,,publishing
umap,https://umap.openstreetmap.fr,"Outil d'édition de cartes (parcours, zones, calques, ...)","csv, geojson",,visualising
zup,https://github.com/medialab/zup ,"extract the textual content
of (almost) any url",,,collecting
Pioul,http://markdown.pioul.fr/,online markdown editor,,,publishing
PDF,https://smallpdf.com/,PDF tools,,,publishing
Manylines,http://tools.medialab.sciences-po.fr/manylines,"Make up and publish your network, and tell its story.",,,storytelling
Hackmd,https://hackmd-ce.herokuapp.com/,Éditeur markdown,,Page html en ligne,publishing
Wordcounter,https://databasic.io/en/wordcounter/,Comptage de mots,,,analyzing
wtfcsv,https://databasic.io/en/wtfcsv/,Analyser la distribution des valeurs contenues dans un tableau.,,,analyzing
Connectthedots,https://databasic.io/en/connectthedots/,Prévisualiser un graphe et obtenir des informations basiques sur sa morphologie.,,,analyzing
Samediff,https://databasic.io/en/samediff,Comparer les similarités et dissimilarités de vocabulaire entre deux textes,,,analyzing
ONODO,https://onodo.org,draw your network and tell a story with it,,,"visualizing, storytelling"
LocalFocus,https://geocode.localfocus.nl/,Batch geocoder for journalists,csv(location),"csv(location, latitude, longitude)","curating, visualizing"
Gargantext,https://gargantext.org/,,,,
Word Art,https://wordart.com/,cloud art creator online,,,
Unitex/GramLab,http://unitexgramlab.org/fr,"Unitex/GramLab est une suite logicielle libre, multiplateforme, multilingue, fondée sur des dictionnaires et des grammaires pour l'analyse de corpus",,,
YOUTUBE COMMENT SCRAPER,http://ytcomments.klostermann.ca/,"to download (scrape) all comments from a given YouTube video. The results include the comment text, username, date and other information.",1 url,csv or json,collecting
TAGS,https://tags.hawksey.info/,a free Google Sheet template which lets you setup and run automated collection of search results from Twitter,,,
DIVE,https://dive.media.mit.edu/,"un outil en ligne dans lequel on injecte un dataset et qui, en fonction des données à représenter, conseille des visualisations pertinentes (plutot classiques)",,,
Datavoyageur,http://vega.github.io/voyager/,explorer un jeu de données via des recommandations de visualisation / multiplier les vues en utilisant des techniques standards,,,
Timeline.js,https://timeline.knightlab.com/,,,,
chartblocks,https://www.chartblocks.com/fr,Permet de faire des diagrammes dynamiques en ligne (version de test),,,
1 Nom Lien Usages Input Output étape méthodologique
2 Table2Net http://tools.medialab.sciences-po.fr/table2net/ construire un réseau à partir d’un tableur csv csv Graph file (gexf) collecting
3 Online csv tools https://onlinecsvtools.com/ fonctions de remplacement, déplacement, transposition sur tableur csv csv Table file (csv) curating
4 Hyphe http://hyphe.medialab.sciences-po.fr/ crawler web complet orienté analyse topologique du web (pas analyse de contenu) urls Graph file (gexf, csv) collecting, curating, analyzing, visualizing
5 NetVizz https://wiki.digitalmethods.net/Dmi/ToolNetvizz récupération de données publiques facebook collecting
6 DMI Google Scraper https://wiki.digitalmethods.net/Dmi/ToolGoogleScraper récupération de résultats google search collecting
7 Sciencescape http://tools.medialab.sciences-po.fr/sciencescape/ outils d’analyse et de visualisation de données scientométriques analysing
8 Google Bookmarklets https://medialab.github.io/google-bookmarklets/ signet google chrome qui récupère une recherche sur google collecting
9 Libre Office https://www.libreoffice.org/ version gratuite et open source de Microsoft Office publishing
10 Raw Graphs http://rawgraphs.io/ outil de visualisation de données en ligne csv png analyzing, visualizing
11 Palladio http://hdlab.stanford.edu/palladio/about/ un outil pour analyser et représenter les relations présentes dans les données temporelles analyzing,visualizing
12 Piktochart https://piktochart.com/ online web design tool Image (png, jpeg, embed) publishing
13 Seealsology http://tools.medialab.sciences-po.fr/seealsology/ outil d’exploration de wikipédia Wikipedia urls Graph file (gexf) collecting,visualizing
14 Datawrapper https://www.datawrapper.de/ outil payant de datavisualisations (très classiques) en ligne, version gratuite bridée mais intéressante visulizing
15 Voyant tools http://voyant-tools.org/ analyse de texte en ligne (fréquence de mots, analyse distributionnelle, ...) analyzing
16 CorText https://managerv1.cortext.net/ analyse de texte en ligne (réseaux de cooccurrence, représentation temporelle, etc.) analyzing
17 Iramuteq http://www.iramuteq.org/ lexicométrie, analyse de texte, réseau de cooccurrences analyzing
18 Khartis http://www.sciencespo.fr/cartographie/khartis/ outil de cartographie en ligne visulizing
19 Gephi https://gephi.org/ outil de visualisation de réseaux visulizing
20 Open refine http://openrefine.org/ nettoyage de données tabulaires curating
21 Takoyaki https://yomguithereal.github.io/takoyaki/ nettoyage de données tabulaires curating
22 Catwalk https://medialab.github.io/catwalk/ nettoyage de corpus de tweets curating
23 Trifacta https://www.trifacta.com/start-wrangling/ nettoyage de données tabulaires curating
24 CsvRinseRepeat http://tools.medialab.sciences-po.fr/csv-rinse-repeat/#/upload nettoyage, manipulation, visualisation de données tabulaires. Attention cet outil demande de savoir écrire des scripts en JavaScript curating
25 wordij http://wordij.net/ Analyse de corpus de texte par co-occurrence. Gratuit pour éducation et recherche (free for non-commercial research). Il faut remplir un formulaire. Interface assez aride mais tutoriel vidéo en anglais ici : https://www.youtube.com/watch?v=7lpvQW360js analyzing
26 Flourish https://app.flourish.studio/ outil de visualisation de données en ligne et storytelling à partir de ces viz csv, tsv, excel visualizing, storytelling
27 TimelineJS https://timeline.knightlab.com/ création d'une timeline a partir d'un Google Spreadsheet visualizing
28 StoryMap https://storymap.knightlab.com création d'un map a partir d'un Google Drive
29 Twine https://twinery.org/ Twine is an open-source tool for telling interactive, nonlinear stories. storytelling
30 Graph Commons https://graphcommons.com/ Transform your data into interactive maps, untangle complex relations that impact you and your communities collecting,visualizing,analyzing,publishing
31 Pearltrees https://www.pearltrees.com/ Collecting data, organisation des connaissances collecting
32 Treecloud http://treecloud.univ-mlv.fr/ Ce site web vous permet de générer des nuages arborés à partir d'un texte, c'est à dire des nuages de mots disposés autour d'un arbre qui indique leur proximité dans le texte. visualizing
33 Odyssey http://cartodb.github.io/odyssey.js/ Ce site vous permet de créer un récit associé à une visualisation cartographique. visualizing
34 CiteSpace http://cluster.cis.drexel.edu/~cchen/citespace/ Visualizing Patterns and Trends in Scientific Literature (attention, appli à installer) analyzing
35 Translated https://labs.translated.net/extraction-terminologie/ Extraction terminologique en ligne copy/past text analyzing
36 interactivemindmap http://www.rubenswieringa.com/blog/wp-content/uploads/2007/interactivemindmap/ Interactive mindmap visualizing
37 timeline curator http://tl-generator.herokuapp.com/ Cet outil vous permet de construire une frise chronologique à partir d'un texte comprenant des dates, de l'éditer et de l'exporter comme page en ligne ou fichier html. visualizing
38 contextminer http://www.contextminer.org/ Outil de veille collecting
39 Google Trends https://trends.google.fr/trends/ collecting
40 Google nGram https://books.google.com/ngrams collecting,analyzing
41 prezi https://prezi.com/ Outil de présentation spatialisée publishing
42 umap https://umap.openstreetmap.fr Outil d'édition de cartes (parcours, zones, calques, ...) csv, geojson visualising
43 zup https://github.com/medialab/zup extract the textual content of (almost) any url collecting
44 Pioul http://markdown.pioul.fr/ online markdown editor publishing
45 PDF https://smallpdf.com/ PDF tools publishing
46 Manylines http://tools.medialab.sciences-po.fr/manylines Make up and publish your network, and tell its story. storytelling
47 Hackmd https://hackmd-ce.herokuapp.com/ Éditeur markdown Page html en ligne publishing
48 Wordcounter https://databasic.io/en/wordcounter/ Comptage de mots analyzing
49 wtfcsv https://databasic.io/en/wtfcsv/ Analyser la distribution des valeurs contenues dans un tableau. analyzing
50 Connectthedots https://databasic.io/en/connectthedots/ Prévisualiser un graphe et obtenir des informations basiques sur sa morphologie. analyzing
51 Samediff https://databasic.io/en/samediff Comparer les similarités et dissimilarités de vocabulaire entre deux textes analyzing
52 ONODO https://onodo.org draw your network and tell a story with it visualizing, storytelling
53 LocalFocus https://geocode.localfocus.nl/ Batch geocoder for journalists csv(location) csv(location, latitude, longitude) curating, visualizing
54 Gargantext https://gargantext.org/
55 Word Art https://wordart.com/ cloud art creator online
56 Unitex/GramLab http://unitexgramlab.org/fr Unitex/GramLab est une suite logicielle libre, multiplateforme, multilingue, fondée sur des dictionnaires et des grammaires pour l'analyse de corpus
57 YOUTUBE COMMENT SCRAPER http://ytcomments.klostermann.ca/ to download (scrape) all comments from a given YouTube video. The results include the comment text, username, date and other information. 1 url csv or json collecting
58 TAGS https://tags.hawksey.info/ a free Google Sheet template which lets you setup and run automated collection of search results from Twitter
59 DIVE https://dive.media.mit.edu/ un outil en ligne dans lequel on injecte un dataset et qui, en fonction des données à représenter, conseille des visualisations pertinentes (plutot classiques)
60 Datavoyageur http://vega.github.io/voyager/ explorer un jeu de données via des recommandations de visualisation / multiplier les vues en utilisant des techniques standards
61 Timeline.js https://timeline.knightlab.com/
62 chartblocks https://www.chartblocks.com/fr Permet de faire des diagrammes dynamiques en ligne (version de test)