Atelier CIS-PEN du jeudi 15 février
Enjeux et usages de la quantification

Cadre de l’atelier

• Objectif 1 : Faire en sorte que tout le monde ait des éléments de réponse à ses questions
• Objectif 2 : Une fiche qui récapitule les discussions de l’atelier qu’on met en ligne sur le site du CIS-PEN
• Rappel : L’expertise est distribuée
• Rappel : Attention à laisser chacun.e s’exprimer (différentes personnalités, normes sociales, niveaux d’expertise)

Déroulé

• Clément pose le cadre et présente les “experts”
• Tour de table des “apprenants”
• Session questions

Trois thèmes identifiés :

• comment parler de/enseigner la quantification ?
• quelles sont les limites et alternatives des pratiques de quantification
• spécificités sur les méthodes de quantification dans le numérique (ACV attributionnelle, conséquentielle, LLM et autres IA etc.)

Points généraux qui ressortent du tour de table

• La quanti c’est truc un peu évident quand on est informaticien.ne
• Qu’est-ce qu’on mesure ? Pourquoi on mesure ?
• Limites de cette approche : question de l’utilité de ces chiffres, rapports de force
• Comment faire le lien entre quantification et usage des chiffres, comment on passe du chiffre à l’action ?
• Quels chiffres on garde ?

Quelques références bibliographiques

Lues pour l’atelier : Vous pouvez les télécharger ici : https://filesender.renater.fr/?s=download&token=a5b478d9-84e4-4825-bc9e-f65eaee109a0

• Christin - 2020 - What Data Can Do A Typology of Mechanisms
• Espeland et Sauder - 2007 - Rankings and Reactivity How Public Measures Recreate Social Worlds
• Hesse et al. - 2023 - The data treadmill water governance and the polit

Poursuivre les réflexions :

• Martin - 2020 - L’empire des chiffres
• Desrosières - 1993, La politique des grands nombres, Histoire de la raison statistique
• Daston et Galison - Objectivity, 2007
• Neveu - Sociologie politique des problèmes publics, 2015
• Mennicken et Salais - The New Politics of Numbers: Utopia, Evidence and Democracy,2022
• Andy Stirling, https://www.nature.com/articles/4681029a#auth-Andy-Stirling-Aff1 and https://steps-centre.org/blog/how-politics-closes-down-uncertainty/
• Di Fiore et al. 2023 - The Challenge of Quantification: An Interdisciplinary Reading, Minerva, DOI: 10.1007/s11024-022-09481-w

Préparation de l’atelier

Pourquoi est-ce que je m’intéresse au sujet

• SC: Je suis assez mal à l’aise avec certains usages de la quantification, et le lien entre qualitatif/quantitatif ne me paraît pas clair (quand faire l’un, quand faire l’autre).

• AB : Je me pose beaucoup de questions à propos de la quantification : à quel point est-il nécessaire de quantifier pour prendre des décisions ? On voit que les estimations de plus en plus précises sur le réchauffement climatique n’amènent pas de prises de décisions précises. Quelles précisions pour les quantifications ? Et que faire de ce qui n’est pas quantifiable ? Comment bien publier des résultats de quantification pour éviter une mauvaise interprétation des résultats (valeurs reprises pour un périmètre différent par exemple) ? Faut-il toujours objectiver une quantification et/ou expliciter à qui elle s’adresse ? [Je n’arrive pas vraiment à séparer les questions suivantes]

• TN : Je pratique la quantification environnemmentale dans mon quotidien (ACV, carbone ; également des analyses prospectives), notamment pour le numérique. Auparavant, j’en ai mené pour d’autres secteurs et divers acteurs (publics ou privés).

• Adrien : Je le pratique, c’est l’enjeu principal de mon sujet de thèse. Toutefois, je m’interroge sur la priorité qui peut être donné à la quantification. J’ai parfois l’impression qu’il s’agit d’un totem utile pour ce donner une image de scientificité ou de précision factice.

• Philippe Parce que nous sommes incités (par les personnes auxquelles nous nous adressons, par “notre culture”, etc.) à produire des données quantitatives, des chiffres.
  Mais ce focus sur la mesure, sur les chiffres, distrait de la compréhension plus fine des phénomènes.
  Comment s’en sortir ?

• LA : En tant qu’enseignante à des étudiant·es en SHS, la question de la transmission de données quantifiées et leurs modes de calculs et instances de validation m’importent plus principalement pour ce public d’étudiant·es qui n’ont pas toutes les formations pour adopter une regard critique sur ces quantifications et n’ont pas en tête des ordres de grandeur donnant de l’intelligilité à ces quantifications.

• LG : Dans le cadre de ma thèse je m’intéresse aux indicateurs chiffrés liant les infrastructures numériques et l’environnement. J’aborde pour l’instant la question sous l’angle des scripts et des imaginaires liés à leur caractéristiques techniques et aux discours les mobilisant, mais j’aimerais comprendre davantage ce que fait la “mise en chiffre” des questions sociales en général, pour comparer avec ce que j’observe dans mon cas.

• LB : Dans le cadre de ma thèse, je m’intéresse à la combinaison d’une approche “qualitative” et d’une “quantification” d’ordres de grandeurs comme aide à la décision. Je suis également gênée par cette opposition “qualitative” versus “quantitative”, car pour la partie “quantifiée” j’utilise justement des méthodes mixtes (données “réelles”, sondage quantitatif, hypothèses par des experts, etc.).

• JC : En tant qu’informaticien, et de par ma formation en mathématiques, je me suis rendu compte que j’avais un penchant « naturel » pour la quantification et la modélisation numérique, par exemple lorsque j’ai commencé à aborder la question des impacts environnementaux du numérique. J’ai depuis compris que la quantification, et plus généralement les modèles, relevaient aussi d’enjeux de pouvoir et de domination, et qu’il existait une tension entre la numérisation ou sophistication des modèles, et l’autonomisation des citoyens.

• SB: Je suis sensible aux approches critiques qui tentent de quantifier des flux de matières, par exemple l’approche par l’échange écologiquement inégal (A. Hornborg) ou le discours de qqn comme Fressoz récemment. Mais ces approches posent en même temps plein de problèmes scientifiques (qu’est-ce qu’on quantifie, comment? etc.) et politiques (n’et-ce pas réductionniste?). D’où mon intérêt.

• PG je suis encore incertain sur l’usage et de la place à donner à la quantification dans mes cours sur le numérique responsable. Quels sont les références ou études de cas permettant de mieux se situer dans cette reflexion.

• AA : je ne suis pas directement concernée par des recherches ou des enseignements visant à recuillir des données pour quantifier des problématiques, cela dit en tant qu’informaticienne je serai sans doute confronter à ces questions un jour.

• Sylvain B. En tant qu’Enseignant-Chercheur en informatique, j’ai déjà naturellement un biais sur le fait qu’il faut tout quantifier avant de pouvoir parler sérieusement d’un phénomène. Et j’ai l’impression que les populations d’étudiant⋅es auxquelles je m’adresse ne me prennent pas au sérieux si je ne donne pas des valeurs précises (avec plusieurs chiffres après la virgule, naturellement) sur les phénomènes que je tente de caractériser. Malheureusement, dès que je tente d’enseigner les enjeux environnementaux de l’informatique, je suis bien obligé de leur dire qu’on ne peut parler qu’en ordres de grandeur, et, pire, que les impacts les plus importants échappent probablement à toute quantification. Que faire ?

• SQ: Je suis devenue allergique aux variantes diverses et variées de la citation de Kelvin “What you cannot measure you cannot improve.” J’ai l’impression que la demande de chiffres sert en grande partie d’excuse à procrastiner. Au fil de mes lectures, j’ai pris conscience d’à quel point la mesure est une forme d’action en elle-même. D’autre part certains de ces questionnements sont assez proches de ceux que nous avons dans un groupe de travail d’Archipel (archipel.inria.fr) qui s’intéresse aux enjeux de la modélisation.

Qu’est-ce que je me verrais éventuellement faire en lien avec ce sujet

• Je mène actuellement une étude sur la gestion des déchets d’équipements informatiques en République de Guinée.
  A partir des suites arithmétiques, j’ai simulé la quantification des déchets d’équipements informatiques sur une période définie. C’est la raison pour laquelle, je me verrais faire un lien entre ces travaux et le sujet développé
  Je souhaite avoir les références bibliographiques récentes sur le sujet à travers les collègues

• SC: L’année prochaine, je dois enseigner un cours à l’intitulé vague et j’aimerais bien y parler d’éthique/critique de la modélisation

• TN : Je dois faire comprendre ces enjeux-là à des publics non-initiés, qui attendent souvent des réponses claires et tranchées.

• Adrien : Idem que TN. Plus précisement, j’ai l’impression de souvent me retrouver face un public de scientifique qui idéalisent certains outils de mesure, du moment qu’ils fournissent un résultat chiffré, comme si la quantification était un critère d’objectivité.

• LA : -Cet atelier peut permettre de partager nos expériences auprès de différents publics et rendre compte de nos interrogations à ce sujet.

• LG : J’aimerais entendre les recherches des autres, leurs angles d’approche et problématisations, et soumettre mon projet à leurs critiques.

• LB : Idem, j’aimerais connaître l’approche d’autres chercheurs, notamment concernant les difficultés (ci-dessous).

• JC : Apprendre des autres disciplines (en particulier de la sociologie de la quantification), mais aussi contribuer en fournissant des exemples de quantifications issues de l’évaluation environnementale (par exemple de l’analyse de cycle de vie).

• SB: Je suis preneur de discussions, de partages et éventuellement à terme de projets scientifiques communs sur ces thématiques

• PG : je donne des cours d’IA et des hackatons où les étudiants doivent évaluer l’impact environnemental de leur discipline ou de la solution qu’ils développent

• AA : des résumés de lecture +1 SQ

• SQ : J’aimerais contribuer à l’évaluation environnementale du numérique en sortant du piège du tout quantitatif.

Quelles difficultés je rencontre quand j’y réfléchis, quelles questions je me pose

• TN : Je m’interroge sur les limites des méthodes souvent mal connues (attributionnel, conséquentiel) par rapport aux questions posées par les pouvoirs publics. Souvent, les incertitudes relatives à la qualité des données primaires ou données d’impact me sembles mal comprises. Je me pose aussi des questions sur la vulgarisation des messages (et les simplifications) dans les médias une fois les études publiées.
  Par ailleurs, les limites de la quantification sont souvent utilisées par des acteurs privés pour rejeter des résultats d’études qui ne leur sont pas favorables. L’incertitude bénéficie à la “fabrique du doute” d’acteurs parfois malveillants.

• Adrien : J’aimerais faire comprendre et mettre en valeur la porosité qui existe entre indicateur qualitatif et quantitatif. J’ai aussi une difficulté autour de l’incitation (faite sur de bonnes intentions) qui existe autour des incertitudes. En fait je me sens dépourvu d’outils pour créer et exprimer scientifiquement des marges d’erreur/incertitude. Pour l’instant je me limite à des analyses de sensibilité.

• Philippe Des questions !
  Comment déjouer le “piège du quantitatif” quand la mesure devient un indicateur : qui a décidé de la pertinence de cette mesure/cet indicateur ? comment éviter que les décisions soient prises avec ces (seuls) indicateurs en ligne de mire ? Et fasse du coup l’impasse sur le qualitatif.
  Comment dépasser la quantification face à des phénomènes ou situations systémiques ?
  Quelle pertience des indicateurs en vogue (limites planetaires, CO2 eq, kgeq.Sb, etc.). Comment la qualifier ?
  Une ACV se doit de comporter sa propre analyse reflexive. Ce type d’approche permet-il de dépasser les notions d’incertitude ?
  Comment rendre compte de la non-uniformité d’une mesure. Exemple du réchauffement climatique +1.5°C, mais non uniformément réparti
  Ces mesures qui relève du green washing : Zéro artificialisation nette, compensation carbonne

• LA : la quantification est une entrée dans les questionnements et des enquêtes plus qualitatives peuvent les compléter au rsique d’une métrique mythifiée, non interrogeable et a-critique qui peut être démobilisatrice.

• LG quelles ressources théoriques et cadres d’analyses employer pour étudier des métriques liant environnement et informatique ? Une typologie associant des “conceptions de l’écologie” avec les “designs et usages des métriques” est elle pertinente ou trop artificielle ?

• LB : Je pense qu’il est dommage de se priver de toute forme de quantification à cause des “pièges” qui peuvent y être liés, mais je me demande comment faire pour les “déjouer”. Notamment, comment éviter que le quantitatif se substitue complètement à d’autres critères plus qualitatifs (fixation des esprits sur le quantitatif qui semble plus “concret”), comment éviter qu’il devienne un objectif en soi (et se substitue à ce qu’il désigne/approche), comment travailler avec des ordres de grandeurs et de l’incertitude (en reconnaissant des known unknowns et des unknown unknowns)…

• JC : J’ai beaucoup de mal à me faire un avis précis sur le rôle que devrait jouer la quantification par rapport aux enjeux écologiques. D’un côté je trouve que les travaux qualitatifs, qui prennent une certaine hauteur de vue et adoptent une vision systémique, sont beaucoup plus éclairant que les études quantitatives. De l’autre il est évident qu’on ne peut pas se passer totalement de la quantification. J’ai donc du mal à cerner la place que doit prendre la quantification. J’imagine que la bonne stratégie, mais je n’en suis pas certain, consiste à partir des réflexions globales, et mobiliser la quantification sur certaines sous-questions bien précises et lorsque cela est nécessaire, plutôt que de faire l’inverse, c’est-à-dire quantifier tout ce que l’on peut et voir ensuite ce qu’on peut en faire (c’est ce qu’on observe très souvent).

• SB: Je distinguerais questions scientifiques (par exemple, pour prendre un sujet actuel, la difficulté à évaluer les impacts environnementaux des LLM) et questions politiques (quels sont les apports et les limites de la quantification en tant que stratégie politique de mise en visibilité d’un problème)

• PG : à quel endroit le qualitatif doit-il palier les limites du quantitatif ?

• AA : peut-on donner un cadre formel aux choix fait pour les mesures et à ce qu’ils impliquent ?

• Sylvain B. J’aimerais avoir des idées sur comment on peut parler de choses très précises (lors d’un cours par exemple) sans pour autant avoir à donner des chiffres précis.

• SQ : Je voudrais ne pas jeter le bébé avec l’eau du bain : comment décider quels chiffres peuvent être utiles sachant qu’on ne peut pas tout mesurer et que mesurer c’est déjà agir et c’est normatif.

Quelles références biblio je peux partager

• TN : Gauthier Roussilhe a bien résumé certains enjeux liés à la quantification de l’impact du transfert de données : LA je plussoie

• (https://gauthierroussilhe.com/articles/explications-sur-l-empreinte-carbone-du-streaming-et-du-transfert-de-donnees).
  Aussi, l’article de Freitag sur l’empreinte environnementale de l’ICT me semble être une référence en matière d’incertitude sur l’impact global du numérique. Il y a également cette étude : https://en.arcep.fr/uploads/tx_gspublication/environment-impact-ICT-sector-methdological-gap-analysis_april2023.pdf
  Enfin, je rappelle aussi tout le paragraphe sur les limites de la modélisation de l’étude ADEME Arcep : https://www.arcep.fr/uploads/tx_gspublication/etude-numerique-environnement-ademe-arcep-volet01_janv2022.pdf (p94)

• Adrien : Known unknows de Horner et. al même si l’article est plus souvent cité pour sa taxonomy des impacts de l’ICT, le cœur reste quand même une meta-analyse en plein dans les enjeux de quantification.

• LA : DESROSIèRES Alain, La politique des grands nombres. Histoire de la raison statistique. La Découverte, « Poche / Sciences humaines et sociales », 2010, ISBN : 9782707165046. doi.org/10.3917/dec.desro.2010.01. URL : https://www.cairn.info/la-politique-des-grands-nombres--9782707165046.htm < pour donner toute sa place à la quantification en politique et dans sa pratique

• LG : Je lis principalement des articles qui constituent des sources primaires pour moi et que je cherche à comprendre avec une approche critique. Il me semble avoir identifié une des sources à l’origine de la quantification d’un “impact écologique d’un email”, si souvent évoquée dans la presse : How Bad Are Bananas?: The Carbon Footprint of Everything https://z-lib.io/book/17513953 un autre livre adressé au grand public me semble intéressant sur la critique cette fois ci de la quantification environnementale : The value of a whale: on the illusions of green capitalism By Adrienne Buller https://academic.oup.com/ia/article/98/6/2163/6783060

• LB : Concernant le rapport entre quantitatif et prise de décision : Stirling, A. Keep it complex. Nature 468, 1029–1031 (2010). https://doi.org/10.1038/4681029a accessible ici : https://www.nature.com/articles/4681029a

• JC : Sociologie de la quantification, revue générale : https://link.springer.com/article/10.1007/s11024-022-09481-w

• SB: Alf Hornborg, La magie planétaire. Technologies d’appropriation de la Rome antique à Wall Street, Éditions Divergences, 2021 (sur l’échange écologiquement inégal)

Notes de l’atelier

Présent·e·s : Tom Nico, Adrien Berthelot, Laurence Allard, Philippe Marquet, Simon Castellan, Aurélie Bugeau, Léo Girard, Laetitia Bornes, Jacques Combaz, Sébastien Broca, Paul Gay, Sylvain Bouveret, Aurore Alcolei, Jon Kim…

Tour de table

• Clément Marquet CR en socio au CSI qui travaille entre autres sur l’ACV
• Sophie Quinton CR en informatique INRIA Grenoble. rentrée dans questions de quantification par les impacts environnementaux du numérique. utile d’avoir des ordres de grandeur mais pose des pbs. procrastination ? que fait-on avec ces chiffres ?
  • mesurer c’est déjà agir sur le monde : quels points d’entrée en biblio
  • mais certains chiffres utiles
• Anne-Laure Ligozat : enseignante chercheuse en informatique en région parisienne, quantification point d’entrée facile pour aborder ce sujet, mais on se dit aussi à quoi ça sert, pb de l’absence de réalité physique des ACV, de leur remise en contexte
• Adrien Berthelot : thèse sur l’emprente environnementale des services numériques : questions sur la précision, quelle frontière entre quanti et quali, utilisation de la quantification environnementale, de la comptabilité environnementale (Alexandre Rambaud, respo de la chair Compta environnemental à AgroParisTech) qu’est ce qu’on peut en faire politique
• Aurélie Bugeau : enseignante chercheuse à Université de Bordeaux : quand faut-il quantifier : est-ce que ça donne bonne conscience, j’ai mesuré l’impact, j’ai fait ma part. comment on garde le contexte des chiffres, le périmètre des chiffres
• Aurore Alcolei : plus par curiosité pour l’instant.
• Jacques Combaz : IR labo informatique. premier réflexe quantifier, puis aller au-delà: en particuliers impacts env du num, il y a des types de quantification qui sont sous explorées, ce n’est pas parce que c’est difficile, mais simplement parce qu’il y a des intérêts à quantifier différemment. la quantification est-elle le bon outil de lutte ? intérêt pour les stratégies politiques. 2eme point, tension entre exclure les non initiés, modèles de plus en plus sophistiqués, données de plus en plus nombreuses, et utilité que peuvent avoir les connaissances dans la prise de décision
• Laetitia Bornes, 3eme année thèse, toulouse, informatique, vient du monde du design, réfléchir à une approche systémique de la soutenabilité en tant que designer, les effets rebonds dans la prise de décision et le design. monde qui rejette les aspects quanti, mais moi je reconnais les problèmes mais à un moment on en a tout de même besoin. L’aller retour quali quanti me pose pb car frontières plus poreuses
• Léo Girard : 2eme année de thèse université de geneve, s’intéresse aux métriques utilisées pour faire apparaître, donner à voir ces infrastructures, les scripts contenus dans ces métriques qui formatent le regard, la gouvernance qui s’appuie dessus, et les imaginaires inclus dans chaque façon de quantifier
• Philippe : enseignant chercheur en informatique à l’université de lille : quand on enseigne on s’appuie vite sur les objets chiffrés mais ça évite une compréhension fine des phénomènes qui dépasse les intérêts des étudiants. Quelques données leur suffisent. j’aimerais pouvoir trouver des clés
• Sébastien: MCF info com à Paris 8, intérêt pour usage critique et politique de la quantification dans le numérique : quantification comme mise en visibilité des problèmes, ex shiftproject et les chiffres choquent, la façon dont ces chiffres ont été produits ; et les théories sociales critiques qui s’appuient sur la quantification (Horborn) montrant les rapports injustes nord sud en quantifiant les flux de matières et d’énergie (plus macrothéorique)
• Simon : à court termes, comment on tient un discours en tension qualitatif quantitatif qui soit dans la nuance, rappelle l’opposition objectiviste constructiviste
• Sylvain : mcf à grenoble en informatique : mettre des chiffres juste pour que les gens m’écoutent, convaincu que certains chiffres veulent plus dire grand chose dans le domaine informatique. que peut on faire d’autre tout en disant des choses précises
• Tom : chargé de mission à l’arcep, praticien en évaluation env, travaille à fournir des chiffres souvent mal compris, 6 ans d’exp ACV dans le privé. Enjeu quantification passage à l’action, pb des méthodes utilisées qui ne sont pas les bonnes pour aborder les sujets politiques (l’ACV attributionnel vs conséquentiel). la méthode act dans l’ademe était intéressante car articule des évaluations quantitatives avec des questions qualitatives.

Échanges

• Antoine Hardy
  remarque préalable : sur la dimension quantitative qualitative pour dépasser des oppositions artificielles ou caricaturales. si on revient aux travaux de Desrosières, politique des grands nombres, la quantification est un processus en deux phases, conventionnement puis mesure. et donc au préalable il y a un travail qualitatif définissant le périmètre, la profondeur, la manière de collecter les données, qui s’en charge etc. Travail à la fois qualitatif et quantitatif.

• Sophie : dans les témoignages des uns et des autres, ce qui vient à l’esprit c’est l’impact environnemental du numérique et les ACV ? est-ce qu’il y a des gens qui rentrent dans la quantification par un autre chemin ?
  Exemple “contre-modélisation”

• Aurélie : ça peut toucher de nombreux domaines, j’ai beaucoup dû donner des chiffres, avec des métriques qui n’ont parfois aucun sens. pourquoi on mesure et à quoi on essaie de répondre.

• Clément : Double dimension quanti-quali et en même temps l’objectif de la quanti c’est quand même bien de produire des chiffres qui circuleront sans leur contexte. Question du coup : Est-ce qu’il y a des exemples en termes d’enseignement où on fait voyager le contexte avec les chiffres

• Antoine : La séparation entre conventionnement et mesure est de moins en moins vraie ; la commensuration qui permet de rendre comparable des grandeurs différentes cf Yves Gingras, classement de Shanghaï

• Aurore A. : pb: le quantitatif vient du qualitatif : dans lère de la data on récolte n’importe quoi et on cherche à produire du qualitatif à des résultats du traitement de données

• Antoine : la production des nombres étaient un privilège des élites. aujourd’hui on a un expansion de ce qui est quantifié, mais on a une diversification des acteurs qui mettent en nombre - la dataification. cette tendance importante, avec généralisation de la quantification et les qualités sont traduites en nombre de façon bien plus massives. voir le livre d’Olivier Martin L’empire des chiffres. histoire longue de la mise en nombre. (Il existe un livre d’introduction très court du même auteur : Chiffre)

• Léo : parler de chiffre pour parler de chiffre, mobiliser ce qui est facile à mettre en chiffre plutôt que de construire des indicateurs. dans le cas des DC, les entreprises ont la main mise sur les chiffres qu’ils vont communiquer, produire etc. et ils produisent et utilisent ce qui les intéressent en premier lieu, l’efficacité énergétique, pour ensuite l’utiliser comme proxy de ce qui est écolo ou non. changement avec ce que tu décrivais antoine sur “on réfléchir à la construction d’un indicateur qu’on va utiliser dans une politique publique” et là on a des politiques publiques qui s’appuient sur ce qui est disponible.

• Tom : depuis 2021 l’arcep on a un “pouvoir de collecte” sur des données secret des affaires avec des données agrégées sur les acteurs, avec des indicateurs intéressants qui donnent lieu à des débats. aux alentours de 1er semestre 2024

• Léo : qui a imposé le cadre ?

• Tom : on ne demande pas de PUE car on trop de variabilité dans les méthodes, mais on demande des données primaires, même s’ils peuvent entrer ce qu’ils veulent (on a un pouvoir d’enquête mais on l’utilise pas tellement). Prendre des données environnementales non agrégées pour ensuite les réagréger.

• Jacques : On met des chiffres pour obfusquer, par exemple des chiffres en relatif

• Léo : ce n’est pas forcément pour noyer le poisson : ce qu’on cherche à mesurer correspond à la vision qu’on a de l’écologie et des objectifs que l’on se donne, entre la twin transition et les formes de décroissance. donc ce n’est pas forcément aussi cynique qu’un conflit politique autour de l’objectif final. est ce que ce n’est pas chaque indicateur qui possède une vision de ce qui est souhaitable en termes de politique publique

• Sophie : il était question de rapport de force au début, j’ai l’impression que là il y a une question d’intention. entre les chiffres produits, inutiles, faisant diversion etc. dans quelle mesure les questionnements qu’on a là ne sont pas originaux et que ça s’est posé pour des tas de type de chiffre et il faut lire le Chiffre de desrosière pour comprendre et expliquer aux copains

• Antoine : est ce qu’un indicateur concentre une vision politique : il faut s’attacher à comprendre les propriétés sociales des indicateurs. il y a des manières de quantifier l’environnement qui ne le sont pas, et d’autres approches émergent. donc il faut encastrer la quantification dans des contextes socio plus large. Est-ce que c’est original, je ne sais pas si je le poserai comme ça. je trouve intéressant qu’il y ait une réflexivité, mais lorsqu’on n’est pas au premier degré on se pose des questions qui sont transversales entre le journalisme, la quantificatioon environnementale, les politiques publiques, donc il y a la transformation de qualité en quantité, de la commensurabilité etc. ce qui est intéressant c’est de regarder les choses de façon précise et locallisée. au coeur de mon enquête il y a la quantification carbone, dans la litt il y a des avis contrastés voir opposés à ce sujet, avec des personnes affirmant que c’est dépolitisant, ou au contraire que ça change les choses. mon travail c’est de comprendre leur stratégie etc. Comment les acteurs s’emparent ou pas de ces chiffres. Enfin, Y. Gingras sur les dérives de l’évaluation biliométrique, il avait proposé trois critères d’un bon indicateur:

  1. l’adéquation entre ce qui est estimé et ce qui estime (par ex : la qualité de la recherche)
  2. question de l’inertie propre à l’objet : est-ce qu’un changement quantitatif corresponf à un changement quantitatif (ex : classement de Shangaï)
  3. homogénéité de la mesure

• Laurence Allard : question des outils d’autoquantification, les calculettes carbone, etc. chantier avec le CNC sur l’écoconditionalité des aides, double bilan carbone sur la réalisation ?. il y a tout ce chantier de recherche sur l’usage de ces outils mais aussi de R&D sur ces outils. Cf le travail d’AL de production d’un outil d’évaluation de l’impact carbone de l’IA

• Antoine : travaille avec Labos 1point5 , ils ont développé leur calculette carbone GES1point5
  . ce qu’on peut dire à partir de ces pratiques de quantification c’est que dans la litt il y a des avis contrastés. ouvrage de réf c’est Noortje Marres, Material Participation, regarde les pratiques de quantifications à partir d’échelle localisées. favorise des formes de politisation aux échelles individuelles. mon point de vue : regarder à une échelle localisée auprès du groupe qui l’utilise. Dans labo1/5, rapports variés à ces outils plus riches que l’opposition politisation dépolitisation

• Question de Tom : est-ce qu’il y a un lien entre la volonté de quantifier les impacts environnementaux dans la politique publique et le fait de “managériser”/privatiser de plus en plus le secteur public (avec le fait de vouloir mettre des indicateurs, des “KPIs” comme disent les entreprises, partout) ?
  la question mérite d’être posée et regardée secteur par secteur. ça fait une vingtaine d’années qu’il y a des réformes visant à (Musselin) une manière de faire le tri, de hiérarchiser c’est l’indicateur quantitatif. maintenant on amène les indicateurs environnementaux. moi ce qui m’intéresse c’est le frottement entre les deux. on a mesuré l’empreinte carbone, sur cette base, quelle décision prendre. avec les enjeux des modes de financement, des déplacements etc.

• Philippe : quelle spécificité du numérique. une des spécificités, le numérique a beaucoup d’impact qui sont indirects. quand on quantifie on reste sur les impacts directs. mais ça manque quelque chose d’essentiel. quand on entre impact indirect on est un peu perdu

On atteint tout de suite les limites de la quantification quand on veut prendre en compte les effets indirects du numérique.

• Clément : À quel moment la recherche de la précision devient une stratégie de temporisation voire une stratégie du doute — Ref aux Marchands de doute (Oreskes et Conway) + Theodore Porter (Trust in Numbers) sur le rôle bénéfique de la quantification dans les démocraties (pour l’accountability des décisions publiques) mais aussi ses aspects négatifs : déplacer la Q de de la responsabilité vers les détenteurs de l’objectivité (par manque de courage politique)
  La place des chiffres pour la critique politique même s’ils sont incertains (cf rapport du Shift dont les chiffres controversés ont l’air d’avoir des effets politiques)

• Sophie : dès qu’on produit un chiffre on a perdu : produire un chiffre va recentrer sur où va se positionner le débat. la controverse comme méthode d’action du chiffre, on pose un chiffre et on place le débat. Mais nous on est sommé de donner des chiffres, sans quoi l’objet n’existe pas. mais ensuite le débat se concentre exclusivement sur ces chiffres et être incapable de dézoomer.

• Jacques : le shift étant un think tank, ce n’est pas si grave que ces chiffres soient imparfaits : mais dans la recherche, c’est beaucoup plus risqué, on ne peut pas se permettre de faire ça; donc ça nous oblige dans le monde académique à prendre position en réaction. la stratégie n’est pas mauvais mais on ne peut pas l’adopter dans lem onde académique.

• Antoine : sur le cas du shift, ce qu’on peut retirer de ça, on voit bien qu’il y a une différence, la propriété d’un nombre en tant que tel et ses effets; un nombre peut être jugé d’un point de vue épistémique comme dysfonctionnel et des effets forts. il faut toujours les dissocier. et il faut comprendre où le nombre circule. où ont eu lieu ces réactions négatives, quels effets, de court terme, de long terme, il y a une seconde vie des nombres une fois sortis de leur contexte de production. sur les questions de précision, ce sont des vieux débats, texte de Oscar Morgenstern états unis 1950, mathématicien, sur la précision après la virgule, les nombres sont chargés d’un halo d’objectivité, évoluation dans le rapport aux connaissance (Lauren Daston et Peter Galison), principe d’objectivité qui fait disparaître les opérations rattachées à la production de ces nombres.
  Daston L., Galison P., 2007, Objectivity, New York : Cambridge, Mass, Zone Books ; Distributed by the MIT Press, 501 p.

• Sophie : le problème de quels chiffres on produit. penser d’abord la stratégie et ensuite les chiffres qu’on veut produire. est-ce qu’on a à l’inverse des questions qui arrivent sans être le produit d’un chiffre.
  Comment amener des questions sur la place publique sans sortir des chiffres ? (surtout si on sait qu’ils sont fake)

Antoine : Dissocier le nombre (et comment il est produit) de ses effets (comment il a circulé)

Clément : Pour répondre à la question de Sophie :
Ref Isabelle Bruno et al Statactivism : mettre à l’agenda politique peut se faire avec des chiffres produits simplement
https://www.editionsladecouverte.fr/statactivisme-9782355220548
Idée 1 : Redéfinir des termes : violence conjugale -> féminicide, impact environnemental -> écocide (au sens juridique). Cf Elina Eriksson qui disait qu’il faudrait arrêter de parler d’impacts environnementaux et parler de dégâts.
“Computing as Ecocide” https://limits.pubpub.org/pub/a8h46wqy/release/1

Post de blog “Anthropocène, dis-moi combien tu t’appelles” qui permet de revenir à une description qualitative des chiffres utilisés dans le débat sur l’anthropcène : https://www.terrestres.org/2019/05/26/anthropocene-dis-moi-combien-tu-tappelles/
Idée 2 pour éviter la prodution de chiffres : l’utilisation d’image frappante dans les médias -> suciter l’émotion (critiquer car stigmatise des lieux et des pop, les fige dans un certain imaginaire) mais à aussi l’effet de mettre à l’agenda publique, qui lui-même souvent passera de à la production de chiffre pour les raisons d’accountability mentioné plus haut (chiffre qui d’ailleurs sont souvent sortis du chapeau car pas le temps de faire des études sur tout)

• Sébastien : Kate Crawford, Anatomy of AI, cartographier toutes les activités liées à l’IA https://anatomyof.ai/ + le bouquin en français, narartion, récit, avoir des approches qui se revendiquent scientifique tout en étant très narratives
  Travail de Kate Crawford
  Crawford K., Joler V., 2019, « Anatomy of an AI System », Virtual Creativity, 9, 1, p. 117‑120.

• Clément : cette carto est au centre du lab IA de Jussieu! (quels effets politique de cette carto du coup…)

• Antoine : deux courants sur la mise en chiffre : la tyranie des chiffres, technicisé le débat. VS les nombres sont fragiles ils dépendent de tas de contexte pour être élaborés et donc ils ne sont pas si puissants que cela.
  est ce qu’on peut dénoncer critique sans mise en chiffre : rapprocher cela de la sociologie des problèmes publics, ouvrage de synthèse d’Erik Neveu, nombreux problèmes sanitaires sont liésà des chiffres mais ce n’est pas suffisant en tant que tel. identifie plusieurs phases : identification du problème, son cadrage, … et sa popularisation. dans la socio des problèmes publics on peut puiser des outils analytiques pour parler d’une situation sans reposer que sur les chiffres. les entrepreneurs de cause, qui donnent de la puissance à une analyse. pas certain que le chiffre du shiftproject fait par une asso locale sans accès aux media nationaux, ce serait resté peut-être un chiffre très circonstancié sans aura. Donc rôel des entrepreneurs de cause ayant accès à des ressources financères qui donne de l’écho. le livre de Neveu recense de nombrruses études de cas intéressant à regarder.
  → Neveu É., 2015, Sociologie politique des problèmes publics, Paris, Armand Colin (Collection U), 288 p.

• Sophie : on est parti de quantification et maintenant on parle de chiffres. le fameux chiffre de l’action individuel et l’action collective, un chiffre qu’on peut se jeter à la figure. mais si on revient à l’acv : un moulinette qui produit notre chiffre, et le chiffre collectif dont on peut discuter. voir le rapport de Carbon4? mais ça peut être aussi un outil qui permet de transformer son rapport à soi même. ce qui me questionne c’est l’articulation invididuel https://www.carbone4.com/publication-faire-sa-part

Anne Laure : quantifier pour réfléchir à si je fais telle action, quels impacts principaux, quelles actions, (idée ACV pour chiffre versus analyse de sensibilité (et écoconception[?])). questions suite à la présentation d’Olivier Ridoux la semaine dernière à undonecomputer science qui appelait à un suivi des impacts numérique semblable à ce qui a pu se faire dasn d’autres secteurs, s’appuyant sur des données chiffrés, et je me demandais dans quelle mesure ça peut avoir un intérêt pour de l’évluation environnementale d’avoir des chiffres pour des chiffres.

• Jacques : il y a la question des dynamiques: l’empreinte du numérique telle qu’elle est, et la dynmique. c’est important car donne la trajectoire. donc j’ai l’impression que ça rejoint cette question là. après avoir du monitoring en temps réel c’est autre chose. donc enjeu snapshot à l’intant t et la tendance.

• Antoine : étude de Benoit Martin sur chiffre la criminalité internationale : deux difficultés : criminatlité illégale, donc quelles sources ; et internationale : donc difficulté supplémentaire. c’est une production faite par un bureau de l’ONU qui collecte les données produites par les Etats. et comme toujours on on se dit : c’est quand même le bazar. mais les états n’ont pas les mêmes définitions de la criminalité, les mêmes méthodes de collecte de données, et à la fin on a quand même des nombres 73% etc. La quantification de l’env a des pb similaires : international, effets difficiles à estimer etc. il y a des espèces indénombrables (les moustiques). les insectes sont évalués en masse, avec . toujours lié ensemble les difficultés techniques, épistémiques, les personnes qui produisent les donnes, le périmètre de production. Pour revenir sur les débats constructivismes:
  Benoît Martin
  https://www.cairn.info/chiffrer-le-crime--9782724640106.htm

Clément : Si on revient aux enjeux de l’enseignement, comment on construit une culture du chiffre, typiquement la question de la précision

Jacques: le chiffre est mobilisé bizarrement. en science on se pose une question et on fait un travail pour répondre. et puis compte tenu du protocol on va dire si on peut répondre à la question avec ce chiffre. mais dès qu’on sort de là, on produit un chiffre et on croit qu’il peut répondre à la question. : qu’est ce que le chiffre m’apprend, en quoi je peux répondre à la question grâce au chiffre.

Aurélie : difficulté avec les étudiants et un peu partout, ils font un chiffre ils sont contents, et difficulté à leur faire appréhender le contexte autour.
Sylvain : pas que les chiffres : on fait des raisonnements formels basés sur des chiffres fictifs pour leur montrer que dans le cadre d’une croissance exponentielle certaines solutions ne seront pas effectives.

Aurélie : est-ce qu’il y a eu des références sur quand est ce qu’il ne faut pas quantifier. mauvaise idée, ne va rien apporter, n’apporte pas sans une analyse qualitative avant pour donner à des collègues.

Jacques : Un guide des mauvaises pratiques :-)

Clément : Emmanuel Didier critique Supiot, en mode on peut pas faire sans les chiffres

Desroisières a tenté de catégoriser les façons dont les institutions utilisent les chiffres, alors que Supiot généralse l’approche néo-libérale des chiffres. Il y a des chiffres utiles, comme ceux sur les inégalités. Donc il s’agit de penser à quoi je veux que les chiffres servent. Quels risques de déformation

Ex de Google qui fait du ranking et lutte contre les stratégies d’adaptation

Laurence : Sur son terrain, on voit que l’indicateur n’est pas forcément pertinent.

Antoine : je n’ai pas lu d’article à propos de personnes qui réfléchissent à quantifier et renonceraient en raison des dangers que ça représenterait. par rapport aux étudiant·es, je crois beaucoup à l’approche par étude de cas. Politics of numbers (Mennicken & Salais 2022). pour montrer comment des gens se réunissent, choisissent des modalités de quantification, avec quels effets temporels, quels retours sur les producteurs de nombre etc. le rapport critique ne défait pas au rapport de quantification mais apprend à mettre
Mennicken, A., Salais, R. (dirs.), 2022, The New Politics of Numbers: Utopia, Evidence and Democracy, Cham, Springer International Publishing.

Sophie : Au final on se rend compte que produire des chiffres sans se préoccuper de comment ils vont être utilisés, ça n’est pas responsable. Ça va bien à l’encontre de ce qui se dit dans les labos en informatique