Atoute.org

"La médecine a fait tellement de progrès que plus personne n’est en bonne santé !" *


ARTICLE

Accueil > Médecine 2.0 > Les indicateurs et la Qualité : les enseignements de Google

Les indicateurs et la Qualité : les enseignements de Google

Comment échapper utilement aux indicateurs qualitatifs

Première publication : samedi 30 juillet 2011,
par Dominique Dupagne - Visites : 9521

Je suis de ceux qui critiquent l’évaluation du travail humain à l’aune d’indicateurs objectifs. Cette évaluation par indicateurs est souvent présentée comme incontournable. Pourtant, nous allons voir comment la mesure de la pertinence de l’information a réussi à s’affranchir avec succès de la dictature des indicateurs.

J’ai rédigé il y a quelques jours un article sur le paiement à la performance des médecins. Je me suis appuyé sur une transposition de la démarche Qualité dans le monde culinaire pour en pointer l’absurdité et l’effet délétère sur la qualité réelle du travail et sur son coût.

Certains m’ont accusé de défendre une approche réactionnaire et dépassée : on ne pourrait pas laisser travailler les hommes sans contrôle au risque de graves débordements qualitatifs et financiers. Or, je partage totalement ce point de vue. C’est sur les moyens à employer que nous divergeons.

J’ai déjà développé longuement un point de vue alternatif à la démarche Qualité fondée sur des indicateurs [1].

Ce texte court est destiné à illustrer ces propositions par un exemple concret qui a fait ses preuves. Il ne s’agit plus de cuisine. Il ne s’agit pas non plus de théories fumeuses ou de constructions théoriques impraticables : du concret, rien que du concret qui a fonctionné et qui fonctionne parfaitement au quotidien.

En matière d’information, la qualité est au coeur des débats. Il faut associer à la qualité la notion de pertinence : la bonne information est juste (appréciation complexe), mais elle est aussi celle que nous comprenons et qui nous intéresse. Une information trop scientifique (ou trop vulgarisée) pour notre culture et étrangère à de nos préoccupations n’est pas pertinente. Il en est de même pour le travail : la prestation que nous fournissons doit être de qualité, mais aussi correspondre à ce qui est demandé ou utile au client/patient/usager final. Mais concentrons nous sur l’aspect qualitatif, même s’il est réducteur.

Le problème de l’accès à une information de qualité est vieux comme l’écriture. Il a été géré depuis des siècles par des fiches, des index et des tables des matières.

Lorsque le web est né et que l’information en ligne a explosé, le problème de son évaluation s’est rapidement posé. Nous avons alors reproduit les deux modèles que nous connaissions pour l’information imprimée :

- Les classements humains subjectifs qui alimentaient des annuaires  : Yahoo a créé la table des matières du Web avec une armée d’experts, sur le modèle des fiches et notices bibliographiques utilisés dans les bibliothèques.
- Les index fondés sur des indicateurs objectifs, qui alimentaient les moteurs de recherche  : des robots exploraient les pages et comptaient les occurrences des mots, leur présence dans un titre, dans une phrase en gras, dans un lien, dans les mots clés indiqués par l’auteur. Ils s’agissait d’une simple automatisation des index des encyclopédies qui fonctionnaient déjà sur le même principe. Les indicateurs étaient tous analysés à partir de la page indexée et donc du contenu de l’information.

Rapidement, les limites du classement humain subjectif sont apparues : difficulté à garder une réelle objectivité, possibilité de payer pour être classé plus vite (et sans doute mieux), bagarre entre gestionnaires des annuaires et webmasters mécontents de leur classement. Même DMOZ, annuaire communautaire bien organisé n’a pas réussi à convaincre et s’épuise à lutter contre les tentatives de manipulation.

Nous sommes à la fin des années 90, l’outil le plus utilisé est alors AltaVista, moteur de recherche fondé sur une indexation par indicateurs objectifs. Le problème de ces indicateurs objectifs, c’est que tout le monde les connait. Imaginez un examen dont les sujets seraient connus à l’avance ! La manipulation de ces indicateurs est devenue un sport, puis un métier : le référencement. Il s’agissait "d’optimiser" ses pages pour améliorer leur classement dans Altavista. De l’optimisation à la manipulation, il n’y avait qu’un pas...

Les résultats d’Altavista faisaient la part belle aux pages sans intérêt mais optimisées pour ses indicateurs de pertinence. Les articles de qualité rédigées par des auteurs honnêtes ou tout simplement étrangers aux méthodes d’optimisation étaient reléguées dans les profondeurs des pages de résultats du moteur de recherche.

Commencez-vous à saisir le parallèle avec l’évaluation de la qualité du travail humain à l’aide d’indicateurs objectifs ? Nous en sommes actuellement en matière d’évaluation du travail, au stade où en était l’évaluation de la qualité et de la pertinence de l’information en 1998. Le "référencement" du travail est apparu dans de nombreux métiers jugés sur indicateurs.

Internet étant un des espaces les plus libres que l’Homme ait jamais créé, la solution au problème a émergé spontanément du bouillonnement créatif et darwinien que constitue le Web. Nulle intervention gouvernementale, nul besoin d’un quelconque organisme de régulation : deux étudiants ont réuni et perfectionné quelques idées qui germaient dans le monde universitaire et les ont transformées en un projet concret.

Ce projet, en totale rupture avec le passé, appliquait un traitement scientifique et statistique à la subjectivité humaine, en faisant le pari qu’après ce traitement, cette subjectivité serait très supérieure la pseudo objectivité des indicateurs qualitatifs habituels.

Au lieu d’analyser le contenu des pages, Google a analysé les liens entre les pages : si une page reçoit de nombreux liens d’autres pages qui traitent du même sujet (contiennent le(s) mot(s) cherché(s)), la probabilité qu’elle soit de qualité et pertinente pour ce mot/sujet est importante. Notez que contrairement à une idée aussi fausse que répandue, il s’agit bien du nombre de liens créés par des rédacteurs et non de simples visites d’internautes. Une page n’est pas bien classée dans Google parce qu’elle est populaire, mais parce qu’elle est citée par d’autres auteurs.

Imaginez la transposition de ce concept dans l’évaluation du travail humain : plutôt que de mesurer la valeur d’indicateurs limités, contestables, trucables et rarement universels, utilisons la méthode Google :
- Il est demandé à chaque employé d’une unité de production de signaler ceux qui font bien leur travail parmi leurs collègues et leur hiérarchie directe.
- L’évaluation est anonymisée et personne ne peut savoir qui apprécie qui (pour éviter les "échanges de bons procédés".).
- L’avis de ceux qui sont appréciés par leurs collègues compte plus que ceux qui ne le sont pas (Google applique ce principe, voir le dessin du PageRank ou la flèche provenant de sujets importants (gros) a plus de poids).

Notre première réaction, instinctive, à la lecture de ces critères, est un rejet immédiat tant nous sommes conditionnés depuis nos études à rechercher des critères objectifs et à rejeter la subjectivité considérée comme "pré-scientifique".

Et pourtant, c’est ainsi que nous fonctionnons dans la vraie vie : quand nous cherchons un avocat, un médecin, un coiffeur, un restaurant, nous nous fichons d’indicateurs objectifs (diplômes, certifications officielles). Nous cherchons à prendre l’avis de nos amis (au sens large) ou, et de plus en plus, des opinions documentées dans les forums, blogs et espaces de discussion. Bref, nous nous fions au réseau d’avis subjectif qui entoure ce que nous cherchons à évaluer.

Passée la première réaction de rejet, nous percevons instinctivement que malgré ses défauts, cette méthode est la plus mauvaise... à l’exception de toutes les autres ! Mais la majorité d’entre-nous bloquent à l’idée d’étendre cette méthode au delà du cercle privé, comme si nous en avions honte.

Imaginez le climat social dans une entreprise où chacun serait préoccupé par l’image que ses collègues ont de lui plus que ses indicateurs et objectifs chiffrés ? Ce climat ne serait-il pas différent de celui qui sévit actuellement ? Les valeurs humaines, l’entraide, la collaboration n’auraient elles pas une toute autre place. Actuellement, un agent qui passe une part importante de son temps à aider les autres dans la réalisation de leurs objectifs est mal noté car il manque de temps pour atteindre les siens. C’est un désastre humain, mais aussi économique, car l’achèvement de la tâche globale de l’équipe est altérée et ralentie. Un travail de qualité est fondé sur l’entraide, la confiance, l’amitié et la solidarité [2]. La rémunération à la performance obtient l’effet inverse.

Actuellement, il s’agit surtout de cultiver son image vis-à-vis de sa hiérarchie. La flagornerie et les PowerPoint sont rois. Or il est beaucoup plus facile de manipuler ses objectifs ou son patron que l’ensemble de ses collègues.

Je ne suis pas inquiet pour l’avenir, car tel le Web, le monde de l’entreprise est également un bouillon créatif darwinien. Ces approches subjectives commencent à apparaître et je sais qu’elles finiront pas s’imposer. Leur principal frein est qu’elles supposent une évaluation franche des dirigeants par leurs subordonnés, et que ce sont les dirigeants qui décident ou non de les mettre en place. Le mouvement viendra sans doute des actionnaires...

Google n’a pas eu besoin de convaincre les dirigeants du Web car ils n’existent pas. Il a proposé son outil révolutionnaire en 1998 et en quelques années, le public l’a adopté. Altavista a été racheté par Yahoo qui n’en fait rien, et l’annuaire de sites de Yahoo qui avait fait son succès n’est même plus présent sur le site www.yahoo.com.

Google fonctionne et fait la preuve au quotidien de sa supériorité sur les anciens systèmes. L’algorithme de traitement de la subjectivité de Google [3] n’est pas parfait mais fonctionne infiniment mieux que n’importe quelle autre méthode fondée sur des indicateurs qualitatifs objectifs. Le moteur de recherche vedette a démontré la valeur de la subjectivité quand elle est traitée correctement.

Soyons patients, ce n’est qu’une question de temps. Attendons que les jeunes nés avec internet et nourris au biberon 2.0 arrivent en position de décideurs.

Les impatients pourront espérer que le système s’écroule de lui-même, car la mesure de la qualité financière des banques par les indicateurs objectifs de Moody’s obéit à la même absurdité que l’évaluation actuelle du travail humain. Plutôt que de la notation des agences, je rêverais de savoir où les gestionnaires ont investi leur propre argent, voila qui serait un indicateur qualitatif performant, non ?

En attendant, nous appliquons la philosophie Shadok :

Conflit d’intérêt : l’auteur a créé une société qui travaille sur un projet inspiré des méthodes décrites.


[1Je vous conseille également la lecture de ce bref et brillant article Des indicateurs pour les Ministres au risque de l’illusion du contrôle par Anne PEZET et Samuel SPONEM qui explique pourquoi les indicateurs ne doivent pas être employés pour évaluer le travail. Merci à Bruno Assemat qui me l’a signalé après la première publication de cet article.

[2Lire à ce sujet la très belle aventure des hôpitaux magnétiques.

[3Depuis sa création, l’algorithme de Google s’est beaucoup complexifié, et il intègre aussi des éléments objectifs, mais non manipulables. Par exemple, Google examine notre comportement face à la page de résultats qu’il nous fournit. Si nous revenons aux résultats quelques secondes après avoir consulté une page proposée, c’est probablement qu’elle est peu pertinente et elle sera déclassée dans les recherches ultérieures. Au contraire, la dernière page que nous consultons qui termine notre exploration des résultats a des chances d’être plus pertinente que les autres puisqu’elle semble avoir répondu à notre besoin.

Il y a 2 messages sur ce forum.

Messages

  • Je viens de découvrir (enfin) votre site et les forums que vous avez créé.
    Merci infiniment.

    Concernant le sujet abordé, celui de changer les relations humaines en particulier dans le monde du travail, qui m’intéresse particulièrement (c’est grâce au forum "changer d’ère" que j’ai pu mettre un visage sur votre nom), je ne peux partager totalement votre optimisme envers les méthodes de subjectivité "scientifique".

    D’abord, tout comme pour Altavista, des méthodes de référencements existent pour l’algorithme de Google... Et le SEO n’est pas prêt de s’éteindre, quelle que soit l’évolution des techniques.

    Ensuite, parce que dans la création d’un indicateur qualitatif du travail humain, une technique similaire risque d’arriver à un résultat similaire : un changement de comportement pour répondre positivement à l’évaluation.
    Vous pourriez me répondre que cet effet secondaire est bénéfique. Aussi je vous inciterais à lire le roman SF d’Alain Damasio "La zone du dehors", qui explore une mise en pratique de ce système à l’échelle d’une société, à l’extrême.

    Ce qui me semble le plus difficile avec la "problématique" de la définition d’indicateurs "performants" pour l’activité humaine, c’est justement la quasi indétermination quantique naturelle de cette dernière : la volonté de mesurer un état de façon systématique ne peut être inconnue du sujet-objet, qui en conséquence modifiera son état à cause de la présence de la mesure...

    Pire que la physique quantique, le cerveau humain est à l’origine d’une terrible discipline : la psychologie. Ainsi toute tentative de traitement "normatif" systématique de l’humain a de fortes chances d’avoir des conséquences différentes du but recherché. :D

    Une organisation hétérarchique ne peut-elle pas se passer d’indicateurs systémiques sur l’humain ? Le changement est-il donc vraiment à chercher au niveau des indicateurs ?

    Au plaisir de continuer à vous lire.

    • Bonjour
      Je réponds avec grand retard à votre message...

      Si l’algorithme de Google est manipulable, il l’est infiniment moins que le classement de feu Altavista. Le SEO n’agit qu’à la marge sur le classement, c’est le contenu qui compte désormais. Je dirais que l’algo de Google est le pire à l’exception de tous les autres ;-)

      Je vais lire le livre de Damasio.

Un message, un commentaire ?

modération a priori

Ce forum est modéré a priori : votre contribution n’apparaîtra qu’après avoir été validée par un administrateur du site.

Qui êtes-vous ?
Votre message

Pour créer des paragraphes, laissez simplement des lignes vides.

Ajouter un document

Pour répondre à un autre commentaire, mentionnez le nom de son auteur précédé d'un "@" au début de votre message.

Version imprimable de cet article Version imprimable