Accueil Désinformation Sophia : les mauvais calculs de la CNAMTS
Publié le
7 mars 2013

Auteur :
Dr Dominique Dupagne

Google

Imprimer

Lire sur grand écran







Entrez votre email pour être averti des nouveaux articles
sur Atoute




Dans la même rubrique :

Le CEDUS, le sucre, et les enfants
La cigarette électronique est utile et n’est pas dangereuse
Le faux scandale des sondes d’échographie contaminées
Madame la Ministre, ils sont devenus fous !
Retrait de Diane 35, comment en est-on arrivé là ?
Stratégie d’influence
La vie rêvée de Christian Saout
Inertie clinique, inertie thérapeutique et résistance au changement
Touche pas à ma prostate !
Grippe saisonnière : 7000 morts d’après les organisateurs, 500 d’après la police
Il faut sauver le docteur Goubeau
La presse santé dangereuse ?
Radio IFM = Radio Sanofi
L’intérêt de sophia pour les diabétiques reste à prouver
Le gouvernement veut faire le ménage dans les avis de consommateurs
14 médecins baissent leur pantalon...
Conflits d’intérêts, n’oublions pas les journalistes
Education thérapeutique du patient : le député Jacquat invite le renard dans le poulailler
Vaccination grippale : Le plan secret de Roselyne Bachelot
Les vaccins contre la grippe au pays de la transparence


Sophia : les mauvais calculs de la CNAMTS

"Je ne crois qu’aux statistiques que j’ai falsifiées moi-même"

Sir Winston Churchill

La Caisse Nationale d’Assurance Maladie des Travailleurs Salariés (CNAMTS) s’est lancée en 2009 dans le "disease management". Elle a commencé avec le diabète en mettant en place le programme d’accompagnement Sophia. Malheureusement, les résultats de Sophia ne sont pas à la mesure des enjeux de cette maladie malgré les importants moyens engagés. Pour dissimuler cette réalité, la CNAMTS a refusé de rendre public le rapport d’évaluation réalisé par une société extérieure. Elle a également modifié, tronqué et falsifié les seules données portées à la connaissance du public et des professionnels de santé.

Le programme Sophia est décrit sur le site dédié de la CNAMTS. Sophia propose aux diabétiques un accompagnement pédagogique dans le but de les aider à mieux gérer leur maladie. L’objectif secondaire est de diminuer les coûts de cette maladie très répandue, ou au moins d’autofinancer le service. Les moyens mis en oeuvre sont représentés par une plate-forme téléphonique, des brochures informatives et un site internet dédié à la maladie. Les infirmier(e)s qui animent la plate-forme téléphonique sont formées pour répondre aux questions générales sur le diabète (mais pas pour donner des avis personnalisés sur l’intérêt des traitements ou leurs inconvénients). Il s’agit bien d’accompagnement du patient et non de télémédecine.

Le coût annuel du programme Sophia était de 396 € par an et par diabétique adhérent lors de sa première année (2009). Il a baissé à 116 € en 2011 du fait de l’amortissement des coûts initiaux. Ce montant équivaut à 5 consultations de généraliste, à 4 consultations de diabétologue ou à 14 visites d’une infirmière à domicile pour contrôle de la glycémie et injection d’insuline.

Une évaluation biaisée d’emblée

Le programme Sophia a été évalué par une société extérieure (CEMKA EVAL) sous contrat avec la CNAMTS.

Les seuls compte-rendus de cette évaluation rendus publics par la CNAMTS figurent dans deux dossiers de presse publiés en 2011 et 2013. Le premier dossier de presse reprend les conclusions du rapport CEMKA EVAL, finalisé en 2010. Il concerne l’année 2009 du programme. À la lecture du dossier de presse de 2011, je m’étais ému des faiblesses de cette évaluation dans un billet très critique. J’y demandais la publication du rapport d’évaluation complet.

Ce rapport d’évaluation de 2010 n’est toujours pas public en 2013

En 2012, le syndicat FMF, nouveau partenaire conventionnel, a été invité à désigner un représentant au conseil scientifique du programme Sophia. J’ai accepté leur proposition d’entrisme et j’ai donc pu assister à une réunion. J’ai également pu obtenir copie de ce rapport confidentiel.

J’y ai découvert que le protocole d’évaluation mis en place avait été biaisé d’emblée : plutôt que de créer deux groupes tirés au sort (randomisés) et donc comparables [1], le choix a été fait de comparer le groupe auquel Sophia a été proposé dans les départements pilotes (Groupe "éligible" appelé Sophia ITT), à un groupe témoin (Témoins 2) provenant d’autres départements et censé être représentatif des diabétiques français. Certes, le risque de biais n’est pas énorme, mais il existe. On le constate par exemple dans le tableau récapitulatif des dépenses de ville ci-dessous qui montre une structure de dépenses non comparable malgré des effectifs très importants [2]. Toute l’évaluation reposera donc sur des comparaisons entre des groupes non strictement équivalents, et les ajustements ne pourront pas apporter une sécurité suffisante pour donner du crédit à cette évaluation. C’est d’autant plus gênant que les différences observées entre les deux groupes en fin d’intervention seront très faibles.

Des résultats insignifiants

L’étude des résultats bruts explique peut-être pourquoi ce rapport n’est pas public : l’impact positif de Sophia sur des indicateurs simples comme les dosages sanguins de suivi ou le recours conseillé à des consultations spécialisées est insignifiant. L’incitation à réaliser ces dosages ou à consulter régulièrement un ophtalmologiste ou un cardiologue représentait pourtant l’essentiel de la mission des téléconseillers Sophia.

Cette situation était fâcheuse pour la CNAMTS qui a de grandes ambitions pour son projet de disease management à la française. Malgré les efforts de CEMKA EVAL pour mettre en valeur son commanditaire grâce à des comparaisons multivariées [3], les chiffres sont cruels et montrent que Sophia ne sert pas à grand-chose. Un simple coup d’oeil sur les graphiques ci-dessous montre que la différence de progression entre le groupe Sophia ITT en bleu et le groupe Témoins en vert est peu probante, même si elle est parfois statistiquement significative. Notez au passage que le groupe des Adhérents Sophia (en rouge) est très différent des autres avant le début du programme.

Une présentation malhonnête des résultats

Chacun peut penser ce qu’il veut de ces chiffres, mais l’élément le plus dérangeant à mes yeux est que la CNAMTS a toujours présenté des synthèseses tronquées et parfois falsifiées de cette évaluation, notamment dans ses dossiers de presse de 2011 et 2013, sans jamais publier le rapport lui-même.

En effet, l’évaluateur CEMKA EVAL avait logiquement travaillé en intention de traiter. Cela signifie que les évaluateurs ont comparé le groupe auquel le programme a été proposé (que les diabétiques aient accepté ou non) dit Sophia ITT, au groupe Témoin issu d’autres départements, et n’ayant pas eu accès au programme. C’est la règle en matière d’évaluation pour ne pas introduire de biais liés à la personnalité des diabétiques, dont le profil est différent selon qu’ils acceptent ou non de participer au programme [4].

Fonder l’évaluation de Sophia sur la comparaison d’autres groupes que le groupe Sophia ITT et le groupe Témoins n’aurait donc aucun sens. D’ailleurs, les graphiques montrent que le groupe des patients ayant adhéré à Sophia et le groupe de ceux ayant refusé le programme ne sont initialement ni comparables entre eux, ni comparable à Sophia ITT, ni comparables au groupe témoin. Sans surprise, les adhérents volontaires pour Sophia (rouge) sont plus vigilants sur leur santé et ont un meilleur score de départ pour leur suivi que les non-adhérents (violet). Ces différences initiales se retrouvent intialement sur de nombreux critères importants comme l’âge, le poids ou le nombre de recours à des médecins spécialistes.

En pratique, les seules comparaisons à peu près valides sont donc celles qui concernent le groupe Sophia ITT et le groupe Témoin 2. Les autres comparaisons introduisent des biais majeurs qu’aucun ajustement a posteriori ne peut prétendre corriger totalement. Je dis "à peu près valides" car nous avons vu que le groupe Sophia ITT et le groupe Témoin ne sont pas exactement comparables au départ.

Mais venons-en à la manipulation opérée par la CNAMTS dans son dossier de presse de 2011.

Dans son dossier de presse de 2011, la CNAMTS a fait supprimer le groupe Sophia ITT du graphique et compare à plusieurs reprises le groupe Sophia Adhérents au groupe Témoins, introduisant des biais majeurs : la courbe bleue a disparu. La CNAMTS a modifié le graphique issu du rapport et tronqué l’expression des résultats dans le tableau qui lui est attaché [5].

La CNAMTS a donc fait disparaître le seul groupe valide pour l’évaluation de son programme. Ce comportement, associé à la non diffusion du rapport complet, est à l’évidence malhonnête.

L’évaluation financière est "ajustée"

L’autre objectif de cette évaluation était de montrer que le programme Sophia permettait une économie dans la prise en charge du diabète. Cet objectif était difficile à atteindre puisque le programme consistait justement à inciter les diabétiques à consulter plus souvent leur ophtalmologiste et à réaliser plus régulièrement des analyses de contrôle du diabète. Les coûts de médecine de ville ont donc logiquement augmenté dans le groupe Sophia [6].

À défaut d’économies en ville, les évaluateurs se sont alors intéressés aux coûts hospitaliers. En voici les données brutes :

Comme vous pouvez le constater, rien d’intéressant ne sort de cette comparaison. D’ailleurs, les "meilleurs élèves" sont les non-adhérents au programme, ce qui n’est pas vraiment en faveur d’une économie liée à Sophia.

Voyons comment la CNAMTS va présenter cette réalité qui la dérange dans son communiqué de presse de 2011 :

Ce tour de passe-passe est apparemment permis par des "ajustements" [7] entre le groupe Sophia ITT et le groupe Témoin 2 pour tenter de trouver une économie qui n’existe pas, tout en cachant l’information fondamentale qui est que la croissance la plus faible des coûts hospitaliers est observée dans le groupe non-adhérent.

PDF - 451.8 ko
Dossier de Presse Sophia 2013

Enfin, pour ce qui est de la "réévaluation médico-économique dans la durée", la CNAMTS a trouvé la meilleure solution : s’évaluer elle-même. C’est donc sans l’aide ni la caution d’un organisme extérieur que la CNAMTS a publié de nouveaux chiffres dans un dossier de presse en 2013, toujours sans permettre l’accès aux données source.

En voici un extrait :

Vous comprenez sans doute comme moi que les adhérents Sophia réalisent 30% d’électrocardiogrammes en plus que dans la population témoin et sont 45% plus nombreux à consulter un l’ophtalmologiste ?

Il n’en est rien. La CNAMTS s’est un peu emmêlée les statistiques. Il faut comprendre que c’est l’augmentation de ces pratiques qui a elle-même augmenté d’un facteur 1,30. Par exemple, le nombre de patients réalisant un ECG est passé de 41,1% à 48,7% (+7,6%) dans le groupe Sophia et de 34,5 à 40,2% dans le groupe témoin (+5,7%) [8].

L’augmentation relative de l’augmentation absolue est bien de 1,30 (soit 7,6/5,7), mais cela ne correspond pas, comme l’écrit la CNAMTS, à la différence de probabilité de réaliser un ECG entre ces deux groupes.

Donc, non seulement la CNAMTS n’a pas été capable de mettre en place un protocole d’évaluation correct, mais elle dissimule les données brutes et falsifie les données rapportées dans ses dossiers de presse et qui sont les seules disponibles.

Les Shadoks me font rire à la télévision, mais pas dans la vraie vie. Comme le recommande l’IGAS dans son rapport critique, ces budgets seraient mieux employés dans les mains des acteurs locaux du soins.

Je suggère que les pouvoirs publics exigent de la CNAMTS la publication du rapport complet CEMKA EVAL, ainsi que les dossiers préparatoires de cette évaluation. Chacun pourra se faire une idée précise de Sophia. De plus, il serait sain que la prochaine évaluation soit commanditée et pilotée par l’IGAS et non par la CNAMTS pour éviter de nouvelles manipulations.

Liens d’intérêts : je n’ai pas de liens d’intérêts avec les industriels du diabète ni avec les programmes d’accompagnement des patients. Je vais demander mon retrait du comité scientifique de Sophia en même temps que la publication de cet article. Je suis adhérent aux syndicats FMF et SMG.

Notes

[1] Lorsque les effectifs comparés se comptent en centaines de milliers d’individus, comme c’est le cas ici, la probabilité pour qu’il persiste des différences importantes entre des groupes obtenus par tirage au sort est proche de zéro.

[2] Les disparités significatives entre ces groupes en terme de postes de dépenses de santé peuvent peut-être s’expliquer par une offre de soins différente dans les départements d’où proviennent les populations étudiées.

La création d’un groupe d’intervention et d’un groupe témoin par tirage au sort global aurait permis de s’affranchir du biais géographique. La société CEMKA EVAL ne justifie pas clairement la raison pour laquelle cette randomisation n’a pas été effectuée, la présentant comme "impossible techniquement".

[3] Comparaisons effectuées sans doute à la demande la CNAMTS, et qui lui donnent lui-même le vertige. La conclusion prudente de CEMKA est reprise dans un rapport de l’IGAS. Je cite l’IGAS : "Le moins que l’on puisse en conclure, c’est que l’on ne peut pas conclure...aux effets positifs médico-économiques d’un programme, mis en place une année auparavant et qui montre seulement une amélioration des indicateurs de suivi sur un segment des assurés diabétiques, déjà mieux soignés que les autres. C’est d’ailleurs ce que souligne le rapport : « En l’absence d’effets sur les indicateurs cliniques, il est prématuré de se poser la question de l’efficience économique du programme...La décision d’extension du programme à l’ensemble du territoire français et à d’autres pathologies a été prise récemment. Cette décision se justifie au moins sur le plan de la recherche d’économies d’échelle...Cette démarche devrait être accompagnée d’un suivi évaluatif. »”.

[4] La puissance du test en pâtit mais cette faiblesse peut être compensée par des effectifs importants, comme c’est le cas dans cette évaluation.

[5] Dans le dossier de presse 2011, l’existence de 4 groupes est bien mentionnée page 10 mais le groupe Sophia ITT retiré du graphique est appelé "groupe éligible". Il est question d’un 5e groupe témoin (ENTRED) dont je ne parle pas volontairement pour ne pas alourdir l’analyse, bien qu’il y ait beaucoup à dire à ce sujet.

[6] Comme c’est systématiquement et logiquement le cas dans ce type de programme, ainsi que le rappelle le rapport de l’IGAS dans cet extrait.

[7] Un ajustement est une correction des chiffres bruts pour tenter de limiter l’influence d’un biais statistique. Ces ajustements auraient été inutiles si les échantillons avaient été randomisés au départ. Ces corrections ouvrent la porte à toutes les manipulations et nuisent beaucoup à la crédibilité des résultats.

[8] En fait, un tableau récapitulatif des odd-ratios des améliorations relatives entre les groupes est présent dans le dossier de presse 2013 page 7, avec les chiffres ajustés qui ont permis d’obtenir 1,45 et 1,30.


Documents joints à l'article

Extraits Sophia du rapport de l’IGAS (PDF – 852.6 ko)




Tweet Suivez-moi sur Twitter






34 Messages de forum

Réagir à cet article