Accueil Désinformation L’intérêt de sophia pour les diabétiques reste à prouver
Publié le
20 juin 2011

Auteur :
Dr Dominique Dupagne

Google

Imprimer

Lire sur grand écran







Entrez votre email pour être averti des nouveaux articles
sur Atoute




Dans la même rubrique :

Le CEDUS, le sucre, et les enfants
La cigarette électronique est utile et n’est pas dangereuse
Le faux scandale des sondes d’échographie contaminées
Sophia : les mauvais calculs de la CNAMTS
Madame la Ministre, ils sont devenus fous !
Retrait de Diane 35, comment en est-on arrivé là ?
Stratégie d’influence
La vie rêvée de Christian Saout
Inertie clinique, inertie thérapeutique et résistance au changement
Touche pas à ma prostate !
Grippe saisonnière : 7000 morts d’après les organisateurs, 500 d’après la police
Il faut sauver le docteur Goubeau
La presse santé dangereuse ?
Radio IFM = Radio Sanofi
Le gouvernement veut faire le ménage dans les avis de consommateurs
14 médecins baissent leur pantalon...
Conflits d’intérêts, n’oublions pas les journalistes
Education thérapeutique du patient : le député Jacquat invite le renard dans le poulailler
Vaccination grippale : Le plan secret de Roselyne Bachelot
Les vaccins contre la grippe au pays de la transparence


L’intérêt de sophia pour les diabétiques reste à prouver
Le programme d’aide aux diabétiques de l’assurance maladie n’a pas été correctement évalué

Les résultats du programme d’assistance aux diabétiques Sophia sont mal évalués. Les publications disponibles sont d’une faiblesse méthodologique inacceptable. Généraliser un tel programme alors que son bénéfice est aussi mal validé paraît prématuré.

Ajout du 8 mars 2013. Cet article est obsolète. Se référer à celui-ci http://www.atoute.org/n/Sophia-les-... .

Il apparaît donc que les fautifs ne sont pas chez CEMKA EVAL, mais à la CNAMTS qui a tronqué, dissimulé et falsifié les résultats du rapport d’évaluation.

Sophia est le nom d’un programme d’assistance aux diabétiques organisé par l’Assurance Maladie.

Son objectif est “d’accompagner les patients qui le souhaitent, en fonction de leur état de santé et en relais du médecin traitant, pour les aider à mieux vivre avec la maladie et en prévenir les complications.”

Dans un document publié en mars 2011, l’Assurance Maladie (AM) diffuse les résultats d’une évaluation externe, sous le titre :

“100 000 adhérents pour sophia et des premiers résultats médico-économiques encourageants”

PDF - 550.4 ko

Dans ce même document, l’AM déclare : “Près de trois ans plus tard, sophia poursuit son déploiement à grande échelle.”

Or comme nous allons le voir, nous ne disposons d’aucun élément permettant de considérer cette évaluation comme une validation de l’intérêt du projet, et un déploiement paraît prématuré. Une analyse de l’IGAS en 2006 insistait pourtant sur la nécessité d’expérimenter et d’évaluer une telle stratégie avant de la généraliser.

1) Effet sur la santé des diabétiques

Contrairement à ce qui est affirmé, nous ne disposons d’aucun élément démontrant que les diabétiques adhérents au programme sont en meilleure santé.

Tout au plus constate-t-on que les incitations à réaliser certains examens recommandés sont suivies d’effet. C’est bien le moins que l’on puisse attendre d’un programme qui consiste essentiellement à rappeler régulièrement aux patients par téléphone qu’ils doivent pratiquer ces mêmes examens. Cela ne prouve pas que la santé des diabétiques en est améliorée pour autant.

Nous n’avons aucune information sur l’ensemble des critères (normalement définis en début de programme) sur lesquels ont porté l’évaluation. Cette absence de publication initiale du design de l’étude d’évaluation altère la crédibilité des critères sélectionnés, suspectés d’avoir été choisis a posteriori pour accréditer l’efficacité du programme.

Un tableau (page 7) compare le taux d’HbA1c des adhérents sophia à ceux d’autres diabétiques issus d’une autre étude, antérieure. Faut-il en déduire que nous n’avons donc pas de groupe contrôle, qui aurait pu être constitué par randomisation de la proposition d’adhésion ? C’est important et nous y reviendrons. Notons au passage que les différences observées dans ce même tableau, déjà faussées par des échantillons non comparables, ne sont assorties d’aucune quantification de leur significativité statistique. Cette présentation de résultats ne serait pas acceptée dans une revue scientifique.

2) Effets sur les hospitalisations, notamment sous l’angle économique

Trois critères ont été étudiés (page 8)

Pour évaluer “l’effet sophia”, les adhérents sont cette fois comparés à un groupe témoin. Il est précisé “hors département sophia”. Curieusement, ces groupes témoins n’ont pas été utilisés à la page précédente pour mesurer l’évolution de l’HbA1c, remplacés comme nous l’avons vu par des données issues d’une étude antérieure sur un autre échantillon.

Nous n’avons pas de données sur la comparabilité des échantillons sophia et témoins. Cette étude de comparabilité est importante car les adhérents sophia sont des volontaires et donc non représentatifs (comme indiqué dans l’étude page 5, notamment plus jeunes et avec un diabète plus récent que les non adhérents).

Une évaluation fiable de l’effet sophia aurait supposé, comme dans toute étude d’intervention bien menée, la constitution de deux groupes randomisés avant la proposition d’adhésion au programme. Il est regrettable que l’AM ne se soit pas assurée le concours de méthodologistes qualifiés avant de lancer son programme. Le résumé de la méthodologie page 10 n’explique pas comment a été constituée la population témoin. Quand bien même des ajustements ont été réalisés sur l’âge et le profil du diabète, le biais “adhésion à un programme de suivi” ne peut être prise en compte et il ne peut être exclu qu’il soit majeur : l’adhésion à un programme de suivi est susceptible d’attirer des diabétiques plus motivés pour lutter contre leur maladie, plus compliants au traitement et suivant une meilleure hygiène de vie.

Cette différence est d’ailleurs retrouvée dans l’étude portant sur les frais d’hospitalisation à T0 qui montre une différence initiale supérieure à 10% avant toute intervention.

Le suivi de la consommation dans les deux groupes, qui, rappelons le, ne sont pas comparables, aboutit d’après l’AM à “des évolutions un peu plus importantes dans le groupe témoin que dans le groupe sophia”.

Cette formulation surprenante évoque plus le marketing pharmaceutique des années 70 qu’un rapport de biostatistique.

Les chiffres sont présentés sous forme de larges fourchettes, sans moyenne, ni total par groupe, et sans comparaison chiffrée et évaluée statistiquement. Une telle absence de transparence laisse habituellement augurer des résultats peu concluants, voire défavorables.

Il est précisé (page 8) que des variables confondantes ont été prises en compte par “plusieurs méthodes d’ajustement” sans précision sur le critère de choix de cette méthode. Nous avons déjà vu que l’absence de randomisation rend les échantillons structurellement incomparables du fait du biais d’acceptation du programme. Ecrire que ces méthodes d’ajustement permettent d’obtenir une “comparaison précise et fiable” est scientifiquement incorrect. En l’absence de renseignements précis sur l’ajustement de ces variables, le terme "toilettage" vient à l’esprit du lecteur critique.

A la fin de la page 8, il est affirmé que des ajustements ont été réalisés sur un autre critère : le pourcentage de patients hospitalisés au moins une fois dans l’année. Nous n’avons pas de résultat brut, ni avant, ni après ajustement. Les résultats ne mettraient pas en évidence de différence significative. Nous ne savons pas comment ce critère a été choisi, ni s’il existait d’autres critères potentiellement intéressants.

La page 9 nous apprend que les ajustements ont également été réalisés pour calculer l’évolution des dépenses hospitalières, précédemment citées par de vagues fourchettes. Une diminution chiffrée est cette fois fournie, en précisant que sa significativité est “variable suivant la méthode d’ajustement retenue”. Formulation toujours aussi surprenante...

Enfin, la page 10, qui donne des bribes d’information sur la méthodologie, ne lève pas les incertitudes préoccupantes qui entourent ce résumé d’évaluation.

En pratique, ce document ressort plus du marketing ou de la profession de foi que de l’évaluation scientifique. La première page nous apprend que malgré l’inexistence de résultats tangibles, l’AM souhaite étendre sophia à la France entière, engageant ainsi des dizaines de millions d’euros. Ce programme serait abondamment cité dans les négociations conventionnelles actuelles. L’impression globale est que cette publication est destinée à valider cette stratégie, et non à l’évaluer.

Il est temps qu’une autorité de tutelle impose à l’AM une évaluation sérieuse et indépendante du programme sophia, par exemple auprès de professionnels universitaires de l’épidémiologie et de l’évaluation.

Utiliser un document d’une telle médiocrité pour promouvoir un programme aussi important que sophia est insultant pour les médecins généralistes, principaux partenaires du projet, dont la formation inclut une formation biostatistique suffisante pour en détecter les importantes lacunes.

Le seul intérêt potentiel de cette publication est de fournir un sujet parfait (et ne nécessitant aucune traduction...) aux étudiants en médecine passant l’examen final de Lecture Critique d’Article (LCA). Il faudrait simplement prévoir des copies spéciales pour que les étudiants puissent colliger l’ensemble des entorses méthodologiques relevées à partir de leur grille de lecture, tant sont nombreuses les approximations, omissions ou interprétations tendancieuses contraires à la démarche scientifique.

Droit de réponse

Le responsable de l’évaluation du programme sophia chez CEMKA-EVAL s’est ému des critiques dont il est l’objet dans ce billet. Je lui ai proposé de faire valoir son point de vue sous l’article, le voici :

De la concordance des temps politiques et scientifiques…

Cher Monsieur Dupagne,

Je vous remercie tout d’abord de m’autoriser à exercer un droit de réponse face à votre pamphlet. Je comprends pour partie vos attentes, votre incompréhension et votre intérêt pour un programme tel que SOPHIA et son évaluation. Pour autant, vous auriez du vous renseigner avant de jeter l’opprobre sur un travail et sur une équipe dont vous ne savez manifestement que peu de choses !

Cemka-Eval est un bureau d’études créé il y a 20 ans en réunissant les compétences de spécialistes en santé publique, de médecins, d’économistes de la santé et de statisticiens. Nos compétences sont largement reconnues à travers le nombre élevé de nos publications référencées dans nombre de revues majeures (plusieurs centaines à ce jour) et par la plupart des acteurs publics et privés travaillant dans le champ de la santé. Nous sommes ainsi très régulièrement sollicités pour assurer l’évaluation de nombre de programmes de santé publique en France. Dans le champ du diabète, nous sommes impliqués dans la plupart des études majeures conduites en France sur le plan épidémiologique et économique. Nous intervenons également à l’international sur les mêmes sujets.

L’évaluation du programme Sophia nous a été confiée dans le cadre d’une procédure d’appel d’offres légale. Elle a été placée sous la responsabilité d’un Comité technique d’évaluation comprenant les opérateurs du programme, la CNAMTS et notre équipe et sous l’égide d’un comité scientifique regroupant représentant des patients, des professionnels de santé, etc.

Une revue extensive de la littérature sur l’efficacité des programmes de disease management a été dans un premier temps réalisée et communiquée lors des 1ères journées scientifiques de l’assurance-maladie (Janv 2009). Le rapport complet (81 p) a été remis comme il se doit au commanditaire qui en a fait l’usage qu’il souhaitait.

Un protocole d’évaluation (72p) a été finalisé en septembre 2008 après de longs débats méthodologiques. Ce protocole a été validé par le Comité d’évaluation et le Comité Scientifique du projet.

Une analyse spécifique de la population de l’étude ENTRED (INVS, HAS, CNAMTS, INPES) et une enquête ancillaire ont été conduites pour servir de base de comparaison aux évolutions observées. Ce rapport (74 p) a été produit en octobre 2009 et présenté au Comité Scientifique de l’étude ENTRED au sein de l’INVS.

Le rapport final d’évaluation de la première année de fonctionnement de Sophia a été validé en Novembre 2010. Ce rapport (82 p + 499 p d’annexes) a été remis comme il se doit également au commanditaire comme prévu par le contrat public établi.

A ma connaissance, vos considérations et attendus sont basés exclusivement sur les informations transmises par la CNAMTS dans un communiqué de presse qui n’est pas, à ma connaissance, un document à visée scientifique. Rassurez-vous, nous avons mis en œuvre lors du travail d’évaluation tous les tests statistiques qui satisferont votre appétit pour les « p-values ». Je crains même que vous ne finissiez par les trouver quelque peu indigestes.

A la demande de la CNAMTS et dans un souci de communication plus « scientifique » nous avons rédigé, gracieusement, un article destiné à la Revue d’épidémiologie et de santé publique. Une publication en anglais dans une revue internationale est également envisagée. Tout cela prend un temps qui dépasse largement le temps des décisions politiques. Mais nous n’avons que quelques bras (notre équipe ne réunit qu’une trentaine de personnes…) et nous devons naturellement en recruter de temps en temps de nouveaux !!

Dans ce contexte, votre papier polémique n’est pas très sensé. Il repose sur les bases les plus minces et nous met très injustement en cause.

Patience, patience, le temps politique est passé, le temps scientifique est proche. J’aurais alors le plus grand plaisir à échanger avec vous mais cette fois à partir d’une publication sérieuse.

Bien cordialement

Dr Bruno Detournay

CEMKA-EVAL

Responsable de l’évaluation du programme SOPHIA

Comme je m’y étais engagé, je ne ferai pas de commentaire sur cette réaction.

En pratique, ce qui nous manque cruellement, c’est l’ensemble des documents cités dans la réponse de Bruno Detournay qui auraient pu éclairer cette démarche. CEMKA-EVAL est victime de l’absence de transparence de la CNAM et peut-être (nous verrons sur pièces) de la présentation malhonnête de ses données.



Tweet Suivez-moi sur Twitter






21 Messages de forum

Réagir à cet article