Pour faire face à la pandémie de Covid-19, de nombreux gouvernements ont pris des mesures drastiques et sans précédent pour contenir l’épidémie : interdiction de grand rassemblement, fermeture des écoles et des lieux publics, fermeture des frontières, confinement de la population, suivi des déplacements des populations via leur téléphone portable.
Les mesures sont aussi diverses que multiples.
Elles ont des répercussions sociales économiques titanesques et ont été prises dans l’urgence, sans nécessairement et partout se baser sur des bases factuelles et en dépit du risque que des mesures trop coercitives soient contreproductives.
Si nous ne pouvons hypothéquer la suite de l’épidémie, il viendra un moment où les gouvernements seront contraints à rendre des comptes des politiques adoptées pour lutter contre l’épidémie. En France, certains s’inquiètent déjà car « le sommet de l’État devra rendre des comptes ». Certains commencent à évoquer les poursuites judiciaires post-crise.
Or, il nous semble qu’il sera extrêmement difficile d’évaluer précisément les effets de ces politiques à l’échelle nationale et notamment des mesures spécifiques décidées.
Construire un « contrefactuel »
Un premier défi fondamental auquel se heurte l’évaluation d’une politique publique « en situation réelle », bien connue des évaluateurs, réside dans la difficulté de construire un « contrefactuel » – c’est-à-dire, d’apprécier quelle aurait été la situation en l’absence de la politique menée, alors que par définition, ce contre-factuel n’est pas observable.
Une première solution pourrait être de comparer les résultats des pays ayant opté pour des politiques différentes (par exemple, la Chine et la Corée). Toutefois, ce genre de comparaison est imparfait, du fait que les contextes ne sont évidemment pas les mêmes. Même si la souche virale est la même, elle n’aura pas le même effet sur une population plus ou moins jeune ou âgée, en bonne santé ou non, exposée ou non à des facteurs sociaux et environnementaux (dont peut-être la pollution atmosphérique) différents.
Une étude du profil de transmission de l’épidémie en Chine a ainsi montré que ce profil différait grandement entre régions, et que le taux de reproduction du virus (qui mesure sa contagiosité) était moins élevé qu’initialement pensé.
Alors que les pyramides d’âges sont totalement différentes entre le Sénégal et la Belgique ou la France, le même virus aura-t-il la même virulence, et les mêmes mesures auront-elles les mêmes effets ?
Les mesures organisées à l’échelle mondiale semblent bien souvent des « copier-coller » dans l’urgence, du moins en Europe, en Afrique ou ailleurs.
Des corrections statistiques doivent donc être apportées pour tenir compte notamment des différences de profils démographiques, mais elles reposent sur des hypothèses fortes, dont une légère variation peut fortement impacter sur les estimations finales.
Une autre solution est de se limiter à l’analyse dans un même pays (et si possible dans une même région, la Lombardie et la Sicile sont par exemple bien différentes) et de comparer l’évolution de la situation après l’introduction de la mesure politique, avec ce qu’elle aurait été en l’absence de cette mesure, selon les tendances précédant son introduction.
Toutefois, ici aussi, les modèles de progression de la maladie reposent sur une multitude d’hypothèses qui sont loin d’être consensuelles entre les modélisateurs. Or, une très légère variation (de la taille d’un battement d’aile de papillon) de ces hypothèses conduit à une variation énorme des résultats (de la taille d’un ouragan).
Oxford Covid-19 Government Response Tracker, CC BY-NC-ND
La qualité des données
Un deuxième défi réside dans la qualité des données utilisées. Deux indicateurs sont particulièrement pertinents pour mesurer l’évolution de l’épidémie. D’une part, le nombre de cas ou encore le taux de contamination au Covid-19 et d’autre part, les taux de létalité et/ou de mortalité.
Le taux de létalité a pour dénominateur la population affectée, et le taux de mortalité, la population totale.
Les données relatives au nombre de cas ne sont absolument pas comparables entre pays, car ils ont adopté des politiques de dépistage divergentes. Ainsi, on s’approche d’un dépistage systématique en Corée, tandis que nombre de pays européens se limitent à tester les patients arrivant à l’hôpital, ce qui n’est parfois autorisé qu’après référence de leur médecin traitant. Il devient donc impossible de mesurer l’incidence réelle de la maladie dans la plupart de ces pays.
Il serait toutefois possible de mesurer (et de comparer) les taux de létalité hospitalière (nombre de morts par rapport au nombre de patients hospitalisés), qui témoignent notamment de la performance des systèmes de soins.
Cette absence de dénominateur crédible pour ce qui concerne la population totale (au-delà des patients hospitalisés) empêche également de calculer le taux de létalité, qui est considérablement surestimé si l’on se limite à rapporter le nombre de décès imputables au virus à la population dépistée.
Enfin, le nombre de décès dus directement au Covid-19 n’a en fait que peu de sens, d’un point de vue systémique, en valeur absolue ; ce qui est important, c’est de connaître le nombre de décès excessifs (supplémentaires) – c’est-à-dire, en plus de la mortalité attendue, statistiquement, attribuables à la maladie.
On se rappellera ainsi qu’en France en 2003, la canicule a provoqué une surmortalité estimée à 15 000 décès. Quant à la Belgique, on y constate au cours des dernières années une surmortalité d’environ 3 000 décès correspondant au pic de l’épidémie de grippe. Or, tant les annonces que l’on entend dans les médias que les mises à jours quotidiennes de l’OMS sur l’épidémie de Covid-19 ne mettent en avant que les décès directs dus au virus, alors que l’on devrait pouvoir les comparer plus systématiquement avec les autres informations de mortalité.
Une évaluation de la mortalité réellement due à l’épidémie – et donc, des effets des mesures prises pour y répondre – devra prendre en compte la mortalité excessive, en prenant un recul de plusieurs mois visant à s’assurer que le pic éventuel de mortalité dû au virus n’est pas compensé par une réduction de la mortalité, par rapport à la mortalité attendue, dans les mois qui suivent. Pour ce qui concerne les pays européens, les données sont accessibles, avec un léger retard, sur le site de l’EuroMOMO. Alors qu’on ne constatait pas encore de surmortalité la semaine précédente, le bulletin hebdomadaire du 3 avril a commencé à noter une surmortalité dans quelques pays ou régions d’Europe, particulièrement l’Italie et l’Espagne, l’Angleterre et la Suisse, de même que la Belgique dans une moindre mesure – mais pas encore la France.
L’impossible mesure des effets du confinement
Un troisième défi réside dans le fait que jamais, une politique publique n’est mise en œuvre telle qu’elle est écrite sur le papier. Apprécier l’efficacité du confinement, par exemple, signifierait que du jour au lendemain, on passe d’une situation où toute la population se meut librement, à une situation où l’ensemble de la population reste confiné ; et qu’il serait possible de déterminer un moment précis (en l’occurrence, une période d’incubation précise) à partir duquel la mesure est censée produire ses effets.
Or, c’est impossible en pratique : le respect fidèle de la mise en œuvre des mesures n’est pas la norme mais l’exception. D’abord, les pays européens ont pris des mesures de manière progressive, ne laissant pas espérer pouvoir observer une cassure nette dans les courbes de progression de l’épidémie. Ensuite, la période d’incubation du virus est très variable, ce qui empêche de pouvoir mesurer précisément quand on peut espérer observer un effet des mesures prises.
Une analyse limitée par les frontières politiques n’a en fait que peu d’intérêt ; il serait plus pertinent d’effectuer les analyses par « cluster », territoire ou écosystème où circule le virus.
Enfin, la mise en œuvre effective d’une mesure telle que le confinement n’est jamais totale, et son degré de mise en place réel aura un impact sur les résultats espérés et donc sur l’évaluation de son efficacité. Une récente revue systématique des écrits scientifiques réalisée pour l’OMS concernant les mesures de confinement a montré qu’il était en effet quasiment impossible d’en mesurer l’efficacité.
Comment prendre en compte les effets indirects ?
Enfin, un quatrième défi consistera à aller au-delà des effets directs des mesures prises sur la lutte contre l’épidémie – c’est-à-dire, les effets sur l’incidence et la létalité du Covid-19 – pour en appréhender les effets indirects (sur d’autres indicateurs) et les effets inattendus (qu’ils soient positifs ou négatifs).
En effet, les mesures visant à limiter la propagation de l’épidémie auront des impacts bien plus larges sur la santé et sur la société dans son ensemble.
Si l’on peut anticiper des effets indirects positifs (réduction des accidents, baisse de la pollution atmosphérique, etc.), il y aura aussi très certainement des effets négatifs sur la santé des populations confinées (augmentation des troubles de santé mentale, des suicides, de la violence domestique, des facteurs de risques liés à la sédentarité, etc.), sur celle des patients (moins bonne prise en charge des pathologies autres que le Covid-19, contamination au sein des hôpitaux, lourd tribut payé par le personnel soignant) et sur l’économie et la société dans son ensemble, en particulier pour les plus vulnérables (migrants sans papiers, déscolarisation, faillites, etc.).
D’un point de vue d’évaluateur, il sera malaisé, d’une part, de déterminer où s’arrêter dans la prise en compte des effets indirects possibles que nous avons évoqués ci-dessus – d’autant plus que certains se feront sentir à long terme – et, d’autre part, de choisir le ou les indicateurs les plus appropriés pour les mesurer. En effet, les études disponibles à ce stade se focalisent sur le nombre de décès évités grâce aux mesures prises par les pays.
Or, sans vouloir être cynique, un dilemme bien connu des économistes de la santé consiste à choisir si l’on donne le même poids à chaque décès ou à chaque vie sauvée, ou s’il faut les ajuster par rapport à l’espérance de vie, à l’espérance de vie en bonne santé, ou encore à la qualité de vie. Dans notre cas, par exemple, si les mesures de confinement parviennent à éviter un certain nombre décès dus au Covid-19 (en sachant que la mortalité est plus élevée pour les patients âgés et atteints de comorbidités), mais qu’en revanche ils causent un accroissement des suicides ou des violences familiales touchant les jeunes, il sera question de pouvoir comparer les effets positifs et négatifs selon une même unité. Le choix de l’indicateur utilisé pour mesurer les effets des mesures prises aura inexorablement un impact sur les résultats.
Etudier l’impact des choix politiques
Une toute récente étude tentant d’évaluer les impacts des mesures mises en œuvre dans onze pays européens illustre bien les difficultés que nous avons évoquées : la mise en œuvre progressive (et non coordonnée entre pays frontaliers) de mesures de plus en plus strictes, la dépendance à des hypothèses fortes (ici, les auteurs ont fait l’hypothèse que l’effet des interventions est le même dans tous les pays et que l’efficacité des interventions reste constante dans le temps, en reconnaissant que cela n’est pas réaliste ; par ailleurs, le taux de reproduction utilisé est supérieur à celui qui a été calculé en Chine) et la grande variabilité des résultats (ils estiment le nombre de décès évités au 31 mars 2020 à entre 21 000 et 120 000, avec un intervalle de confiance de 95 %).
En outre, les auteurs n’ont mesuré que le « nombre de décès évités », sans pondérer cet indicateur (par exemple, en fonction de l’âge ou de la qualité de vie) et ils ne font nullement mention des effets indirects des mesures adoptées.
Ainsi, avant de louer, ou au contraire, de vouer aux gémonies nos gouvernements pour les mesures qu’ils auront, ou non, prises, il faudra se rappeler que, d’une part, il est pratiquement impossible d’imputer les résultats directs (indicateurs relatifs au Covid-19) observés à l’une ou l’autre mesure politique et que, d’autre part, ces mesures ont des effets indirects (et inattendus) qu’il est encore plus malaisé de mesurer et de leur attribuer.
Une des seules choses qui semble appréciable, sur base de données comparables, sera in fine l’association entre la létalité ou la mortalité directe liée au Covid-19 et la robustesse des systèmes de santé.
Il faudra par ailleurs étudier la résilience des systèmes de santé à cette pandémie et surtout les choix néolibéraux et les politiques d’austérité qui, dans quasiment tous les pays du monde, ont réduit depuis des décennies les capacités de ce systèmes à agir et répondre à de tels chocs.
Elisabeth Paul, Chargée de cours, Ecole de santé publique, Université Libre de Bruxelles et Valery Ridde, Directeur de recherche, Institut de recherche pour le développement (IRD)
Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.
Image par Vuong Viet de Pixabay
