Quand on est décideur politique, entrepreneur social ou financeur d’innovations sociales (fondations,…), on aimerait bien savoir si l’innovation sociale ou la politique publique que l’on décide de financer ou de mettre en ½uvre sera réellement utile ou non pour la société. Par exemple, si je promets un sac de lentilles gratuit à toute famille africaine qui vient au dispensaire pour faire vacciner son enfant, est-ce qu’il y aura plus d’enfants vaccinés que si je ne fais pas cet effort ? Cet effort en vaut-il la peine ?

On aimerait mesurer (et même prédire) l’impact social de sa nouvelle initiative, de sa nouvelle intervention. Il y a des méthodes pour cela, comme par exemple la méthode du Social Return On Investment (SROI). Mais l’un des points faibles de ces méthodes (outre leur important coût de mise en ½uvre) est qu’elles ne permettent pas d’évaluer de manière très fiable si l’effet obtenu (il y a plus d’enfants vaccinés qu’auparavant ou bien qu’ailleurs) est réellement causé par son intervention (la distribution du sac de lentilles) ou bien si elle n’est pas due à d’autres facteurs (une meilleure information des familles par le bouche à oreilles, le fait que les familles aient pris l’habitude de se rencontrer sur les lieux de vaccination, ou l’influence astrale de la position des planètes…). On peut raisonnablement supposer que le sac de lentilles a contribué à une meilleure vaccination. Mais peut-on attribuer cet accroissement de la vaccination à cette intervention ? Difficile à dire…

Alors on recourt souvent à des hypothèses contestables et peu solides sur « ce qui se serait passé si mon innovation sociale n’avait pas été mise en ½uvre » et sur « ce qui, maintenant que mon innovation sociale existe, contribue à produire le même effet ou à le renforcer ». Comme les historiens qui cherchent à identifier la cause d’un événement, on essaie de faire preuve d’imagination et on formule des hypothèses peu solides car difficilement prouvables :  » Et si mon innovation n’existait pas, que se passerait-il ? ». Malheureusement, la méthode SROI a un niveau de complexité tellement inhabituel pour le champ de l’innovation sociale, que ces hypothèses au c½ur de la méthode restent souvent cachées, réduites à un 1 ou 2 ratios rapidement posés dans un coin du calcul et sont rarement contestés par les décideurs et financeurs, déjà impressionnés de voir que tel innovateur a mis en marche une telle méthode aux apparences de rigueur scientifique… Bref, le SROI, c’est très bien et généralement vertueux, c’est assez bluffant et utile, mais c’est loin d’être parfait.

Alors comment aller plus loin ? Et comment prouver que le projet que l’on promeut (distribuer des sacs de lentilles) est bien la cause que l’on peut attribuer à l’effet que l’on promet (avoir plus d’enfants vaccinés) ? Pour pouvoir prouver la cause réelle de l’effet attendu, il est préférable, et souvent indispensable, de mettre en place une expérimentation randomisée en double aveugle, comme le promeut par exemple le Poverty Lab d’Esther Duflo. C’est le même genre de problème, et de rigueur expérimentale nécessaire, que dans le domaine médical où l’on veut être sûr de l’impact d’une nouvelle thérapie avant de la mettre sur le marché.

Cependant, les études randomisées en double aveugle sont elles-mêmes coûteuses à mettre en ½uvre puisqu’il faut étudier deux fois plus de personnes. Il faut comparer l’effet attendu sur un groupe de personnes qui bénéficient de l’innovation (combien de familles font vacciner leur enfant parmi celles  à qui on promet le sac de lentilles) et le même effet sur un groupe de personnes que l’on prive de notre intervention (combien de familles font vacciner leur enfant en l’absence d’une promesse de sac de lentilles). Ce doublement du coût de la mesure est-il vain ? Certainement pas, il est indispensable sinon l’expérimentation ne démontre rien. Mais ce coût est à prévoir et donc à financer…

Et ces situations posent aussi des problèmes éthiques et de relations publiques : allez-vous priver « pour la science » des enfants d’une chance supplémentaire de se faire vacciner en décidant que leur famille ne se verra pas motivée par un sac de lentilles ? Allez-vous laisser mourir des enfants du « groupe témoin » pour pouvoir prouver que votre sac de lentilles est vraiment efficace et aurait pu les sauver si vous aviez été moins rigoureux ? Un raisonnement éthique bien posé devrait permettre de trouver rapidement la réponse. Mais ce raisonnement n’en reste pas moins difficile à communiquer.

Une solution nouvelle à ce problèmes semble émerger d’une théorie mathématique appelée la théorie du calcul causal, en probabilité. En effet, cette théorie permet, dans certains cas, de « remplacer » de manière tout aussi rigoureuse l’étude randomisée en double-aveugle par l’étude statistiques de données supplémentaires. Cette théorie aide à déterminer quels sont les indicateurs qui, si ils sont mesurés dans la situation actuelle (donc sans expérimentation randomisée en double aveugle), permettent par le biais de calculs, de démontrer l’efficacité d’une intervention. C’est presque magique, l’application de cette théorie permet de répondre de manière rigoureuse à des questions du type  » Que se serait-il passé si ces personnes avaient été privées de mon innovation ? » ou bien, à l’inverse, « Que se serait-il passé si ces personnes avaient été forcées à bénéficier de mon innovation ? ». Le prix à payer réside dans la nécessité de devoir formuler des hypothèses plus précises sur la  manière dont la cause promue (le projet, l’intervention, l’innovation, le sac de lentilles) produit l’effet promis (l’impact social, le nombre d’enfants vaccinés), par exemple par quelles étapes intermédiaires la cause produit son effet. Et ces hypothèse peuvent à leur tour être contestées. L’autre prix à payer, c’est qu’il faut mesurer un plus grand nombre d’indicateurs, correspondants aux hypothèses supplémentaires qui ont été formulées. Enfin, la théorie du calcul causal ne s’applique pas à tous les cas de figure. Mais l’avantage est énorme : pas besoin d’expérimentation !

Je découvre tout juste cette théorie et je ne saurais pas la mettre en ½uvre. D’ailleurs, je ne pense pas qu’elle ait déjà été mise en pratique par qui que ce soit dans le domaine de la mesure d’impact social (si ?). Mais quelle formidable découverte si elle permet, par l’analyse de données (vive l’open data), de s’économiser la mise en ½uvre d’une procédure expérimentale coûteuse, longue et à l’éthique parfois douloureuse.

Vivement que des chercheurs et des ingénieurs puissent outiller cette théorie et en faire bénéficier le champ de l’entrepreneuriat social !

NB : au passage, j’ai découvert le paradoxe de Simpson (rien à voir avec Bart) qui démontre combien notre intuition interprète mal la signification des probabilités.