Les signaux faibles dans le travail social

1. Ce que j'entends sur le terrain, et ce qui m'a fait basculer

À chaque intervention que je mène auprès des structures sociales et médico-sociales, la même demande revient avec une régularité troublante. L'intelligence artificielle pour détecter les signaux faibles. Les directeurs en parlent avec espoir, les cadres avec pragmatisme, les élus avec l'évidence de ceux qui ont trouvé la solution miracle.

Cette demande n'a rien de surprenant. Elle ne vient pas d'une volonté de nuire, mais d'une intention profondément sincère face à des difficultés que je connais bien et que je prends au sérieux. L'augmentation des situations complexes, la diminution des effectifs, la pression sur les délais, la responsabilité juridique qui pèse de plus en plus lourd sur les professionnels.

Les arguments avancés sont souvent les mêmes, et ils sont loin d'être dénués de sens pour qui les entend la première fois : augmenter l'accès au droit, faire davantage de prévention, repérer les situations à risque avant qu'il ne soit trop tard. Repérer plus vite pour optimiser les moyens rares et faire des économies.

L'intelligence artificielle prédictive apparaît alors comme une bouée de sauvetage, une réponse technique à des tensions structurelles, un outil providentiel qui viendrait compenser nos manques chroniques de moyens humains et de temps. Pendant longtemps, cette demande me paraissait logique. Bienveillante même.

Une phrase anodine, presque technique, mais qui porte en elle toute l'ambiguïté de ce que ces outils promettent et ce qu'ils font concrètement. Classifier les urgences automatiquement, sur la base d'un score, décider qui mérite notre attention immédiate et qui peut attendre, déléguer à un algorithme le discernement professionnel qui fait le cœur de notre métier.

C'est à ce moment précis que j'ai compris que cette bienveillance reposait sur une méconnaissance totale de ce que ces outils font réellement. Parce que pendant que nous fantasmons sur les promesses des signaux faibles, d'autres secteurs les ont déjà déployés, testés, mesurés, documentés. Et dans certains cas, les ont abandonnés après des scandales retentissants dont les conséquences humaines sont aujourd'hui établies.

Alors avant de déployer ces dispositifs dans le travail social, regardons ce qui s'est passé ailleurs, regardons les faits, regardons les chiffres, et surtout, décryptons les mécanismes techniques qui font que ces algorithmes ciblent toujours les mêmes personnes. Les plus fragiles.

2. Quatre cas concrets : ce que les signaux faibles font vraiment

2.1. La CAF : trente-deux millions de personnes notées chaque mois

2.2. Les Pays-Bas : quand le gouvernement doit démissionner

2.3. La DGFiP : cinquante pour cent de contrôles, quatorze pour cent de résultats

2.4. Le Japon : quand l'algorithme dit "non" et qu'un enfant meurt

3. Décryptage technique : pourquoi ça ne peut pas marcher autrement

Les quatre cas présentés ne sont pas des accidents, ni des problèmes de paramétrage ou de mauvaises données. Ce sont des conséquences inévitables du fonctionnement même de ces algorithmes.

3.1. Le biais de représentation

Reprenons le cas de la CAF. En 2010, l'algorithme a été entraîné sur 7 000 contrôles aléatoires. Les allocataires précaires sont mécaniquement surreprésentés dans ces données : ils cumulent plus de prestations, effectuent plus de démarches, leurs situations changent plus souvent.

Résultat : l'algorithme « apprend » que les profils à risque ressemblent aux profils des personnes précaires, non pas parce qu'elles fraudent davantage, mais parce que leurs dossiers sont plus visibles dans le système.

3.2. Le cercle vicieux et la confiance aveugle

Le cas néerlandais illustre un phénomène encore plus pervers. L'algorithme cible les familles immigrées, qui font l'objet de contrôles approfondis détectant des irrégularités mineures. Ces détections alimentent l'algorithme qui « apprend » que sa prédiction était correcte et renforce son ciblage. Le système se valide lui-même.

Mais le plus grave ? Les agents validaient quasi systématiquement les décisions de l'algorithme. Ce phénomène, documenté en psychologie cognitive sous le nom d'automation bias, désigne la tendance à accorder une confiance excessive aux systèmes automatisés au point de négliger son propre jugement.

Aux Pays-Bas, le score de risque élevé créait une présomption de culpabilité. À la CAF, les agents justifient les contrôles par « le système a détecté une anomalie », sans pouvoir expliquer laquelle. Au Japon, l'algorithme disait « non » et personne n'est allé voir l'enfant.

Parce que l'algorithme produit un score qui possède une aura d'objectivité. Il est quantifié, calculé, reproductible. Il semble neutre, rationnel, scientifique. Sauf que ce score ne mesure pas la réalité d'une fraude ou d'un danger. Il mesure la ressemblance statistique d'un profil avec des profils passés ayant fait l'objet de contrôles. C'est une probabilité conditionnelle calculée sur des données historiques biaisées.

3.3. L'invisibilité structurelle des situations complexes

Les quatre cas ont un point commun : l'algorithme ne détecte pas les situations les plus graves, mais les plus fragiles. À la CAF, les allocataires ciblés présentent des « anomalies » facilement détectables mais parfaitement légitimes. Les fraudes organisées ne génèrent aucun signal. À la DGFiP, même problème : le datamining passe à côté des optimisations fiscales agressives. Au Japon, la singularité d'Honoka la rendait invisible.

Transposons au travail social. Imaginez un algorithme de signaux faibles en protection de l'enfance avec une VPP de 50 %. Cela signifie qu'une famille sur deux ciblée comme « à risque » ne l'est pas réellement. Les conséquences humaines ? Stigmatisation, intrusion, rupture de confiance, déstabilisation d'une famille déjà fragile. Pour rien.

3.4. L'impossibilité du risque zéro

Les promoteurs des signaux faibles nous font une promesse : « Ne rien laisser passer. » Cette promesse est techniquement impossible. Tout algorithme prédictif doit arbitrer entre deux types d'erreurs :

• Les faux négatifs : ne pas détecter une situation réellement à risque
• Les faux positifs : détecter à tort une situation comme à risque

Diminuer les faux négatifs implique mécaniquement d'augmenter les faux positifs. Et inversement. C'est un équilibre technique incontournable.

L'algorithme ne résout pas ce dilemme. Il le déplace. Il le technicise. Et surtout, il le rend invisible. Le professionnel ne voit pas les faux négatifs (par définition, ils ne sont pas ciblés). Et il ne questionne pas les faux positifs (l'algorithme a dit « à risque », donc on contrôle).

3.5. De l'accompagnement à la surveillance

À la CAF, un glissement sémantique majeur s'est opéré : de la « maîtrise des risques » à la « lutte contre la fraude ». Chaque allocataire devient un suspect potentiel. Le score transforme la présomption d'innocence en présomption de fraude. Trente-deux millions de personnes notées chaque mois, sans le savoir, sans pouvoir se défendre, sans recours.

4. Transposition au travail social : les risques que nous prenons

4.1. Ce qui fait la spécificité de notre secteur

Le travail social repose sur un paradoxe délicat : intervenir auprès de personnes en situation de vulnérabilité, parfois de manière contrainte, tout en maintenant une relation de confiance suffisante pour que l'accompagnement produise du changement. Sans cette confiance, rien n'est possible.

Comment établir une alliance de travail si la personne sait qu'elle a été ciblée par un algorithme comme « à risque » ? Le cas néerlandais nous donne la réponse : les familles accusées à tort ont rompu tout lien avec les institutions sociales. La confiance, une fois brisée, ne se reconstruit pas.

Les données du travail social ne se quantifient pas sans perte massive d'information. Un travailleur social note : « La mère semble dépassée par la situation. » Cette observation est contextualisée, nuancée, fait partie d'une évaluation globale. Extraite de son contexte, transformée en variable booléenne, elle devient un signal qui alimentera un score. Le sens est perdu, le contexte est perdu, la nuance est perdue, mais le chiffre demeure.

4.2. Les risques spécifiques

Si nous reproduisons le schéma observé à la CAF, un algorithme de signaux faibles ciblera mécaniquement les familles qui laissent le plus de traces : familles suivies par l'ASE, bénéficiaires du RSA, familles monoparentales, habitants de quartiers prioritaires.

Ce ciblage reproduira une réalité que nous connaissons : les mesures de protection concernent majoritairement des familles pauvres, non parce que la maltraitance est absente des milieux aisés, mais parce que ces familles sont plus visibles. L'algorithme transformera cette surreprésentation statistique en surreprésentation algorithmique.

Pendant ce temps, les situations de maltraitance dans les milieux aisés resteront invisibles. Ces familles consultent en libéral, scolarisent en privé, ne génèrent aucune donnée exploitable. Le score algorithmique fige une situation dans le temps. Une famille notée « à risque élevé » à un instant T le restera tant que les variables n'évoluent pas. L'algorithme crée une forme de déterminisme en contradiction frontale avec les principes du travail social.

4.3. L'incompatibilité structurelle

L'analyse de ces quatre cas concrets et de leurs mécanismes techniques conduit à une conclusion : les algorithmes de signaux faibles sont structurellement incompatibles avec les principes du travail social.

Cette incompatibilité n'est pas conjoncturelle. Elle est intrinsèque : les algorithmes reproduisent les biais des données d'entraînement qui surreprésentent les populations précaires. Le ciblage algorithmique renforce cette surreprésentation. La confiance dans les scores produit une paresse cognitive. Les faux positifs et négatifs ont des conséquences graves. La logique de surveillance entre en contradiction avec la logique d'accompagnement.

5. Délimiter les usages : ce qui est légitime, ce qui ne l'est pas

Je ne suis pas contre l'intelligence artificielle dans le travail social. Je travaille chaque jour à développer des outils pour notre secteur. Mais il faut délimiter précisément ce qui est légitime et ce qui ne l'est pas.

Conclusion

Les signaux faibles nous promettent une révolution. Cette promesse repose sur une triple illusion.

L'illusion technique : l'algorithme serait plus objectif que l'humain. L'illusion prédictive : on pourrait anticiper les situations à risque. L'illusion gestionnaire : on optimiserait l'allocation des moyens.

L'analyse des quatre cas concrets démontre le contraire. Les algorithmes reproduisent et amplifient les biais humains. Ils ciblent les plus fragiles, pas les plus à risque. Ils génèrent un volume considérable de faux positifs. Leur rendement est décevant. Ils transforment l'accompagnement en surveillance. Ils détruisent la relation de confiance.

Le jour où un algorithme décidera qui mérite notre attention et qui peut attendre, nous aurons perdu l'essence même de notre métier : le regard direct, le lien humain, le discernement professionnel, la capacité à douter, la liberté de nous tromper.