L'IA peut-elle lire une capture d'écran de textos?

Collez une capture d’écran d’une conversation dans un outil d’IA, et ça marche généralement du premier coup. L’outil vous dit qui a dit quoi, comprend la blague, et rédige une réponse qui se tient. « Généralement », c’est le mot que personne ne chiffre, et ça vaut la peine de le séparer d’une autre question déjà traitée ailleurs sur ce site. Une fois que le modèle a les mots devant lui, déterminer qui parle d’un tour à l’autre, suivre une question restée sans réponse, lire le sarcasme, c’est le sujet de la page sur la lecture du message que vous avez reçu et de la recherche derrière la lecture d’un fil complet avant d’y répondre. Cet article porte sur l’étape d’avant: si le modèle lit correctement l’image, pour commencer.

Je cofonde Subtext, une application de vérification de ton et de rédaction de réponses qui prend en entrée, entre autres choses, une capture d’écran de conversation, alors j’ai toutes les raisons de vouloir une réponse favorable ici. Je n’en ai pas. Ce qui suit, c’est ce que j’ai pu vérifier sur une question plus étroite et moins flatteuse: à quel point les modèles multimodaux d’aujourd’hui savent lire une capture d’écran de téléphone comme une image, et non comme une transcription, et ce qui arrive à une capture d’écran une fois confiée à l’une de ces applications. Chaque source ci-dessous est une source que j’ai ouverte moi-même.

Lire une capture d’écran, c’est d’abord un problème d’image avant d’être un problème de langue

Une capture d’écran de conversation est une image faite de lumière, pas un bloc de texte qu’un ordinateur peut déjà analyser. Avant qu’un modèle puisse raisonner sur ce que dit un message, il doit d’abord transformer des pixels en caractères, correctement, peu importe la police, la taille, le contraste et la mise en page que l’application de messagerie a utilisés. Cette étape, c’est de la reconnaissance de texte, qui s’appuie sur le même système de vision qui lit n’importe quelle autre image. La plupart des affirmations sur la précision de l’IA en messagerie portent sur le raisonnement qui vient après cette étape. Peu portent sur l’étape elle-même.

Les chiffres qui existent

Le test le plus direct, c’est une évaluation de 2023 de la capacité de reconnaissance de texte de GPT-4V sur plusieurs bancs d’essai¹. Sur du texte de scène en anglais, il a obtenu 88,0 % d’exactitude au mot sur le banc d’essai CUTE80, et entre 62,0 % et 66,0 % sur trois ensembles anglais plus difficiles, contre 68,2 % à 98,6 % pour un système de reconnaissance de texte spécialisé sur ces quatre mêmes bancs d’essai. Sur du texte de scène en chinois, le banc d’essai ReCTS, GPT-4V a obtenu zéro. Dans un test multilingue distinct du même article, son score F1 de repérage de texte a atteint 82,49 % pour l’anglais et 83,42 % pour le français, contre 16,55 % pour l’arabe et 1,36 % pour le chinois. L’article affirme carrément que « malgré sa polyvalence à gérer diverses tâches de reconnaissance de texte, GPT-4V ne dépasse pas les modèles de reconnaissance de texte de pointe déjà sur le marché », et qu’il « a montré des limites face aux langues non latines »¹.

C’est une seule génération de modèle, testée sur des jeux de données de texte de scène soigneusement choisis, pas sur des captures d’écran de messagerie, alors à lire comme un plancher sous le problème général, pas comme un verdict sur une application offerte aujourd’hui. C’est quand même le chiffre le plus direct et le plus vérifiable contre l’affirmation toute simple voulant que l’IA lise les écritures non latines dans une image aussi bien qu’elle lit les écritures latines. Selon cette preuve, ce n’est pas le cas.

La résolution compte aussi. Le même article a trouvé « une corrélation positive entre la résolution de l’image d’entrée et la performance de reconnaissance »¹, ce qui joue contre une capture d’écran compressée ou fortement réduite, exactement ce que produisent beaucoup de téléphones quand une image est réenregistrée ou repartagée, avant même que le modèle lise un seul mot. Une prépublication de 2025, plus étroite, a testé ça plus précisément, mais seulement sur des caractères kanji japonais isolés, rendus à des tailles contrôlées, pas sur des captures d’écran de conversation. Les modèles multimodaux ont égalé une méthode de reconnaissance de texte dédiée à environ 300 pixels par pouce, et « leur performance se dégrade nettement en dessous de 150 pixels par pouce »². On ne sait pas si ce seuil tient pour du petit texte à l’intérieur d’une capture d’écran de téléphone compressée. La tendance, un texte plus petit et de résolution plus faible qui se dégrade plus vite pour ces modèles que pour une reconnaissance de texte conçue pour ça, c’est le point sur lequel les deux articles s’entendent.

Sur le mode sombre en particulier, et sur le texte à faible contraste plus généralement, je n’ai trouvé aucune évaluation publiée qui mesure la précision d’un modèle multimodal contre l’équivalent en mode clair des mêmes captures d’écran. Les processus classiques de reconnaissance de texte inversent systématiquement les images sombres avant de les traiter, parce que l’inversion de contraste est un déclencheur connu d’erreurs de lecture dans cette technologie plus ancienne, ce qui suggère que l’inquiétude de départ est raisonnable. Personne n’a fait passer le test équivalent aux modèles multimodaux qu’on utilise aujourd’hui pour lire une capture d’écran de conversation, du moins pas dans quoi que ce soit que j’ai pu trouver, alors je ne vais pas avancer un chiffre que je ne peux pas appuyer.

Les émojis se trouvent à l’intérieur de la même image, et la recherche à leur sujet répond à une question différente de celle que les gens posent d’habitude. Il s’agit moins de savoir si un modèle peut reconnaître qu’une forme est un émoji, que de savoir de quel émoji il s’agit, parce que le même caractère ne dessine pas la même image partout. Le Consortium Unicode standardise le point de code et son sens, pas le dessin. Apple, Google, Samsung et tous les autres fournisseurs dessinent leur propre glyphe pour chacun³. Dans une enquête menée auprès de 710 utilisateurs et utilisatrices de Twitter qui venaient de publier un tweet contenant un émoji, au moins 25 % ne savaient pas que leur émoji pouvait avoir un rendu différent sur le téléphone de quelqu’un d’autre, et après qu’on leur a montré comment un de leurs propres tweets s’affichait réellement sur une autre plateforme, 20 % ont dit qu’ils l’auraient modifié ou ne l’auraient pas envoyé du tout³. Cet écart existe déjà entre deux personnes qui regardent le même caractère sur deux téléphones différents. Une capture d’écran le resserre encore plus. Ce que la plateforme de la personne qui envoie a dessiné se retrouve aplati dans une image fixe, et un modèle qui lit cette image ne peut pas retrouver quel émoji sous-jacent c’était sans que la police de la plateforme soit déjà cuite dans les pixels. Savoir si cette combinaison, l’ambiguïté entre plateformes plus la compression de la capture d’écran, change à quelle fréquence un modèle se trompe sur l’émotion derrière un émoji, c’est un test que personne ne semble avoir fait encore.

Les cas d’échec que les autres pages de ce site ne couvrent pas

Une poignée de fonctionnalités précises des applications de messagerie rendent une lecture correcte plus difficile, chacune à sa façon, au-delà du problème au niveau des pixels vu plus haut. Une partie de ce qui suit s’appuie sur une étude. Une autre partie est une simple description de la façon dont l’interface fonctionne, sans recherche dédiée derrière, et j’ai essayé de garder les deux séparées pour que l’une n’emprunte pas le poids de l’autre.

Les conversations de groupe et les fils à plusieurs participants et participantes. Une capture d’écran en tête-à-tête donne à un modèle deux groupes visuels dans lesquels répartir la parole, un côté et l’autre. Un fil de groupe brise ce modèle. Trois personnes ou plus peuvent partager la même couleur de bulle, le nom d’une personne qui envoie peut apparaître seulement au-dessus du premier message d’une série et pas sur chaque ligne suivante, et un avatar rogné peut être le seul indice visuel de qui parle. Je n’ai trouvé aucune étude testant la précision d’un modèle à attribuer correctement les lignes à l’intérieur d’une capture d’écran de conversation de groupe en particulier. La recherche la plus proche mesure un problème apparenté mais différent, l’attribution des locuteurs et locutrices dans des transcriptions écrites de réunions, pas des bulles capturées à l’écran, et ce terrain est déjà couvert sur la page sur la lecture d’un fil de conversation au complet. Ce qui suit ici est une description mécanique de la version « capture d’écran » du même problème, pas un résultat testé. Plus de personnes qui partagent moins d’indices visuels par ligne, c’est de toute évidence une tâche d’attribution plus difficile, que quelqu’un ait mesuré ou non à quel point elle l’est.

Les réactions tactiles et les réactions émoji. Un petit émoji épinglé au coin de la bulle de quelqu’un d’autre, un cœur, un rire, un pouce en l’air, porte deux risques distincts. Le premier, c’est de savoir si un modèle peut d’abord identifier correctement le petit glyphe, parfois superposé à d’autres, et je n’ai trouvé aucun test direct de ça. Le deuxième, c’est ce que veut dire la réaction une fois correctement lue, et cette partie-là a été étudiée. Une analyse de plus de 650 000 messages Telegram porteurs de réactions a trouvé que les réactions positives dominaient les réponses, que le message sous-jacent se lise comme neutre ou négatif, concluant que les réactions émoji « ne fonctionnent pas de façon fiable comme des indicateurs de miroir émotionnel ou de résonance du contenu »⁴. C’est un grand échantillon venant d’une seule plateforme et d’un seul domaine, des canaux liés aux cryptomonnaies, et ça reste une prépublication, alors traitez les chiffres précis comme provisoires. Le point qui compte pour un lecteur de capture d’écran tient malgré ces réserves. Nommer correctement l’émoji de réaction ne dit à personne, ni au modèle ni à une personne, ce que la réaction signale réellement.

Les réponses citées et l’interface de fil de discussion. La plupart des applications de messagerie permettent de répondre à un message précis antérieur, en affichant l’extrait cité comme un bloc plus petit et plus pâle au-dessus du nouveau message. Dans une capture d’écran, ce traitement visuel, taille réduite, couleur plus pâle, parfois un trait vertical, est le seul signal indiquant qu’une ligne est un contexte cité plutôt qu’un nouveau message de la personne à qui, visuellement, ça semble être le tour de parler. Recadrez l’image de quelques pixels différemment et la distinction peut disparaître. Je n’ai trouvé aucune étude mesurant à quelle fréquence un modèle prend un extrait cité pour un nouveau message, ou l’inverse. C’est un mode d’échec mécanique plausible, intégré à la façon dont l’interface représente les fils de discussion, pas un mode d’échec testé.

Les messages éphémères et à effacement automatique. Un message éphémère est conçu pour ne laisser aucune trace une fois consulté, ce qu’une capture d’écran contourne exactement. Avant même qu’une question d’IA entre en jeu, des chercheurs et chercheuses en criminalistique numérique avaient déjà montré que la prémisse de départ est plus fragile qu’on le suppose. En testant directement les fonctions de messages éphémères de WhatsApp, Snapchat et Telegram, une étude a récupéré du contenu censé être supprimé à partir des données de l’appareil et des sauvegardes infonuagiques, dans plusieurs des scénarios testés⁵. C’est un résultat sur les plateformes, pas sur la lecture d’une capture d’écran par une IA, et ça ne mesure rien de la précision d’un modèle. Ce que ça établit, indépendamment de toute IA, c’est qu’une capture d’écran n’est pas la seule façon pour un contenu éphémère de survivre à sa suppression prévue. Savoir si le flou à l’écran d’une application ou une bannière du genre « capture d’écran prise » introduit des artefacts visuels qu’un modèle pourrait confondre avec du contenu est, encore une fois, une inquiétude plausible sans étude dédiée derrière.

Les autocollants. Un autocollant porte du sens surtout par la pose et l’expression, plus que par les mots, ce qui en fait une lecture plus difficile pour une machine et, il se trouve, pour des personnes aussi. Une étude sur cinq groupes de discussion d’étudiants et d’étudiantes utilisant des autocollants dans de vraies conversations de projet, s’appuyant sur des entrevues avec sept des participants et participantes sur leur propre usage des autocollants, a trouvé un écart entre ce que voulait dire la personne qui envoyait et ce qu’a compris celle qui recevait dans 34,7 % des autocollants examinés, surtout à cause d’expressions faciales et corporelles ambiguës dans le dessin lui-même⁶. C’est une étude petite et qualitative sur une seule population, des étudiants d’une institution asiatique, et elle mesure la méprise humaine, pas celle d’un modèle. C’est quand même une vraie preuve qu’un autocollant est un signal ambigu même entre des personnes qui se connaissent déjà, ce qui fixe un plafond bas pour ce qu’on devrait attendre de n’importe quel lecteur, humain ou machine, à partir de la seule image.

Le changement de langue en cours de conversation. Changer de langue à l’intérieur d’un même message, ou d’un message à l’autre dans le même fil, est courant chez les personnes qui textent en plusieurs langues, et c’est un cas difficile documenté pour les modèles de langage en général. Une synthèse de 2025 sur le domaine affirme carrément que « la plupart des grands modèles de langage ont encore du mal avec les entrées en plusieurs langues »⁷, sans chiffre qui se transposerait proprement à une capture d’écran avec deux langues dans une seule bulle. Je n’ai trouvé aucune étude isolant le changement de langue comme un problème de lecture de capture d’écran en particulier, à part le problème plus large du texte multilingue que décrit la synthèse. Traitez ça comme une difficulté réelle et documentée de la technologie sous-jacente, appliquée ici à un cas que personne n’a encore testé directement.

Ce que trois applications de lecture de capture d’écran disent de votre envoi

Subtext n’est pas la seule application conçue pour lire une capture d’écran de conversation, et la comparaison utile, c’est ce que dit la documentation actuelle de chacune sur ce qui arrive à un envoi, pas ce que son marketing laisse entendre. Le paysage plus large des outils d’écriture IA est cartographié séparément; ici, j’ai vérifié trois produits qui y sont nommés, en me basant sur leurs propres pages de confidentialité, pour une seule question précise: la conservation, la suppression, et l’usage à des fins d’entraînement d’un modèle.

Keys AI Texting Coach, développée par Charmed Inc. autour de la lecture de captures d’écran pour des conseils de rencontre et de messagerie, ne semble plus être en ligne. Le service de recherche iTunes d’Apple retourne zéro résultat pour sa fiche App Store, app id 1510154956, en date du 27 septembre 2026⁸, et son domaine web connu redirige chaque chemin, y compris celui qui hébergeait autrefois sa politique de confidentialité, vers une page de stationnement de domaine. Je n’ai trouvé aucune politique de confidentialité actuelle pour cette application, par aucun canal. Ce qu’elle disait autrefois sur le traitement des captures d’écran, je ne peux pas le vérifier aujourd’hui, et je ne vais pas reconstruire une affirmation à partir d’une page qui ne charge plus.

Mei, une application de messagerie par défaut sur Android avec un assistant IA optionnel, affirme dans ses conditions actuelles, modifiées pour la dernière fois le 3 octobre 2023 et vérifiées le 27 septembre 2026⁹, que le contenu des messages, y compris « images, photos, audio ou vidéos », est stocké sur ses serveurs « dans le seul but de la communication » et « n’est utilisé par nous d’aucune autre façon ». Séparément, en décrivant ce que reçoit réellement son assistant IA optionnel, le même document dit que les 20 derniers messages envoyés à l’IA comme contexte incluent « les émojis, les réactions et les URL », mais que « les messages avec pièces jointes, les messages vocaux et les images ne sont pas collectés » à cette fin. Pris ensemble, la propre documentation de Mei dit que sa fonction de suggestions IA ne traite aucun contenu d’image, captures d’écran comprises. La clause de stockage sur les photos concerne la livraison normale des messages à l’intérieur de l’application, pas ce qui est envoyé à l’IA. Une fonction distincte d’assistant IA à activation volontaire fonctionne différemment: quand une personne l’active, Mei téléverse toute la base de données de messages SMS et MMS de l’appareil, y compris le texte de chaque message, plus des numéros de téléphone hachés et les noms des contacts, et la politique affirme que ces données sont « utilisées pour entraîner des modèles d’IA ». Cette clause ne nomme pas spécifiquement les captures d’écran ni les images, mais elle porte sur l’entraînement à partir du texte des messages en général, pas seulement sur les métadonnées de contact.

La politique de confidentialité de ConfiText, en vigueur depuis le 10 février 2026 et vérifiée le 27 septembre 2026¹⁰, ne traite que du « texte que vous saisissez dans l’App », et ne mentionne nulle part, sur ses neuf sections, ni photos, ni images, ni captures d’écran. Son propre site marketing décrit exactement une méthode de saisie, coller un message que la personne a déjà écrit, et aucune fonction de téléversement de capture d’écran ou de photo n’apparaît nulle part sur la page. En l’état, la question de la conservation ne semble pas s’appliquer à ConfiText. Le produit, selon son propre site actuel, ne prend tout simplement pas de capture d’écran en entrée.

Sur les trois, voici le compte: une application qui ne semble plus exister, une dont la propre documentation exclut les images de ce que son IA lit réellement mais qui entraîne quand même un modèle sur le texte des messages quand son assistant est activé, et une qui ne prend aucune capture d’écran du tout. Ça ne règle pas la façon dont une application de lecture de capture d’écran devrait traiter la conservation. Ça veut dire que comparer les politiques de capture d’écran de trois concurrents nommés a produit moins d’accord, et moins d’applicabilité, que ce que la prémisse supposait au départ.

Retirer les métadonnées, c’est du gros bon sens, pas quelque chose de mesuré

Chaque photo prise par l’appareil photo d’un téléphone peut porter des données EXIF, modèle de l’appareil, horodatage, parfois la localisation, intégrées au fichier. Le conseil de retirer ces données avant de partager une photo est partout en ligne. J’ai cherché une étude contrôlée mesurant si le fait de retirer ces données, ou de caviarder manuellement le contenu visible d’une capture d’écran, produit une baisse mesurable d’un préjudice réel pour la vie privée, par opposition à une exposition théorique qu’un caviardage referme seulement sur papier. Je n’en ai trouvé aucune. Ce qui existe, c’est de l’écriture descriptive sur la sécurité, qui explique quels champs existent et comment les retirer, pas une expérience comparant les résultats de personnes qui ont retiré leurs métadonnées à ceux de personnes qui ne l’ont pas fait. Traitez le conseil comme raisonnable et non testé, pas comme une protection mesurée.

Sur ce que Subtext fait lui-même avec les métadonnées d’une capture d’écran, j’ai lu directement les invites système et les définitions d’outils du backend, le même fichier que les règles de ce site exigent de vérifier avant toute affirmation sur le produit (functions/src/subtext_prompts.ts). Rien dans ce code ne lit, ne retire, n’inspecte ni ne touche autrement les métadonnées du fichier d’une capture d’écran. Les images sont transmises au modèle multimodal sous-jacent comme entrée visuelle, de la même façon que n’importe quelle autre image, et aucune étape distincte de traitement des métadonnées n’apparaît nulle part dans les invites ou les définitions d’outils que j’ai lues. Je le présente comme une absence, pas comme une fonctionnalité. Je n’ai trouvé aucune preuve que Subtext fait quoi que ce soit avec les métadonnées d’une capture d’écran, dans un sens ou dans l’autre, et je ne revendique pas une capacité que le code ne montre pas. Aucune évaluation indépendante de la précision avec laquelle Subtext lui-même lit une capture d’écran n’existe non plus, le même manque qui traverse chaque application nommée plus haut. Ce que la politique de confidentialité confirme, et ce que les deux pages sur le fonctionnement du site affirment déjà, c’est la règle générale qui s’applique à toute pièce jointe, capture d’écran comprise. Une conversation, et tout ce qui y est joint, s’efface d’elle-même cinq jours après la dernière utilisation, ou 90 jours si elle est épinglée, et rien de ce qui est envoyé ne sert à entraîner un modèle d’IA.

Ce que tout ça donne

En mettant les quatre morceaux ensemble, le portrait est inégal par nature, pas par accident. La seule partie avec un chiffre de précision réel et vérifiable, la performance générale de reconnaissance de texte à l’intérieur d’un modèle multimodal, est mitigée: solide en anglais, mesurablement plus faible sur les écritures non latines et sur le texte en basse résolution, testée sur des bancs d’essai soigneusement choisis, pas sur de vraies captures d’écran de conversation. Quatre des six cas d’échec supplémentaires vus plus haut citent de la vraie recherche sur une question voisine: ce que signale réellement une réaction une fois correctement lue, à quel point les applications de messages éphémères effacent réellement le contenu, à quelle fréquence les gens se méprennent sur les autocollants des autres, et à quel point les modèles de langage gèrent mal le texte multilingue en général. Aucune de ces quatre études n’a testé le cas exact d’un modèle qui le lit à partir d’une capture d’écran. Les deux autres, l’attribution en conversation de groupe et la confusion des réponses citées, n’ont aucune recherche derrière elles, voisine ou autre, seulement une description mécanique de la façon dont l’interface fonctionne. La vérification des concurrents a trouvé moins à comparer que ce que la prémisse supposait: une application disparue, une qui exclut les images de sa propre fonction IA selon ses propres dires, une qui n’a jamais accepté de captures d’écran du tout. Et la question des métadonnées s’est révélée être un conseil que tout le monde répète et que personne ne semble avoir mesuré.

Rien de tout ça ne veut dire qu’un modèle qui lit votre capture d’écran n’est pas fiable dans un usage courant. L’étude la plus large et la plus directe ici a quand même mesuré un modèle lisant correctement la plupart du texte de scène en anglais. Ça veut dire que l’affirmation précise, comme quoi un modèle multimodal lit une capture d’écran de conversation aussi fidèlement qu’il lit du texte tapé ordinaire, a des exceptions réelles et quantifiées, certaines importantes, et plusieurs cas difficiles que personne n’a mesurés du tout.

C’est là qu’en sont les choses aujourd’hui. Subtext est une application de plus qui fait ça, ni plus ni moins vérifiée que le reste ci-dessus. Essayer Subtext dans votre navigateurEssayer Subtext dans votre navigateur

Vérifié le 27 septembre 2026.

Sources

Shi, Peng, Liao, Lin, Chen, Liu, Zhang et Jin (2023). Exploring OCR Capabilities of GPT-4V(ision): A Quantitative and In-depth Evaluation. arXiv. Bancs d’essai de reconnaissance de texte sur des scènes et des documents, contre une seule génération de modèle de 2023, pas des captures d’écran de messagerie.
Inoue (2025). Context-Independent OCR with Multimodal LLMs: Effects of Image Resolution and Visual Complexity. Prépublication arXiv, auteur unique. Teste 100 caractères kanji japonais isolés à taille de police et résolution contrôlées, pas des captures d’écran de conversation.
Miller Hillberg, Levonian, Kluver, Terveen et Hecht (2018). What I See is What You Don’t Get: The Effects of (Not) Seeing Emoji Rendering Differences across Platforms. Proceedings of the ACM on Human-Computer Interaction, CSCW. Enquête auprès de 710 utilisateurs et utilisatrices de Twitter sur leurs propres tweets contenant des émojis, pas un test d’un modèle qui les lit.
Tardelli, Alvisi, Cima, Cresci et Tesconi (2025). Emoji Reactions on Telegram: Unreliable Indicators of Emotional Resonance. Prépublication arXiv. Plus de 650 000 réactions sur des messages Telegram liés aux cryptomonnaies, une seule plateforme et un seul domaine.
Heath, MacDermott et Akinbi (2023). Forensic analysis of ephemeral messaging applications: Disappearing messages or evidential data? Forensic Science International: Digital Investigation. Teste le comportement de suppression propre à WhatsApp, Snapchat et Telegram, pas la lecture d’une capture d’écran par une IA.
Tang, Hew, Herring et Chen (2021). (Mis)communication through stickers in online group discussions: A multiple-case study. Discourse & Communication. Cinq groupes de discussion et sept personnes interviewées dans une seule université; mesure la méprise humaine, pas celle d’un modèle.
Sheth, Sinha, Patil, Beniwal et Singh (2025). Beyond Monolingual Assumptions: A Survey of Code-Switched NLP in the Era of Large Language Models across Modalities. Synthèse en prépublication arXiv, aucun test spécifique aux captures d’écran.
Apple. iTunes Lookup API result for Keys AI Texting Coach, app id 1510154956, vérifié le 27 septembre 2026. Zéro résultat retourné; l’application ne semble plus être répertoriée.
Mei. Terms of Service and Privacy Policy, modifié pour la dernière fois le 3 octobre 2023, vérifié le 27 septembre 2026.
ConfiText. Privacy Policy, en vigueur depuis le 10 février 2026, vérifié le 27 septembre 2026.