L'IA peut-elle lire une capture d'écran de textos ?

Collez une capture d’écran d’une conversation dans un outil d’IA, et ça marche généralement du premier coup. L’outil vous dit qui a dit quoi, comprend la blague, et rédige une réponse qui tient debout. C’est le mot « généralement » que personne ne chiffre, et il vaut la peine de le séparer d’une autre question déjà traitée ailleurs sur ce site. Une fois que le modèle a les mots sous les yeux, déterminer qui parle d’un tour à l’autre, suivre une question restée sans réponse, lire le sarcasme, c’est le sujet de la page sur la lecture du message que vous avez reçu et de la recherche derrière la lecture d’un fil entier avant d’y répondre. Cet article porte sur l’étape d’avant, celle où il s’agit de savoir si le modèle lit correctement l’image, pour commencer.

Je cofonde Subtext, une app de vérification de ton et de rédaction de réponses qui prend en entrée, entre autres, une capture d’écran de conversation, donc j’ai toutes les raisons de vouloir une réponse favorable ici. Je n’en ai pas. Ce qui suit, c’est ce que j’ai pu vérifier sur une question plus étroite et moins flatteuse, à quel point les modèles multimodaux d’aujourd’hui savent lire une capture d’écran de téléphone comme une image, et non comme une transcription, et ce qui arrive à une capture d’écran une fois confiée à l’une de ces apps. Chaque source ci-dessous est une source que j’ai ouverte moi-même.

Lire une capture d’écran, c’est d’abord un problème d’image, avant d’être un problème de langue

Une capture d’écran de conversation est une image faite de lumière, pas un bloc de texte qu’un ordinateur peut déjà analyser. Avant qu’un modèle puisse raisonner sur ce que dit un message, il doit d’abord transformer des pixels en caractères, correctement, quels que soient la police, la taille, le contraste et la mise en page que l’app de messagerie a utilisés. Cette étape, c’est de la reconnaissance optique de caractères, ou OCR, qui s’appuie sur le même système de vision qui lit n’importe quelle autre image. La plupart des affirmations sur la précision de l’IA en messagerie concernent le raisonnement qui vient après cette étape. Peu concernent l’étape elle-même.

Les chiffres qui existent

Le test le plus direct est une évaluation de 2023 de la capacité d’OCR de GPT-4V sur plusieurs benchmarks¹. Sur du texte de scène en anglais, il a obtenu 88,0 % d’exactitude au mot sur le benchmark CUTE80, et entre 62,0 % et 66,0 % sur trois ensembles anglais plus difficiles, contre 68,2 % à 98,6 % pour un système d’OCR spécialisé sur ces quatre mêmes benchmarks. Sur du texte de scène en chinois, le benchmark ReCTS, GPT-4V a obtenu zéro. Dans un test multilingue distinct du même article, son score F1 de repérage de texte a atteint 82,49 % pour l’anglais et 83,42 % pour le français, contre 16,55 % pour l’arabe et 1,36 % pour le chinois. L’article affirme sans détour que « malgré sa polyvalence dans le traitement de diverses tâches d’OCR, GPT-4V ne dépasse pas les modèles d’OCR de pointe existants », et qu’il « a montré des limites face aux langues non latines »¹.

C’est une seule génération de modèle, testée sur des jeux de données de texte de scène soigneusement sélectionnés, pas sur des captures d’écran de messagerie, donc à lire comme un plancher sous le problème général, pas comme un verdict sur une app disponible aujourd’hui. C’est tout de même le chiffre le plus direct et le plus vérifiable contre l’affirmation toute simple selon laquelle l’IA lit les écritures non latines dans une image aussi bien qu’elle lit les écritures latines. Sur cette preuve, ce n’est pas le cas.

La résolution compte aussi. Le même article a trouvé « une corrélation positive entre la résolution de l’image d’entrée et la performance de reconnaissance »¹, ce qui joue contre une capture d’écran compressée ou fortement réduite, exactement ce que produisent beaucoup de téléphones quand une image est réenregistrée ou repartagée, avant même que le modèle ne lise un seul mot. Une prépublication de 2025, plus étroite, a testé ça plus précisément, mais seulement sur des caractères kanji japonais isolés, rendus à des tailles contrôlées, pas sur des captures d’écran de conversation. Les modèles multimodaux ont égalé une méthode d’OCR dédiée à environ 300 pixels par pouce, et « leur performance se dégrade nettement en dessous de 150 pixels par pouce »². On ignore si ce seuil tient pour du petit texte à l’intérieur d’une capture d’écran de téléphone compressée. La tendance, un texte plus petit et de résolution plus faible qui se dégrade plus vite pour ces modèles que pour un OCR conçu pour ça, c’est le point sur lequel les deux articles s’accordent.

Sur le mode sombre en particulier, et sur le texte à faible contraste plus généralement, je n’ai trouvé aucune évaluation publiée qui mesure la précision d’un modèle multimodal contre l’équivalent en mode clair des mêmes captures d’écran. Les pipelines d’OCR classiques inversent systématiquement les images sombres avant de les traiter, parce que l’inversion de contraste est un déclencheur connu d’erreurs de lecture dans cette technologie plus ancienne, ce qui suggère que l’inquiétude de départ est raisonnable. Personne n’a fait passer le test équivalent aux modèles multimodaux qu’on utilise aujourd’hui pour lire une capture d’écran de conversation, du moins dans rien de ce que j’ai pu trouver, donc je ne vais pas avancer un chiffre que je ne peux pas soutenir.

Les emojis se trouvent à l’intérieur de la même image, et la recherche à leur sujet répond à une question différente de celle que les gens posent d’habitude. Il s’agit moins de savoir si un modèle peut reconnaître qu’une forme est un emoji, que de savoir de quel emoji il s’agit, parce que le même caractère ne dessine pas la même image partout. Le Consortium Unicode standardise le point de code et son sens, pas le dessin. Apple, Google, Samsung et tous les autres fournisseurs dessinent leur propre glyphe pour chacun³. Dans une enquête menée auprès de 710 utilisateurs de Twitter qui venaient de publier un tweet contenant un emoji, au moins 25 % ne savaient pas que leur emoji pouvait avoir un rendu différent sur le téléphone de quelqu’un d’autre, et après qu’on leur a montré comment un de leurs propres tweets s’affichait réellement sur une autre plateforme, 20 % ont dit qu’ils l’auraient modifié ou ne l’auraient pas envoyé du tout³. Cet écart existe déjà entre deux personnes qui regardent le même caractère sur deux téléphones différents. Une capture d’écran le resserre encore davantage. Ce que la plateforme de l’expéditeur a dessiné se retrouve aplati dans une image fixe, et un modèle qui lit cette image ne peut pas retrouver quel emoji sous-jacent c’était sans que la police de la plateforme soit déjà intégrée dans les pixels. Savoir si cette combinaison, l’ambiguïté entre plateformes plus la compression de la capture d’écran, change la fréquence à laquelle un modèle se trompe sur l’émotion derrière un emoji, c’est un test que personne ne semble avoir encore fait.

Les cas d’échec que les autres pages de ce site ne couvrent pas

Une poignée de fonctionnalités précises des apps de messagerie rendent une lecture correcte plus difficile, chacune à sa façon, au-delà du problème au niveau des pixels vu plus haut. Une partie de ce qui suit s’appuie sur une étude. Une autre partie est une simple description de la façon dont l’interface fonctionne, sans recherche dédiée derrière, et j’ai essayé de garder les deux séparées pour que l’une n’emprunte pas le poids de l’autre.

Les conversations de groupe et les fils à plusieurs participants. Une capture d’écran en tête-à-tête donne à un modèle deux groupes visuels dans lesquels répartir la parole, un côté et l’autre. Un fil de groupe casse ce schéma. Trois personnes ou plus peuvent partager une même couleur de bulle, le nom d’un expéditeur peut n’apparaître qu’au-dessus du premier message d’une série et pas sur chaque ligne suivante, et un avatar rogné peut être le seul indice visuel de qui parle. Je n’ai trouvé aucune étude testant la précision d’un modèle à attribuer correctement les lignes à l’intérieur d’une capture d’écran de conversation de groupe en particulier. La recherche la plus proche mesure un problème apparenté mais différent, l’attribution des locuteurs dans des transcriptions écrites de réunions, pas des bulles capturées à l’écran, et ce terrain est déjà couvert sur la page sur la lecture d’un fil de conversation entier. Ce qui suit ici est une description mécanique de la version « capture d’écran » du même problème, pas un résultat testé. Plus de locuteurs qui partagent moins d’indices visuels par ligne, c’est de toute évidence une tâche d’attribution plus difficile, que quelqu’un ait mesuré ou non à quel point elle l’est.

Les réactions tactiles et les réactions emoji. Un petit emoji épinglé au coin de la bulle de quelqu’un d’autre, un cœur, un rire, un pouce levé, porte deux risques distincts. Le premier, c’est de savoir si un modèle peut d’abord identifier correctement le petit glyphe, parfois superposé à d’autres, et je n’ai trouvé aucun test direct de ça. Le second, c’est ce que signifie la réaction une fois correctement lue, et cette partie-là a été étudiée. Une analyse de plus de 650 000 messages Telegram porteurs de réactions a trouvé que les réactions positives dominaient les réponses, que le message sous-jacent se lise comme neutre ou négatif, concluant que les réactions emoji « ne fonctionnent pas de façon fiable comme des indicateurs de miroir émotionnel ou de résonance du contenu »⁴. C’est un large échantillon venant d’une seule plateforme et d’un seul domaine, des canaux liés aux cryptomonnaies, et ça reste une prépublication, donc à traiter les chiffres précis comme provisoires. Le point qui compte pour un lecteur de capture d’écran tient malgré ces réserves. Nommer correctement l’emoji de réaction ne dit à personne, ni au modèle ni à une personne, ce que la réaction signale réellement.

Les réponses citées et l’interface de fil de discussion. La plupart des apps de messagerie permettent de répondre à un message précis antérieur, en affichant l’extrait cité comme un bloc plus petit et plus pâle au-dessus du nouveau message. Dans une capture d’écran, ce traitement visuel, taille réduite, couleur plus claire, parfois un trait vertical, est le seul signal indiquant qu’une ligne est un contexte cité plutôt qu’un nouveau message de la personne à qui, visuellement, ça semble être le tour de parler. Recadrez l’image de quelques pixels différemment et la distinction peut disparaître. Je n’ai trouvé aucune étude mesurant à quelle fréquence un modèle prend un extrait cité pour un nouveau message, ou l’inverse. C’est un mode d’échec mécanique plausible, intégré à la façon dont l’interface représente les fils de discussion, pas un mode d’échec testé.

Les messages éphémères et à effacement automatique. Un message éphémère est conçu pour ne laisser aucune trace une fois consulté, ce qu’une capture d’écran contourne exactement. Avant même qu’une question d’IA entre en jeu, des chercheurs en criminalistique numérique avaient déjà montré que la prémisse de départ est plus fragile qu’on ne le suppose. En testant directement les fonctions de messages éphémères de WhatsApp, Snapchat et Telegram, une étude a récupéré du contenu censé être supprimé à partir des données de l’appareil et des sauvegardes cloud, dans plusieurs des scénarios testés⁵. C’est un résultat sur les plateformes, pas sur la lecture d’une capture d’écran par une IA, et ça ne mesure rien de la précision d’un modèle. Ce que ça établit, indépendamment de toute IA, c’est qu’une capture d’écran n’est pas la seule façon pour un contenu éphémère de survivre à sa suppression prévue. Savoir si le flou à l’écran d’une app ou une bannière du genre « capture d’écran prise » introduit des artefacts visuels qu’un modèle pourrait confondre avec du contenu est, encore une fois, une inquiétude plausible sans étude dédiée derrière.

Les autocollants. Un autocollant porte du sens surtout par la pose et l’expression, plus que par les mots, ce qui en fait une lecture plus difficile pour une machine et, il se trouve, pour des personnes aussi. Une étude sur cinq groupes de discussion d’étudiants utilisant des autocollants dans de vraies conversations de projet, s’appuyant sur des entretiens avec sept des participants sur leur propre usage des autocollants, a trouvé un écart entre ce que voulait dire l’expéditeur et ce qu’a compris le destinataire dans 34,7 % des autocollants examinés, surtout à cause d’expressions faciales et corporelles ambiguës dans le dessin lui-même⁶. C’est une étude petite et qualitative sur une seule population, des étudiants d’une institution asiatique, et elle mesure la méprise humaine, pas celle d’un modèle. C’est tout de même une vraie preuve qu’un autocollant est un signal ambigu même entre des personnes qui se connaissent déjà, ce qui fixe un plafond bas pour ce qu’on devrait attendre de n’importe quel lecteur, humain ou machine, à partir de la seule image.

Le changement de langue en cours de conversation. Changer de langue à l’intérieur d’un même message, ou d’un message à l’autre dans le même fil, est courant chez qui texte en plusieurs langues, et c’est un cas difficile documenté pour les modèles de langage en général. Une synthèse de 2025 sur le domaine affirme sans détour que « la plupart des LLM ont encore du mal avec les entrées en plusieurs langues »⁷, sans chiffre qui se transposerait proprement à une capture d’écran avec deux langues dans une seule bulle. Je n’ai trouvé aucune étude isolant le changement de langue comme un problème de lecture de capture d’écran en particulier, à part le problème plus large du texte multilingue que décrit la synthèse. À traiter comme une difficulté réelle et documentée de la technologie sous-jacente, appliquée ici à un cas que personne n’a encore testé directement.

Ce que trois apps de lecture de capture d’écran disent de votre envoi

Subtext n’est pas la seule app conçue pour lire une capture d’écran de conversation, et la comparaison utile, c’est ce que dit la documentation actuelle de chacune sur ce qui arrive à un envoi, pas ce que sous-entend son marketing. Le paysage plus large des outils d’écriture IA est cartographié séparément ; ici, j’ai vérifié trois produits qui y sont nommés, en me basant sur leurs propres pages de confidentialité, pour une seule question précise : la conservation, la suppression, et l’usage à des fins d’entraînement d’un modèle.

Keys AI Texting Coach, développée par Charmed Inc. autour de la lecture de captures d’écran pour des conseils de rencontre et de messagerie, ne semble plus être en ligne. Le service de recherche iTunes d’Apple renvoie zéro résultat pour sa fiche App Store, app id 1510154956, à la date du 27 septembre 2026⁸, et son domaine web connu redirige chaque chemin, y compris celui qui hébergeait autrefois sa politique de confidentialité, vers une page de parking de domaine. Je n’ai trouvé aucune politique de confidentialité actuelle pour cette app, par aucun canal. Ce qu’elle disait autrefois sur le traitement des captures d’écran, je ne peux pas le vérifier aujourd’hui, et je ne vais pas reconstruire une affirmation à partir d’une page qui ne charge plus.

Mei, une app de messagerie par défaut sur Android avec un assistant IA optionnel, affirme dans ses conditions actuelles, modifiées pour la dernière fois le 3 octobre 2023 et vérifiées le 27 septembre 2026⁹, que le contenu des messages, y compris « images, photos, audio ou vidéos », est stocké sur ses serveurs « dans le seul but de la communication » et « n’est utilisé par nous d’aucune autre façon ». Séparément, en décrivant ce que reçoit réellement son assistant IA optionnel, le même document dit que les 20 derniers messages envoyés à l’IA comme contexte incluent « les emojis, les réactions et les URL », mais que « les messages avec pièces jointes, les messages vocaux et les images ne sont pas collectés » à cette fin. Pris ensemble, la propre documentation de Mei dit que sa fonction de suggestions IA ne traite aucun contenu d’image, captures d’écran comprises. La clause de stockage sur les photos concerne la livraison normale des messages à l’intérieur de l’app, pas ce qui est envoyé à l’IA. Une fonction distincte d’assistant IA à activation volontaire fonctionne différemment : quand un utilisateur l’active, Mei téléverse toute la base de données de messages SMS et MMS de l’appareil, y compris le texte de chaque message, plus des numéros de téléphone hachés et les noms des contacts, et la politique affirme que ces données sont « utilisées pour entraîner des modèles d’IA ». Cette clause ne nomme pas spécifiquement les captures d’écran ni les images, mais elle porte sur l’entraînement à partir du texte des messages en général, pas seulement sur les métadonnées de contact.

La politique de confidentialité de ConfiText, en vigueur depuis le 10 février 2026 et vérifiée le 27 septembre 2026¹⁰, ne traite que du « texte que vous saisissez dans l’App », et ne mentionne nulle part, sur ses neuf sections, ni photos, ni images, ni captures d’écran. Son propre site marketing décrit exactement une méthode de saisie, coller un message que l’utilisateur a déjà écrit, et aucune fonction de téléversement de capture d’écran ou de photo n’apparaît nulle part sur la page. En l’état, la question de la conservation ne semble pas s’appliquer à ConfiText. Le produit, selon son propre site actuel, ne prend tout simplement pas de capture d’écran en entrée.

Sur les trois, le compte est le suivant : une app qui ne semble plus exister, une dont la propre documentation exclut les images de ce que son IA lit réellement mais qui entraîne bien un modèle sur le texte des messages quand son assistant est activé, et une qui ne prend aucune capture d’écran du tout. Ça ne règle pas la façon dont une app de lecture de capture d’écran devrait traiter la conservation. Ça veut dire que comparer les politiques de capture d’écran de trois concurrents nommés a produit moins d’accord, et moins d’applicabilité, que ce que le point de départ supposait.

Retirer les métadonnées, c’est du bon sens, pas quelque chose de mesuré

Chaque photo prise par l’appareil photo d’un téléphone peut porter des données EXIF, modèle de l’appareil, horodatage, parfois la localisation, intégrées au fichier. Le conseil de retirer ces données avant de partager une photo est partout en ligne. J’ai cherché une étude contrôlée mesurant si le fait de retirer ces données, ou de caviarder manuellement le contenu visible d’une capture d’écran, produit une baisse mesurable d’un préjudice réel pour la vie privée, par opposition à une exposition théorique qu’un caviardage referme seulement sur le papier. Je n’en ai trouvé aucune. Ce qui existe, c’est de l’écriture descriptive sur la sécurité, qui explique quels champs existent et comment les retirer, pas une expérience comparant les résultats de personnes qui ont retiré leurs métadonnées à ceux de personnes qui ne l’ont pas fait. À traiter comme un conseil raisonnable et non testé, pas comme une protection mesurée.

Sur ce que Subtext fait lui-même avec les métadonnées d’une capture d’écran, j’ai lu directement les prompts système et les définitions d’outils du backend, le même fichier que les règles de ce site imposent de vérifier avant toute affirmation sur le produit (functions/src/subtext_prompts.ts). Rien dans ce code ne lit, ne retire, n’inspecte ni ne touche autrement les métadonnées du fichier d’une capture d’écran. Les images sont transmises au modèle multimodal sous-jacent comme entrée visuelle, de la même façon que n’importe quelle autre image, et aucune étape distincte de traitement des métadonnées n’apparaît nulle part dans les prompts ou les définitions d’outils que j’ai lus. Je le formule comme une absence, pas comme une fonctionnalité. Je n’ai trouvé aucune preuve que Subtext fait quoi que ce soit avec les métadonnées d’une capture d’écran, dans un sens ou dans l’autre, et je ne revendique pas une capacité que le code ne montre pas. Aucune évaluation indépendante de la précision avec laquelle Subtext lui-même lit une capture d’écran n’existe non plus, le même manque qui traverse chaque app nommée plus haut. Ce que la politique de confidentialité confirme, et ce que les deux pages sur le fonctionnement du site affirment déjà, c’est la règle générale qui s’applique à toute pièce jointe, capture d’écran comprise. Une conversation, et tout ce qui lui est joint, se supprime automatiquement cinq jours après la dernière utilisation, ou 90 jours si elle est épinglée, et rien de ce qui est envoyé ne sert à entraîner un modèle d’IA.

Ce que tout ça donne

En mettant les quatre morceaux ensemble, le tableau est inégal par nature, pas par accident. La seule partie avec un chiffre de précision réel et vérifiable, la performance générale d’OCR à l’intérieur d’un modèle multimodal, est mitigée : solide en anglais, mesurablement plus faible sur les écritures non latines et sur le texte en basse résolution, testée sur des benchmarks soigneusement sélectionnés, pas sur de vraies captures d’écran de conversation. Quatre des six cas d’échec supplémentaires vus plus haut citent de la vraie recherche sur une question adjacente : ce que signale réellement une réaction une fois correctement lue, à quel point les apps de messages éphémères effacent réellement le contenu, à quelle fréquence les gens se méprennent sur les autocollants des autres, et à quel point les modèles de langage gèrent mal le texte multilingue en général. Aucune de ces quatre études n’a testé le cas exact d’un modèle qui le lit à partir d’une capture d’écran. Les deux autres, l’attribution en conversation de groupe et la confusion des réponses citées, n’ont aucune recherche derrière elles, adjacente ou autre, seulement une description mécanique de la façon dont l’interface fonctionne. La vérification des concurrents a trouvé moins à comparer que ce que le point de départ supposait : une app disparue, une qui exclut les images de sa propre fonction IA selon ses propres dires, une qui n’a jamais accepté de captures d’écran du tout. Et la question des métadonnées s’est révélée être un conseil que tout le monde répète et que personne ne semble avoir mesuré.

Rien de tout ça ne veut dire qu’un modèle qui lit votre capture d’écran est peu fiable dans un usage courant. L’étude la plus large et la plus directe ici a quand même mesuré un modèle lisant correctement la plupart du texte de scène en anglais. Ça veut dire que l’affirmation précise, qu’un modèle multimodal lit une capture d’écran de conversation aussi fidèlement qu’il lit du texte tapé ordinaire, a des exceptions réelles et quantifiées, certaines importantes, et plusieurs cas difficiles que personne n’a mesurés du tout.

C’est là qu’en sont les choses aujourd’hui. Subtext est une app de plus qui fait ça, ni plus ni moins vérifiée que le reste ci-dessus. Essayer Subtext dans votre navigateurEssayer Subtext dans votre navigateur

Vérifié le 27 septembre 2026.

Sources

Shi, Peng, Liao, Lin, Chen, Liu, Zhang et Jin (2023). Exploring OCR Capabilities of GPT-4V(ision): A Quantitative and In-depth Evaluation. arXiv. Benchmarks d’OCR de scène et de documents, contre une seule génération de modèle de 2023, pas des captures d’écran de messagerie.
Inoue (2025). Context-Independent OCR with Multimodal LLMs: Effects of Image Resolution and Visual Complexity. Prépublication arXiv, auteur unique. Teste 100 caractères kanji japonais isolés à taille de police et résolution contrôlées, pas des captures d’écran de conversation.
Miller Hillberg, Levonian, Kluver, Terveen et Hecht (2018). What I See is What You Don’t Get: The Effects of (Not) Seeing Emoji Rendering Differences across Platforms. Proceedings of the ACM on Human-Computer Interaction, CSCW. Enquête auprès de 710 utilisateurs de Twitter sur leurs propres tweets contenant des emojis, pas un test d’un modèle qui les lit.
Tardelli, Alvisi, Cima, Cresci et Tesconi (2025). Emoji Reactions on Telegram: Unreliable Indicators of Emotional Resonance. Prépublication arXiv. Plus de 650 000 réactions sur des messages Telegram liés aux cryptomonnaies, une seule plateforme et un seul domaine.
Heath, MacDermott et Akinbi (2023). Forensic analysis of ephemeral messaging applications: Disappearing messages or evidential data? Forensic Science International: Digital Investigation. Teste le comportement de suppression propre à WhatsApp, Snapchat et Telegram, pas la lecture d’une capture d’écran par une IA.
Tang, Hew, Herring et Chen (2021). (Mis)communication through stickers in online group discussions: A multiple-case study. Discourse & Communication. Cinq groupes de discussion et sept personnes interviewées dans une seule université ; mesure la méprise humaine, pas celle d’un modèle.
Sheth, Sinha, Patil, Beniwal et Singh (2025). Beyond Monolingual Assumptions: A Survey of Code-Switched NLP in the Era of Large Language Models across Modalities. Synthèse en prépublication arXiv, aucun test spécifique aux captures d’écran.
Apple. iTunes Lookup API result for Keys AI Texting Coach, app id 1510154956, vérifié le 27 septembre 2026. Zéro résultat retourné ; l’app ne semble plus être répertoriée.
Mei. Terms of Service and Privacy Policy, modifié pour la dernière fois le 3 octobre 2023, vérifié le 27 septembre 2026.
ConfiText. Privacy Policy, en vigueur depuis le 10 février 2026, vérifié le 27 septembre 2026.