La recherche d’images inversées est l’une des techniques d’enquête numériques les plus connues et les plus faciles, avec la fonctionnalité en deux clics de choisir « Rechercher Google pour l’image” dans de nombreux navigateurs Web. Cette méthode a également été largement utilisée dans la culture populaire, peut-être plus particulièrement dans l’émission de MTV Catfish, qui expose les personnes dans des relations en ligne qui utilisent des photographies volées sur leurs médias sociaux.

Cependant, si vous n’utilisez Google que pour la recherche d’images inversées, vous serez déçu le plus souvent. Limiter votre processus de recherche au téléchargement d’une photo sous sa forme originale pour simplement images.google.com peut vous donner des résultats utiles pour les images les plus manifestement volées ou les plus populaires, mais pour la plupart des projets de recherche sophistiqués, vous avez besoin de sites supplémentaires à votre disposition — avec beaucoup de créativité.

Ce guide présentera des stratégies détaillées pour utiliser la recherche d’images inversées dans les enquêtes numériques, en vue d’identifier les personnes et les lieux, ainsi que de déterminer la descendance d’une image. Après avoir détaillé les principales différences entre les moteurs de recherche, Yandex, Bing et Google sont testés sur cinq images de test montrant différents objets et de différentes régions du monde.

Au-delà de Google

On ne saurait trop insister sur le premier et le plus important conseil sur ce sujet: la recherche d’images inversées sur Google n’est pas très bonne.

À la date de publication de ce guide, le leader incontesté de la recherche d’images inversées est le site russe Yandex. Après Yandex, les finalistes sont Bing et Google de Microsoft. Un quatrième service qui pourrait également être utilisé dans les enquêtes est TinEye, mais ce site est spécialisé dans les violations de la propriété intellectuelle et recherche des doublons exacts d’images.

Yandex

Yandex est de loin le meilleur moteur de recherche d’images inversées, avec une capacité effrayante et puissante à reconnaître les visages, les paysages et les objets. Ce site russe s’appuie fortement sur le contenu généré par les utilisateurs, tels que les sites d’avis touristiques (par exemple FourSquare et TripAdvisor) et les réseaux sociaux (par exemple les sites de rencontres), pour des résultats remarquablement précis avec des requêtes de reconnaissance faciale et paysagère.

Ses points forts résident dans des photographies prises dans un contexte européen ou ex-soviétique. Alors que les photographies d’Amérique du Nord, d’Afrique et d’autres endroits peuvent toujours renvoyer des résultats utiles sur Yandex, vous pouvez vous sentir frustré en faisant défiler les résultats principalement de la Russie, de l’Ukraine et de l’Europe de l’Est plutôt que du pays de vos images cibles.

Pour utiliser Yandex, allez à images.yandex.com , puis choisissez l’icône de la caméra à droite.

À partir de là, vous pouvez télécharger une image enregistrée ou saisir l’URL d’une image hébergée en ligne.

Si vous êtes coincé avec l’interface utilisateur russe, recherchez Выберите файл (Choisissez le fichier), Введите адрес картинки (Entrez l’adresse de l’image) et Найти (Recherchez). Après la recherche, recherchez Похожие картинки (Images similaires) et Ащё похожие (Plus similaires).

Les algorithmes de reconnaissance faciale utilisés par Yandex sont incroyablement bons. Non seulement Yandex recherchera des photographies qui ressemblent à celle qui a un visage, mais il recherchera également d’autres photographies de la même personne (déterminées par des similitudes faciales correspondantes) avec un éclairage, des couleurs d’arrière-plan et des positions complètement différents. Alors que Google et Bing peuvent simplement rechercher d’autres photographies montrant une personne avec des vêtements similaires et des traits faciaux généraux, Yandex recherchera ces correspondances, ainsi que d’autres photographies d’une correspondance faciale. Ci-dessous, vous pouvez voir comment les trois services ont fouillé le visage de Sergey Dubinsky, un suspect russe dans la destruction du MH17. Yandex a trouvé de nombreuses photographies de Dubinsky provenant de diverses sources (seulement deux des meilleurs résultats avaient des personnes non apparentées), le résultat différant de l’image originale mais montrant la même personne. Google n’a eu aucune chance, tandis que Bing n’avait qu’un seul résultat (cinquième image, deuxième rangée) qui montrait également Dubinsky.

Yandex est, de toute évidence, un service russe, et il y a des inquiétudes et des soupçons quant à ses liens (ou potentiels liens futurs) avec le Kremlin. Alors que chez Bellingcat, nous utilisons constamment Yandex pour ses capacités de recherche, vous êtes peut-être un peu plus paranoïaque que nous. Utilisez Yandex à vos propres risques, surtout si vous craignez également d’utiliser VK et d’autres services russes. Si vous n’êtes pas particulièrement paranoïaque, essayez de rechercher une photo non indexée de vous-même ou de quelqu’un que vous connaissez dans Yandex, et voyez si elle peut vous retrouver ou retrouver votre sosie en ligne.

Bing

Au cours des dernières années, Bing a rattrapé Google dans ses capacités de recherche d’images inversées, mais reste limité. La « recherche visuelle » de Bing, trouvée à images.bing.com , est très facile à utiliser, et offre quelques fonctionnalités intéressantes introuvables ailleurs.

Dans une recherche d’image, Bing vous permet de recadrer une photographie (bouton sous l’image source) pour vous concentrer sur un élément spécifique de ladite photographie, comme on le voit ci-dessous. Les résultats avec l’image recadrée excluront les éléments étrangers, en se concentrant sur la boîte définie par l’utilisateur. Cependant, si la partie sélectionnée de l’image est petite, il vaut la peine de recadrer manuellement la photo vous—même et d’augmenter la résolution – les images à basse résolution (inférieures à 200× 200) rapportent de mauvais résultats.

Ci-dessous, une image Google Street View d’un homme marchant quelques carlins a été recadrée pour se concentrer uniquement sur les toutous, ce qui a conduit Bing à suggérer la race de chien visible sur la photo (la fonction « Ressemble”), avec des résultats visuellement similaires. Ces résultats comprenaient principalement des paires de chiens promenés, correspondant à l’image source, mais n’incluaient pas toujours uniquement des carlins, car les bouledogues français, les bouledogues anglais, les dogues et d’autres sont mélangés.

Google

De loin le moteur de recherche d’images inversées le plus populaire, à images.google.com , Google est bien pour la plupart des recherches d’images inversées rudimentaires. Certaines de ces requêtes relativement simples incluent l’identification de personnes bien connues sur des photographies, la recherche de la source des images qui ont été partagées un peu en ligne, la détermination du nom et du créateur d’une œuvre d’art, etc. Cependant, si vous souhaitez localiser des images qui ne sont pas proches d’une copie exacte de celle que vous recherchez, vous risquez d’être déçu.

Par exemple, lors de la recherche du visage d’un homme qui a tenté d’attaquer un journaliste de la BBC lors d’un rassemblement de Trump, Google peut trouver la source de l’image recadrée, mais ne peut pas trouver d’images supplémentaires de lui, ni même de quelqu’un qui lui ressemble passivement.

Bien que Google n’ait pas été très fort pour trouver d’autres exemples du visage de cet homme ou de personnes d’apparence similaire, il a tout de même trouvé la version originale non recadrée de la photographie à partir de laquelle la capture d’écran a été prise, montrant une certaine utilité.

Cinq cas de test

Pour tester différentes techniques et moteurs de recherche d’images inversées, une poignée d’images représentant différents types d’enquêtes sont utilisées, y compris des photographies originales (non téléchargées précédemment en ligne) et des images recyclées. Étant donné que ces photographies sont incluses dans ce guide, il est probable que ces cas de test ne fonctionneront pas comme prévu à l’avenir, car les moteurs de recherche indexeront ces photographies et les intégreront dans leurs résultats. Ainsi, des captures d’écran des résultats tels qu’ils sont apparus lors de la rédaction de ce guide sont incluses.

Ces photographies de test comprennent un certain nombre de régions géographiques différentes pour tester la force des moteurs de recherche de matériel source en Europe de l’Ouest, en Europe de l’Est, en Amérique du Sud, en Asie du Sud-Est et aux États-Unis. Avec chacune de ces photographies, j’ai également mis en évidence des objets discrets dans l’image pour tester les forces et les faiblesses de chaque moteur de recherche.

N’hésitez pas à télécharger ces photographies (chaque image de ce guide est directement liée à un fichier JPEG) et à les exécuter vous-même dans les moteurs de recherche pour tester vos compétences.

Palais Olisov À Nijni Novgord, Russie (Original, non téléchargé précédemment en ligne)

Isolé: SUV blanc à Nijni Novgorod

Isolé: Remorque à Nijni Novgorod

p>

Paysage Urbain À Cebu, Philippines (Original, non téléchargé en ligne)

Isolé: Complexe de condominiums, « The Padgett Place »

Isolé: « Waterfront Hotel »

Étudiants de l’Annonce Bloomberg 2020 (Capture d’écran de la vidéo)

Isolé: Étudiant

Av. do Café À São Paulo, Brésil (Capture d’écran de Google Street View)

Isolé: Toca do Açaí

Isolé: Estacionamento (Parking)

Canal d’Amsterdam (Original, non téléchargé en ligne)

Isolé: Héron cendré

Isolé: Drapeau néerlandais (également tourné de 90 degrés dans le sens des aiguilles d’une montre)

Résultats

Chacune de ces photographies a été choisie afin de démontrer les capacités et les limites des trois moteurs de recherche. Alors que Yandex en particulier peut sembler fonctionner parfois de la magie noire numérique, il est loin d’être infaillible et peut lutter avec certains types de recherches. Pour trouver des moyens de surmonter ces limitations, j’ai détaillé quelques stratégies de recherche créative à la fin de ce guide.

Palais Olisov de Novgorod

Comme on pouvait s’y attendre, Yandex n’a eu aucun mal à identifier ce bâtiment russe. Outre les photographies sous un angle similaire à notre photographie source, Yandex a également trouvé des images sous d’autres perspectives, y compris 90 degrés dans le sens inverse des aiguilles d’une montre (voir les deux premières images de la troisième rangée) à partir du point de vue de l’image source.

Yandex n’a également eu aucun mal à identifier le SUV blanc au premier plan de la photo comme un Nissan Juke.

Enfin, dans la recherche isolée la plus difficile pour cette image, Yandex n’a pas réussi à identifier la remorque grise non descriptive devant le bâtiment. Un certain nombre de résultats ressemblent à celui de l’image source, mais aucun ne correspond réellement.

Bing n’a pas réussi à identifier cette structure. Presque tous ses résultats provenaient des États-Unis et de l’Europe occidentale, montrant des maisons avec une maçonnerie ou un parement blanc / gris et des toits bruns.

De même, Bing n’a pas pu déterminer que le SUV blanc était un Nissan Juke, se concentrant plutôt sur un éventail d’autres VUS et voitures blancs.

Enfin, Bing n’a pas réussi à identifier la remorque grise, se concentrant davantage sur les véhicules récréatifs et les campeurs gris plus grands.

Les résultats de Google pour la photo complète sont comiquement mauvais, en regardant l’émission de télévision de la maison et les images avec très peu de similitude visuelle.

Google a réussi à identifier le SUV blanc comme un Juke Nissan, le notant même dans la recherche de champ de texte. Comme on le voit avec Yandex, nourrir le moteur de recherche d’une image dans une perspective similaire à celle des matériaux de référence populaires — une vue latérale d’une voiture qui ressemble à celle de la plupart des publicités — permettra au mieux aux algorithmes d’image inversée de faire leur magie.

Enfin, Google a reconnu ce qu’était la remorque grise (remorque de voyage / camping-car), mais ses « images visuellement similaires” en étaient loin.

Tableau de bord: Yandex 2/3; Bing 0/3; Google 1/3

Cebu

Yandex était techniquement en mesure d’identifier le paysage urbain comme celui de Cebu aux Philippines, mais peut-être seulement par accident. Le quatrième résultat de la première rangée et le quatrième résultat de la deuxième rangée sont de Cebu, mais seule la deuxième photographie montre l’un des mêmes bâtiments que dans l’image source. De nombreux résultats provenaient également de l’Asie du Sud-Est (en particulier de la Thaïlande, qui est une destination populaire pour les touristes russes), notant des styles architecturaux similaires, mais aucun n’est du même point de vue que la source.

Parmi les deux bâtiments isolés de la recherche (le Padgett Palace et l’hôtel Waterfront), Yandex a pu identifier ce dernier, mais pas le premier. Le Padgett Palace Building est un immeuble de grande hauteur relativement banal rempli de condos, tandis que l’hôtel Waterfront possède également un casino à l’intérieur, ce qui conduit à un éventail de photographies touristiques montrant son architecture plus distincte.

Bing n’a obtenu aucun résultat même en Asie du Sud-Est lors de la recherche du paysage urbain de Cebu, montrant une limitation géographique sévère de ses résultats indexés.

Comme Yandex, Bing n’a pas pu identifier le bâtiment sur la partie gauche de l’image source.

Bing n’a pas pu trouver l’hôtel au bord de l’eau, à la fois lors de l’utilisation de la fonction de recadrage de Bing (ne ramenant que des photographies à basse résolution) et lors du recadrage manuel et de l’augmentation de la résolution du bâtiment à partir de l’image source. Il est à noter que les résultats de ces deux versions de l’image, qui étaient identiques en dehors de la résolution, ont ramené des résultats radicalement différents.

Comme avec Yandex, Google a ramené une photographie de Cebu dans ses résultats, mais sans forte ressemblance avec l’image source. Alors que Cebu n’était pas dans les vignettes des résultats initiaux, le suivi des « images visuellement similaires” récupérera une image de la ligne d’horizon de Cebu en tant que onzième résultat (troisième image dans la deuxième ligne ci-dessous).

Comme avec Yandex et Bing, Google n’a pas pu identifier le gratte-ciel sur la partie gauche de l’image source. Google n’a pas non plus eu de succès avec l’image de l’hôtel au bord de l’eau.

Tableau de bord: Yandex 4/6; Bing 0/6; Google 2/6

Étudiant Bloomberg 2020

Yandex a trouvé l’image source de cette publicité de la campagne Bloomberg — un Getty Images banque d’images. Parallèlement à cela, Yandex a également trouvé des versions de la photographie avec des filtres appliqués (deuxième résultat, première rangée) et des photographies supplémentaires de la même série de photos. De plus, pour une raison quelconque, le porno, comme on le voit dans les résultats flous ci-dessous.

En isolant uniquement le visage du modèle de photo, Yandex a ramené une poignée d’autres clichés du même type (voir la dernière image de la première rangée), ainsi que des images de la même photo en classe (voir la quatrième image de la première rangée).

Bing a eu un résultat de recherche intéressant: il a trouvé la correspondance exacte de la photographie de stock, puis a ramené des « images similaires » d’autres hommes en chemise bleue. L’onglet « Pages avec ceci » du résultat fournit une liste pratique des versions en double de cette même image sur le Web.

Se concentrer uniquement sur le visage du modèle de photo ne ramène aucun résultat utile, ni ne fournit l’image source à partir de laquelle il a été pris.

Google reconnaît que l’image utilisée par la campagne Bloomberg est une photo de stock, ramenant un résultat exact. Google fournira également d’autres photos de personnes en chemise bleue en classe.

En isolant l’étudiant, Google retournera à nouveau la source de la photo, mais ses images visuellement similaires ne montrent pas le modèle de photo, plutôt un tableau d’autres hommes avec des poils faciaux similaires. Nous compterons cela comme une demi-victoire dans la recherche de l’image originale, mais ne montrant aucune information sur le modèle spécifique, comme l’a fait Yandex.

Tableau de bord: Yandex 6/8; Bing 1/8; Google 3.5/8

Brazilian Street View

Yandex n’a pas pu comprendre que cette image ait été prise au Brésil, se concentrant plutôt sur les paysages urbains en Russie.

Pour Toca do Açaí, pour une raison quelconque, Yandex a surtout ramené du porno comme résultat. Ces images étaient floues, et vous pouvez cliquer ici pour voir les résultats. Cependant, malgré le charbon flou, deux des résultats ont correctement identifié le logo.

Pour le panneau de stationnement, Yandex ne s’est même pas approché.

Bing ne savait pas que cette image de street view avait été prise au Brésil.

norBing n’a pas non plus reconnu le panneau de stationnement…

or ou le logo Toca do Açaí.

Bien que l’image ait été directement prise à partir de Street View de Google, Google reverse image search n’a pas reconnu une photo téléchargée sur son propre service.

Tout comme Bing et Yandex, Google n’a pas pu reconnaître le panneau de stationnement portugais.

Enfin, Google n’a pas été près d’identifier le logo Toca do Açaí, se concentrant plutôt sur différents types de panneaux en bois, montrant comment il se concentrait sur la toile de fond de l’image plutôt que sur le logo et les mots.

Tableau de bord: Yandex 7/11; Bing 1/11; Google 3.5/11

Canal d’Amsterdam

Yandex savait exactement où cette photographie avait été prise à Amsterdam, trouvant d’autres photographies prises dans le centre d’Amsterdam, et même incluant celles avec différents types d’oiseaux dans le cadre.

Yandex a correctement identifié l’oiseau au premier plan de la photographie comme un héron cendré (серая дапля), ramenant également un tableau d’images de hérons gris dans une position et une posture similaires à celles de l’image source.

Cependant, Yandex a échoué le test d’identification du drapeau néerlandais accroché à l’arrière-plan de la photographie. En tournant l’image de 90 degrés dans le sens des aiguilles d’une montre pour présenter le drapeau dans son motif normal, Yandex a pu comprendre qu’il s’agissait d’un drapeau, mais n’a renvoyé aucun drapeau néerlandais dans ses résultats.

Bing a seulement reconnu que cette image montre un paysage urbain avec de l’eau, sans résultats d’Amsterdam.

Bien que Bing ait eu du mal à identifier un paysage urbain, il a correctement identifié l’oiseau comme un héron cendré, y compris un résultat spécialisé « Ressemble” allant à une page décrivant l’oiseau.

Cependant, comme avec Yandex, le drapeau néerlandais était trop déroutant pour Bing, à la fois dans ses formes originales et pivotées.

Google a noté qu’il y avait une réflexion dans le canal de l’image, mais n’est pas allé plus loin que cela, en se concentrant sur divers chemins pavés dans les villes et rien d’Amsterdam.

Google était proche de l’exercice d’identification des oiseaux, mais l’a à peine manqué — c’est un héron gris, pas grand bleu.

Google n’a pas non plus pu identifier le drapeau néerlandais. Bien que Yandex semble reconnaître que l’image est un drapeau, l’algorithme de Google s’est concentré sur le rebord de la fenêtre encadrant l’image et a mal identifié le drapeau comme des rideaux.

Tableau de bord final: Yandex 9/14; Bing 2/14; Google 3.5 /14

Recherche créative

Même avec les lacunes décrites dans ce guide, il y en a une poignée des méthodes pour maximiser votre processus de recherche et jouer les algorithmes de recherche.

Sites spécialisés

Pour l’un, vous pouvez utiliser d’autres moteurs de recherche plus spécialisés en dehors des trois détaillés dans ce guide. L’application Merlin Bird ID du Cornell Lab, par exemple, est extrêmement précise pour identifier le type d’oiseaux sur une photographie ou pour donner des options possibles. De plus, bien qu’il ne s’agisse pas d’une application et que vous ne puissiez pas effectuer une recherche inversée sur une photo, FlagID.org vous permettra d’entrer manuellement des informations sur un drapeau pour savoir d’où il vient. Par exemple, avec le drapeau néerlandais avec lequel même Yandex a lutté, FlagID n’a aucun problème. Après avoir choisi un drapeau tricolore horizontal, nous mettons les couleurs visibles dans l’image, puis recevons une série d’options qui incluent les Pays-Bas (ainsi que d’autres drapeaux d’apparence similaire, tels que le drapeau du Luxembourg).

Reconnaissance de la langue

Si vous regardez une langue étrangère avec une orthographe que vous ne reconnaissez pas, essayez d’utiliser une OCR ou Google Translate pour vous faciliter la vie. Vous pouvez utiliser l’outil d’écriture manuscrite de Google Translate pour détecter la langue * d’une lettre que vous écrivez à la main, ou choisir une langue (si vous la connaissez déjà), puis l’écrire vous-même pour le mot. Ci-dessous, le nom d’un café (« Hérisson dans le brouillard ») est écrit à l’aide de l’outil d’écriture manuscrite de Google Translate, donnant la version dactylographiée du mot (≈ик) qui peut être recherchée.

* Soyez averti que Google Translate n’est pas très bon pour reconnaître les lettres si vous ne connaissez pas déjà la langue, mais si vous faites défiler suffisamment de résultats, vous pourrez éventuellement trouver votre lettre manuscrite.

Pixellisation et Flou

Comme détaillé dans un bref fil Twitter, vous peut pixéliser ou flouter des éléments d’une photographie afin de tromper le moteur de recherche pour qu’il se concentre carrément sur l’arrière-plan. Sur cette photo de la porte-parole de Rudy Giuliani, le téléchargement de l’image exacte ne ramènera pas de résultats montrant où elle a été prise.

Cependant, si nous floutons / pixellisons la femme au milieu de l’image, cela permettra à Yandex (et à d’autres moteurs de recherche) de faire correspondre tous les autres éléments de l’image: les chaises, les peintures, le lustre, les motifs de tapis et de murs, etc.

Une fois cette pixellisation effectuée, Yandex sait exactement où l’image a été prise: un hôtel populaire à Vienne.

Conclusion

Les moteurs de recherche d’images inversées ont considérablement progressé au cours de la dernière décennie, sans fin en vue. Parallèlement à la quantité croissante de matériel indexé, un certain nombre de géants de la recherche ont incité leurs utilisateurs à s’inscrire à des services d’hébergement d’images, tels que Google Photos, donnant à ces algorithmes de recherche une quantité infinie de matériel pour l’apprentissage automatique. En plus de cela, l’IA de reconnaissance faciale entre dans l’espace grand public avec des produits comme FindClone et peut déjà être utilisée dans certains algorithmes de recherche, notamment avec Yandex. Instagram Facebook ou Instagram, mais ce n’est peut-être qu’une question de temps jusqu’à ce que quelque chose comme ça émerge, portant un coup majeur à la vie privée en ligne tout en augmentant (à ce prix élevé) la fonctionnalité de recherche numérique.

Si vous avez sauté la majeure partie de l’article et que vous ne cherchez que le résultat final, voici quelques conseils faciles à digérer pour la recherche d’images inversées:

• Utilisez Yandex en premier, deuxième et troisième, puis essayez Bing et Google si vous ne trouvez toujours pas le résultat souhaité.
• Si vous travaillez avec des images sources qui ne proviennent pas d’un pays occidental ou d’un ancien pays soviétique, vous n’aurez peut-être pas beaucoup de chance. Ces moteurs de recherche sont hyper-concentrés sur ces zones et luttent pour des photographies prises en Amérique du Sud, en Amérique centrale / Caraïbes, en Afrique et dans une grande partie de l’Asie.
• Augmentez la résolution de votre image source, même si cela signifie simplement doubler ou tripler la résolution jusqu’à ce que ce soit un gâchis pixélisé. Aucun de ces moteurs de recherche ne peut faire grand-chose avec une image inférieure à 200×200.
• Essayez de recadrer des éléments de l’image ou de les pixelliser si cela déclenche vos résultats. La plupart de ces moteurs de recherche se concentreront sur les personnes et leurs visages comme un missile à la recherche de chaleur, alors pixellisez-les pour se concentrer sur les éléments d’arrière-plan.
• Si tout le reste échoue, soyez vraiment créatif: reflétez votre image horizontalement, ajoutez des filtres de couleur ou utilisez l’outil de clonage de votre éditeur d’image pour remplir les éléments de votre image qui perturbent les recherches.