Reverse image search è una delle tecniche investigative digitali più noti e più facili, con funzionalità a due clic di scegliere “Cerca Google per l’immagine” in molti browser web. Questo metodo ha visto anche un uso diffuso nella cultura popolare, forse in particolare nello spettacolo di MTV Catfish, che espone le persone in relazioni online che usano fotografie rubate sui loro social media.

Tuttavia, se usi Google solo per la ricerca inversa di immagini, rimarrai deluso il più delle volte. Limitare il processo di ricerca per caricare una fotografia nella sua forma originale per solo images.google.com può dare risultati utili per le immagini più ovviamente rubati o popolari, ma per la maggior parte qualsiasi progetto di ricerca sofisticato, avete bisogno di ulteriori siti a vostra disposizione — insieme a un sacco di creatività.

Questa guida camminerà attraverso strategie dettagliate per utilizzare la ricerca inversa di immagini nelle indagini digitali, con un occhio verso l’identificazione di persone e luoghi, insieme a determinare la progenie di un’immagine. Dopo aver dettagliato le differenze principali tra i motori di ricerca, Yandex, Bing e Google vengono testati su cinque immagini di prova che mostrano oggetti diversi e da varie regioni del mondo.

Oltre Google

Il primo e più importante consiglio su questo argomento non può essere sottolineato abbastanza: Google reverse image search non è molto buona.

Alla data di pubblicazione di questa guida, il leader indiscusso della ricerca inversa di immagini è il sito russo Yandex. Dopo Yandex, i secondi classificati sono Bing di Microsoft e Google. Un quarto servizio che potrebbe essere utilizzato anche nelle indagini è TinEye, ma questo sito è specializzato in violazioni della proprietà intellettuale e cerca duplicati esatti di immagini.

Yandex

Yandex è di gran lunga il miglior motore di ricerca immagine inversa, con una spaventosa – potente capacità di riconoscere volti, paesaggi e oggetti. Questo sito russo si basa pesantemente su contenuti generati dagli utenti, come siti di recensioni turistiche (ad esempio FourSquare e TripAdvisor) e social network (ad esempio siti di incontri), per risultati straordinariamente accurati con query di riconoscimento facciale e paesaggistico.

I suoi punti di forza risiedono nelle fotografie scattate in un contesto europeo o ex-sovietico. Mentre le fotografie provenienti da Nord America, Africa e altri luoghi possono ancora restituire risultati utili su Yandex, potresti trovarti frustrato scorrendo i risultati principalmente da Russia, Ucraina ed Europa orientale piuttosto che dal paese delle tue immagini di destinazione.

Per utilizzare Yandex, vai a images.yandex.com, quindi scegliere l’icona della fotocamera sulla destra.

Da lì, è possibile caricare un’immagine salvata o digitare l’URL di un hosted online.

Se ti trovi in difficoltà con l’interfaccia utente russa, fai attenzione a Выберите кайл (Scegli il file), Введите адрес картинки (Inserisci l’indirizzo dell’immagine) e Найти (Cerca). Dopo la ricerca, guardare fuori per Похожие картинки (Immagini simili), e Е пё похожие (Più simile).

Gli algoritmi di riconoscimento facciale utilizzati da Yandex sono incredibilmente buoni. Non solo Yandex cercare fotografie che sembrano simili a quella che ha un volto in esso, ma sarà anche cercare altre fotografie della stessa persona (determinato attraverso corrispondenza somiglianze facciali) con illuminazione completamente diversa, colori di sfondo, e le posizioni. Mentre Google e Bing possono solo cercare altre fotografie che mostrano una persona con abiti simili e caratteristiche facciali generali, Yandex cercherà quelle partite, e anche altre fotografie di una partita facciale. Di seguito, puoi vedere come i tre servizi hanno cercato il volto di Sergey Dubinsky, un sospetto russo nell’abbattimento di MH17. Yandex ha trovato numerose fotografie di Dubinsky da varie fonti (solo due dei primi risultati avevano persone non correlate), con il risultato che differisce dall’immagine originale ma mostra la stessa persona. Google non ha avuto fortuna a tutti, mentre Bing ha avuto un unico risultato (quinta immagine, seconda fila) che ha mostrato anche Dubinsky.

Yandex è, ovviamente, un servizio russo, e ci sono preoccupazioni e sospetti sui suoi legami (o potenziali legami futuri) con il Cremlino. Mentre noi di Bellingcat usiamo costantemente Yandex per le sue capacità di ricerca, potresti essere un po ‘ più paranoico di noi. Usa Yandex a tuo rischio e pericolo, specialmente se sei anche preoccupato di usare VK e altri servizi russi. Se non sei particolarmente paranoico, prova a cercare una fotografia non indicizzata di te stesso o di qualcuno che conosci in Yandex e vedi se riesce a trovare te stesso o il tuo doppelganger online.

Bing

Nel corso degli ultimi anni, Bing ha raggiunto Google nelle sue capacità di ricerca di immagini inversa, ma è ancora limitata. “Ricerca visiva” di Bing, trovato a images.bing.com, è molto facile da usare, e offre alcune caratteristiche interessanti che non si trovano altrove.

All’interno di una ricerca di immagini, Bing consente di ritagliare una fotografia (pulsante sotto l’immagine sorgente) per concentrarsi su un elemento specifico in detta fotografia, come si vede di seguito. I risultati con l’immagine ritagliata escluderanno gli elementi estranei, concentrandosi sulla casella definita dall’utente. Tuttavia, se la porzione selezionata dell’immagine è piccola, vale la pena ritagliare manualmente la fotografia e aumentare la risoluzione: le immagini a bassa risoluzione (inferiori a 200×200) riportano risultati scarsi.

Di seguito, un’immagine di Google Street View di un uomo che cammina con un paio di carlini è stata ritagliata per concentrarsi solo sui cagnolini, portando a Bing a suggerire la razza di cane visibile nella fotografia (la funzione “Sembra”), insieme a risultati visivamente simili. Questi risultati includevano per lo più coppie di cani che venivano camminati, corrispondenti all’immagine sorgente, ma non sempre includevano solo carlini, poiché bulldog francesi, bulldog inglesi, mastini e altri sono mescolati.

Google

Di gran lunga il più popolare motore di ricerca di immagini inverse, a images.google.com, Google va bene per la maggior parte delle ricerche di immagine inversa rudimentali. Alcune di queste query relativamente semplici includono identificare persone ben note nelle fotografie, trovare la fonte di immagini che sono state condivise un po ‘ online, determinare il nome e il creatore di un’opera d’arte e così via. Tuttavia, se si desidera individuare le immagini che non sono vicino a una copia esatta di quello che si sta ricercando, si può essere delusi.

Ad esempio, quando si cerca il volto di un uomo che ha cercato di attaccare un giornalista della BBC a un raduno di Trump, Google può trovare la fonte dell’immagine ritagliata, ma non riesce a trovare altre immagini di lui, o anche qualcuno che ha una somiglianza passeggera con lui.

Mentre Google non era molto forte nel trovare altre istanze del volto di quest’uomo o persone dall’aspetto simile, ha comunque trovato la versione originale, non ritagliata della fotografia da cui è stata scattata la schermata, mostrando qualche utilità.

Cinque casi di test

Per testare diverse tecniche e motori di ricerca di immagini inverse, vengono utilizzate una manciata di immagini che rappresentano diversi tipi di indagini, incluse sia le fotografie originali (non precedentemente caricate online) che quelle riciclate. A causa del fatto che queste fotografie sono incluse in questa guida, è probabile che questi casi di test non funzionino come previsto in futuro, poiché i motori di ricerca indicizzeranno queste fotografie e le integreranno nei loro risultati. Pertanto, sono inclusi gli screenshot dei risultati così come apparivano quando questa guida veniva scritta.

Queste fotografie di prova includono un certo numero di diverse regioni geografiche per testare la forza dei motori di ricerca per il materiale di partenza in Europa occidentale, Europa orientale, Sud America, sud-est asiatico, e gli Stati Uniti. Con ognuna di queste fotografie, ho anche evidenziato oggetti discreti all’interno dell’immagine per testare i punti di forza e di debolezza per ogni motore di ricerca.

Sentiti libero di scaricare queste fotografie (ogni immagine in questa guida è collegata direttamente a un file JPEG) ed eseguirle attraverso i motori di ricerca per testare le tue abilità.

Olisov Palazzo In Nizhny Novgord, Russia (Originale, non precedentemente caricati online)

Isolato: Bianco SUV a Nizhny Novgorod

Isolato: Rimorchio a Nizhny Novgorod

Città di Cebu, Filippine (Originale, non precedentemente caricati online)

Isolato: Condominio, “Il Padgett Luogo”

Isolato: “Waterfront Hotel”

Studenti Da Bloomberg Il 2020 Annuncio (Screenshot dal video)

Isolato: Studente

Av. do Café A São Paulo, Brasile (Screenshot da Google Street View)

Isolato: Toca do Açaí

Isolato: Estacionamento (Parcheggio)

Canale di Amsterdam (Originale, non precedentemente caricati online)

Isolato: l’Airone Grigio

Isolato: Bandiera olandese (anche ruotato di 90 gradi in senso orario)

Risultati

Ognuna di queste fotografie sono state scelte per illustrare le potenzialità e i limiti dei tre motori di ricerca. Mentre Yandex in particolare può sembrare che sta lavorando magia nera digitale, a volte, è tutt’altro che infallibile e può lottare con alcuni tipi di ricerche. Per alcuni modi per superare queste limitazioni, ho dettagliato alcune strategie di ricerca creativa alla fine di questa guida.

Palazzo Olisov di Novgorod

Prevedibilmente, Yandex non ha avuto problemi a identificare questo edificio russo. Insieme alle fotografie da un’angolazione simile alla nostra fotografia di origine, Yandex ha anche trovato immagini da altre prospettive, tra cui 90 gradi in senso antiorario (vedere le prime due immagini nella terza riga) dal punto di vista dell’immagine sorgente.

Anche Yandex non ha avuto problemi a identificare il SUV bianco in primo piano della fotografia come un Nissan Juke.

Infine, nella ricerca isolata più impegnativa di questa immagine, Yandex non ha avuto successo nell’identificare il trailer grigio non descrittivo di fronte all’edificio. Un certo numero di risultati assomiglia a quello dell’immagine sorgente, ma nessuno è una corrispondenza effettiva.

Bing non ha avuto successo nell’identificare questa struttura. Quasi tutti i suoi risultati provenivano dagli Stati Uniti e dall’Europa occidentale, mostrando case con muratura bianca/grigia o rivestimenti e tetti marroni.

Allo stesso modo, Bing non ha potuto determinare che il SUV bianco fosse un Nissan Juke, concentrandosi invece su una serie di altri SUV e auto bianche.

Infine, Bing non è riuscito a identificare il rimorchio grigio, concentrandosi maggiormente su camper e camper grigi più grandi.

I risultati di Google per la fotografia completa sono comicamente cattivi, guardando allo show televisivo della Casa e alle immagini con pochissima somiglianza visiva.

Google ha identificato con successo il SUV bianco come Nissan Juke, notandolo anche nella ricerca del campo di testo. Come si è visto con Yandex, alimentando il motore di ricerca un’immagine da una prospettiva simile come materiali di riferimento popolari — una vista laterale di una macchina che assomiglia a quella della maggior parte delle pubblicità — sarà meglio consentire algoritmi di immagine inversa per lavorare la loro magia.

Infine, Google ha riconosciuto quale fosse il trailer grigio (trailer di viaggio / camper), ma le sue “immagini visivamente simili” erano lontane da esso.

Scorecard: Yandex 2/3; Bing 0/3; Google 1/3

Cebu

Yandex era tecnicamente in grado di identificare il paesaggio urbano come quello di Cebu nelle Filippine, ma forse solo per caso. Il quarto risultato nella prima riga e il quarto risultato nella seconda riga sono di Cebu, ma solo la seconda fotografia mostra uno qualsiasi degli stessi edifici dell’immagine sorgente. Molti dei risultati sono stati anche dal sud-est asiatico (in particolare la Thailandia, che è una destinazione popolare per i turisti russi), notando stili architettonici simili, ma nessuno è dalla stessa prospettiva della fonte.

Dei due edifici isolati dalla ricerca (il Padgett Palace e Waterfront Hotel), Yandex è stato in grado di identificare quest’ultimo, ma non il primo. L’edificio Padgett Palace è un grattacielo relativamente insignificante pieno di condomini, mentre l’hotel Waterfront ha anche un casinò all’interno, portando a una serie di fotografie turistiche che mostrano la sua architettura più distinta.

Bing non ha avuto alcun risultato che erano anche nel sud-est asiatico durante la ricerca per il paesaggio urbano di Cebu, mostrando una grave limitazione geografica ai suoi risultati indicizzati.

Come Yandex, Bing non è stato in grado di identificare l’edificio sulla parte sinistra dell’immagine sorgente.

Bing non è riuscito a trovare l’hotel Waterfront, sia utilizzando la funzione di ritaglio di Bing (riportando solo fotografie a bassa risoluzione) che ritagliando manualmente e aumentando la risoluzione dell’edificio dall’immagine sorgente. Vale la pena notare che i risultati di queste due versioni dell’immagine, che erano identiche al di fuori della risoluzione, hanno riportato risultati drammaticamente diversi.

Come con Yandex, Google ha riportato una fotografia di Cebu, nei suoi risultati, ma senza una forte somiglianza con l’immagine di origine. Mentre Cebu non era nelle miniature per i risultati iniziali, in seguito a “Immagini visivamente simili” verrà recuperata un’immagine dello skyline di Cebu come undicesimo risultato (terza immagine nella seconda riga sotto).

Come con Yandex e Bing, Google non è stato in grado di identificare il grattacielo condominio sulla parte sinistra dell’immagine sorgente. Google ha avuto anche alcun successo con l’immagine Waterfront Hotel.

Scorecard: Yandex 4/6; Bing 0/6; Google 2/6

Bloomberg 2020 Student

Yandex ha trovato l’immagine sorgente di questa campagna pubblicitaria Bloomberg — a Getty Immagini stock photo. Insieme a questo, Yandex ha anche trovato versioni della fotografia con filtri applicati (secondo risultato, prima riga) e fotografie aggiuntive della stessa serie di foto stock. Inoltre, per qualche ragione, porno, come si vede nei risultati sfocati qui sotto.

Quando si isola solo il volto del modello di foto stock, Yandex ha riportato una manciata di altri scatti dello stesso ragazzo (vedi ultima immagine in prima fila), più immagini dello stesso set di foto stock in classe (vedi la quarta immagine in prima fila).

Bing ha avuto un risultato di ricerca interessante: ha trovato l’esatta corrispondenza della fotografia stock, e poi ha riportato “Immagini simili” di altri uomini in camicie blu. La scheda” Pagine con questo ” del risultato fornisce un pratico elenco di versioni duplicate di questa stessa immagine sul Web.

Concentrarsi sul solo volto del modello di foto stock non riporta alcun risultato utile, né fornisce l’immagine sorgente da cui è stata tratta.

Google riconosce che l’immagine utilizzata dalla campagna Bloomberg è una foto d’archivio, riportando un risultato esatto. Google fornirà anche altre foto stock di persone in camicie blu in classe.

Isolando lo studente, Google restituirà nuovamente la fonte della foto stock, ma le sue immagini visivamente simili non mostrano il modello di foto stock, piuttosto una serie di altri uomini con peli facciali simili. Considereremo questo come una mezza vittoria nel trovare l’immagine originale, ma non mostrando alcuna informazione sul modello specifico, come ha fatto Yandex.

Scorecard: Yandex 6/8; Bing 1/8; Google 3.5/8

Brazilian Street View

Yandex non riusciva a capire che questa immagine è stata scattata in Brasile, concentrandosi invece sui paesaggi urbani in Russia.

Per Toca do Açaí, per qualche motivo, Yandex per lo più ha riportato il porno come risultati. Queste immagini erano sfocate, e si può cliccare qui per vedere i risultati. Tuttavia, nonostante la sfocatura sfocata, due dei risultati hanno identificato correttamente il logo.

Per il segno di parcheggio , Yandex non si è nemmeno avvicinato.

Bing non sapeva che questa immagine di Street view è stata scattata in Brasile.

nor né Bing ha riconosciuto il cartello di parcheggio

or o il logo Toca do Açaí.

Nonostante il fatto che l’immagine è stata presa direttamente da Street View di Google, Google reverse image search non ha riconosciuto una fotografia caricata sul proprio servizio.

Proprio come Bing e Yandex, Google non ha potuto riconoscere il segno di parcheggio portoghese.

Infine, Google non si è avvicinato all’identificazione del logo Toca do Açaí, concentrandosi invece su vari tipi di pannelli in legno, mostrando come si sia concentrato sullo sfondo dell’immagine piuttosto che sul logo e sulle parole.

Scorecard: Yandex 7/11; Bing 1/11; Google 3.5/11

Amsterdam Canal

Yandex sapeva esattamente dove questa fotografia è stata scattata ad Amsterdam, trovando altre fotografie scattate nel centro di Amsterdam, e anche quelle con vari tipi di uccelli nell’inquadratura.

Yandex ha identificato correttamente l’uccello in primo piano della fotografia come un airone grigio (серая рапля), riportando anche una serie di immagini di aironi grigi in una posizione e una postura simili all’immagine sorgente.

Tuttavia, Yandex bocciato il test di identificazione della bandiera olandese appesa sullo sfondo della fotografia. Ruotando l’immagine di 90 gradi in senso orario per presentare la bandiera nel suo modello normale, Yandex è stato in grado di capire che si trattava di una bandiera, ma non ha restituito alcuna bandiera olandese nei suoi risultati.

Bing ha riconosciuto solo che questa immagine mostra un paesaggio urbano con acqua, senza risultati da Amsterdam.

Sebbene Bing abbia lottato con l’identificazione di un paesaggio urbano, ha identificato correttamente l’uccello come un airone cenerino, incluso un risultato “Sembra” specializzato che va a una pagina che descrive l’uccello.

Tuttavia, come con Yandex, la bandiera olandese era troppo confusa per Bing, sia nella sua forma originale che ruotata.

Google ha notato che c’era un riflesso nel canale dell’immagine, ma non è andato oltre, concentrandosi su vari sentieri lastricati nelle città e nulla da Amsterdam.

Google era vicino nell’esercizio di identificazione degli uccelli, ma a malapena lo mancava — è un airone grigio, non grande blu.

Google non è stata in grado di identificare la bandiera olandese. Sebbene Yandex sembrasse riconoscere che l’immagine è una bandiera, l’algoritmo di Google si è concentrato sul davanzale della finestra che incornicia l’immagine e ha identificato erroneamente la bandiera come tende.

Finale Scorecard: Yandex 9/14; Bing 2/14; Google 3.5/14

Creative Ricerca

Anche con i difetti descritti in questa guida, ci sono una manciata di metodi per ottimizzare il vostro processo di ricerca e di gioco gli algoritmi di ricerca.

Siti specializzati

Per uno, è possibile utilizzare altri motori di ricerca più specializzati al di fuori dei tre descritti in questa guida. L’app Merlin Bird ID di Cornell Lab, ad esempio, è estremamente accurata nell’identificare il tipo di uccelli in una fotografia o fornire possibili opzioni. Inoltre, anche se non è un app e non consente di invertire la ricerca di una fotografia, FlagID.org vi permetterà di inserire manualmente le informazioni su una bandiera per capire da dove proviene. Ad esempio, con la bandiera olandese con cui anche Yandex ha lottato, FlagID non ha problemi. Dopo aver scelto una bandiera tricolore orizzontale, inseriamo i colori visibili nell’immagine, quindi riceviamo una serie di opzioni che includono i Paesi Bassi (insieme ad altre bandiere dall’aspetto simile, come la bandiera del Lussemburgo).

Riconoscimento della lingua

Se stai guardando una lingua straniera con un’ortografia che non riconosci, prova a utilizzare un OCR o Google Translate per semplificarti la vita. Puoi utilizzare lo strumento di scrittura a mano di Google Translate per rilevare la lingua* di una lettera che scrivi a mano, o scegliere una lingua (se la conosci già) e poi scriverla tu stesso per la parola. Sotto, il nome di un caffè (“Hedgehog in the Fog”) è scritto con lo strumento di scrittura a mano di Google Translate, dando la versione digitata della parola (Resжик) che può essere cercata.

*Tieni presente che Google Translate non è molto bravo a riconoscere le lettere se non conosci già la lingua, anche se se scorri abbastanza risultati, puoi trovare la tua lettera scritta a mano alla fine.

Pixelation E la Sfocatura

Come dettagliato in una breve Twitter thread, è possibile pixelate o di sfocatura elementi di una fotografia, al fine di ingannare il motore di ricerca si concentrano esattamente sullo sfondo. In questa fotografia della portavoce di Rudy Giuliani, caricare l’immagine esatta non porterà indietro i risultati che mostrano dove è stata scattata.

Tuttavia, se sfuochiamo / pixeliamo la donna nel mezzo dell’immagine, consentirà a Yandex (e ad altri motori di ricerca) di lavorare con la loro magia per abbinare tutti gli altri elementi dell’immagine: sedie, dipinti, lampadari, tappeti e pareti, e così via.

Dopo aver eseguito questa pixelazione, Yandex sa esattamente dove è stata scattata l’immagine: un hotel popolare a Vienna.

Conclusione

Motori di ricerca di immagini inverse hanno progredito drammaticamente negli ultimi dieci anni, senza fine in vista. Insieme con la quantità sempre crescente di materiale indicizzato, un certo numero di giganti della ricerca hanno attirato i loro utenti a firmare per servizi di hosting di immagini, come Google Foto, dando questi algoritmi di ricerca una quantità infinita di materiale per l’apprendimento automatico. Oltre a questo, il riconoscimento facciale AI sta entrando nello spazio dei consumatori con prodotti come FindClone e potrebbe già essere utilizzato in alcuni algoritmi di ricerca, in particolare con Yandex. Non ci sono programmi di riconoscimento facciale pubblicamente disponibili che utilizzano qualsiasi social network occidentale, come Facebook o Instagram, ma forse è solo una questione di tempo fino a quando qualcosa di simile emerge, infliggendo un duro colpo alla privacy online, mentre anche (a quel grande costo) aumentando la funzionalità di ricerca digitale.

Se hai saltato la maggior parte dell’articolo e stai solo cercando la linea di fondo, ecco alcuni suggerimenti facili da digerire per la ricerca inversa delle immagini:

• Usa Yandex per primo, secondo e terzo, quindi prova Bing e Google se non riesci ancora a trovare il risultato desiderato.
• Se stai lavorando con immagini di origine che non provengono da un paese occidentale o ex sovietico, potresti non avere molta fortuna. Questi motori di ricerca sono iper-focalizzati su queste aree, e la lotta per le fotografie scattate in Sud America, America Centrale/Caraibi, Africa, e gran parte dell’Asia.
• Aumenta la risoluzione dell’immagine sorgente, anche se significa solo raddoppiare o triplicare la risoluzione fino a quando non si tratta di un pasticcio pixelato. Nessuno di questi motori di ricerca può fare molto con un’immagine che è sotto 200×200.
• Prova a ritagliare elementi dell’immagine o a pixelarli se aumenta i risultati. La maggior parte di questi motori di ricerca si concentrerà sulle persone e le loro facce come un missile a ricerca di calore, in modo da pixelate loro di concentrarsi sugli elementi di sfondo.
• Se tutto il resto fallisce, diventa davvero creativo: rispecchiare l’immagine orizzontalmente, aggiungere alcuni filtri di colore, o utilizzare lo strumento clone sul vostro editor di immagini per riempire gli elementi sulla vostra immagine che stanno interrompendo le ricerche.