Articles

ghid pentru utilizarea Reverse Image Search for Investigations

Reverse image search este una dintre cele mai cunoscute și mai ușor tehnici digitale de investigație, cu două-click funcționalitate de a alege „căutare Google pentru imagine”, în multe browsere web. Această metodă a cunoscut, de asemenea, o utilizare pe scară largă în cultura populară, poate mai ales în emisiunea MTV Catfish, care expune oamenii în relații online care folosesc fotografii furate pe social media.

cu toate acestea, dacă utilizați Google doar pentru căutarea inversă a imaginilor, veți fi dezamăgiți de cele mai multe ori. Limitarea procesului de căutare la încărcarea unei fotografii în forma sa originală la doar images.google.com vă pot oferi rezultate utile pentru cele mai evident furate sau populare imagini, dar pentru majoritatea oricărui proiect de cercetare sofisticat, aveți nevoie de site — uri suplimentare la dispoziția dvs.-împreună cu multă creativitate.

acest ghid va parcurge strategii detaliate pentru a utiliza căutarea inversă a imaginilor în investigațiile digitale, cu un ochi spre identificarea persoanelor și locațiilor, împreună cu determinarea descendenței unei imagini. După detalierea diferențelor de bază dintre motoarele de căutare, Yandex, Bing și Google sunt testate pe cinci imagini de testare care prezintă obiecte diferite și din diferite regiuni ale lumii.

dincolo de Google

primul și cel mai important sfat pe această temă nu poate fi subliniat suficient: căutarea inversă a imaginilor Google nu este foarte bună.

de la data publicării acestui ghid, liderul incontestabil al căutării inverse a imaginilor este site-ul rus Yandex. După Yandex, subcampionii sunt Bing și Google de la Microsoft. Un al patrulea serviciu care ar putea fi folosit și în investigații este TinEye, dar acest site este specializat în încălcări ale proprietății intelectuale și caută duplicate exacte ale imaginilor.

Yandex

Yandex este de departe cel mai bun motor de căutare inversă a imaginilor, cu o abilitate înfricoșătoare de a recunoaște fețele, peisajele și obiectele. Acest site rusesc se bazează foarte mult pe conținutul generat de utilizatori, cum ar fi site-urile de revizuire turistică (de exemplu, FourSquare și TripAdvisor) și rețelele sociale (de exemplu, site-urile de întâlniri), pentru rezultate remarcabil de precise cu interogări de recunoaștere facială și peisaj.punctele sale forte se află în fotografiile realizate într-un context european sau ex-sovietic. În timp ce fotografiile din America de Nord, Africa și alte locuri pot returna în continuare rezultate utile pe Yandex, s-ar putea să vă simțiți frustrat parcurgând rezultatele mai ales din Rusia, Ucraina și Europa de Est, mai degrabă decât din țara imaginilor dvs. țintă.

pentru a utiliza Yandex, du-te la images.yandex.com, apoi alegeți pictograma camerei din dreapta.

de acolo, puteți încărca o imagine salvată sau introduceți adresa URL a unei găzduite online.

Dacă rămâneți blocat cu interfața cu utilizatorul rus, uita-te pentru a alege de Fișiere), (introduceți adresa de imagine), și de căutare). După căutare, aveți grijă la imagini similare cu cele de la centenar și la cele de la centenar.

algoritmii de recunoaștere facială folosiți de Yandex sunt șocant de buni. Nu numai că Yandex va căuta fotografii care arată similar cu cea care are o față în ea, dar va căuta și alte fotografii ale aceleiași persoane (determinate prin potrivirea asemănărilor faciale) cu iluminare, culori de fundal și poziții complet diferite. În timp ce Google și Bing pot căuta doar alte fotografii care arată o persoană cu haine similare și trăsături faciale generale, Yandex va căuta acele potriviri, precum și alte fotografii ale unui meci facial. Mai jos, puteți vedea cum cele trei servicii au căutat fața lui Sergey Dubinsky, un suspect rus în doborârea MH17. Yandex a găsit numeroase fotografii ale lui Dubinsky din diverse surse (doar două dintre rezultatele de top au avut persoane fără legătură), rezultatul diferind de imaginea originală, dar arătând aceeași persoană. Google nu a avut deloc noroc, în timp ce Bing a avut un singur rezultat (a cincea imagine, al doilea rând) care a arătat și Dubinsky.

Yandex este, evident, un serviciu rus și există îngrijorări și suspiciuni cu privire la legăturile sale (sau potențiale legături viitoare) cu Kremlinul. În timp ce noi, la Bellingcat, folosim în mod constant Yandex pentru capacitățile sale de căutare, este posibil să fiți puțin mai paranoic decât noi. Utilizați Yandex pe propriul risc, mai ales dacă sunteți îngrijorat și de utilizarea VK și a altor servicii rusești. Dacă nu sunteți deosebit de paranoic, încercați să căutați o fotografie neindexată a dvs. sau a cuiva pe care îl cunoașteți în Yandex și vedeți dacă vă poate găsi pe dvs. sau pe dublura dvs. online.

Bing

În ultimii ani, Bing a prins Google în capacitățile sale de căutare inversă a imaginilor, dar este încă limitat. „Căutarea vizuală” a lui Bing, găsită la images.bing.com, este foarte ușor de utilizat și oferă câteva caracteristici interesante care nu se găsesc în altă parte.

în cadrul unei căutări de imagini, Bing vă permite să decupați o fotografie (butonul de sub imaginea sursă) pentru a vă concentra pe un anumit element din fotografia respectivă, așa cum se vede mai jos. Rezultatele cu imaginea decupată vor exclude elementele străine, concentrându-se pe caseta definită de utilizator. Cu toate acestea, dacă porțiunea selectată a imaginii este mică, merită să decupați manual fotografia și să creșteți rezoluția — imaginile cu rezoluție mică (sub 200 de la 200 la 200) readuc rezultate slabe.

Mai jos, o imagine Google Street View a unui bărbat care mergea pe câțiva pugs a fost decupată pentru a se concentra doar pe pooches, ceea ce a dus la Bing pentru a sugera rasa de câine vizibilă în fotografie (funcția „arată ca”), împreună cu rezultate similare din punct de vedere vizual. Aceste rezultate au inclus în mare parte perechi de câini care se plimbau, potrivindu-se cu imaginea sursă, dar nu au inclus întotdeauna doar pugs, deoarece buldogii francezi, buldogii englezi, mastifii și alții sunt amestecați.

Google

de departe cel mai popular motor de căutare inversă a imaginilor, la images.google.com, Google este bine pentru majoritatea căutărilor rudimentare de imagini inverse. Unele dintre aceste interogări relativ simple includ identificarea persoanelor cunoscute în fotografii, găsirea sursei de imagini care au fost partajate destul de mult online, determinarea numelui și creatorului unei piese de artă și așa mai departe. Cu toate acestea, dacă doriți să localizați imagini care nu sunt aproape de o copie exactă a celei pe care o cercetați, este posibil să fiți dezamăgiți.

de exemplu, atunci când caută chipul unui bărbat care a încercat să atace un jurnalist BBC la un miting Trump, Google poate găsi sursa imaginii decupate, dar nu poate găsi imagini suplimentare cu el sau chiar cu cineva care seamănă trecător cu el.

în timp ce Google nu a fost foarte puternic în găsirea altor cazuri ale feței acestui om sau ale unor persoane cu aspect similar, a găsit încă versiunea originală, ne-decupată a fotografiei din care a fost făcută captura de ecran, arătând o utilitate.

cinci cazuri de testare

pentru testarea diferitelor tehnici și motoare de căutare inversă a imaginilor, sunt utilizate o mână de imagini reprezentând diferite tipuri de investigații, inclusiv fotografii originale (care nu au fost încărcate anterior online) și cele reciclate. Datorită faptului că aceste fotografii sunt incluse în acest ghid, este probabil ca aceste cazuri de testare să nu funcționeze așa cum se intenționează în viitor, deoarece motoarele de căutare vor indexa aceste fotografii și le vor integra în rezultatele lor. Astfel, sunt incluse capturi de ecran ale rezultatelor așa cum au apărut la scrierea acestui ghid.

aceste fotografii de testare includ o serie de regiuni geografice diferite pentru a testa puterea motoarelor de căutare pentru materialul sursă din Europa de Vest, Europa de Est, America de Sud, Asia de sud-est și Statele Unite. Cu fiecare dintre aceste fotografii, am evidențiat, de asemenea, obiecte discrete din imagine pentru a testa punctele forte și punctele slabe pentru fiecare motor de căutare.

Simțiți-vă liber să descărcați aceste fotografii (fiecare imagine din acest ghid este hiperlinkată direct într-un fișier JPEG) și să le rulați singuri prin motoarele de căutare pentru a vă testa abilitățile.

Palatul Olisov din Nijni Novgord, Rusia (Original, neîncărcat anterior online)

izolat: SUV alb în Nijni Novgorod

izolat: remorcă în Nijni Novgorod

peisaj urban în Cebu, Filipine (original, nu încărcat anterior on-line)

izolat: complex condominiu, „locul Padgett”

izolat: „Waterfront Hotel”

studenți de la Bloomberg 2020 Ad (captură de ecran din videoclip)

izolat: Student

av. face Caf-uri în s-uri, Brazilia (Screenshot de la Google Street View)

izolat: Toca face o Oqua

izolat: Estacionamento (parcare)

Amsterdam Canal (Original, nu încărcate anterior on-line)

izolat: stârc Gri

izolat: pavilion olandez (de asemenea, rotit cu 90 de grade în sensul acelor de ceasornic)

rezultate

fiecare dintre aceste fotografii au fost alese pentru a demonstra capacitățile și limitările celor trei motoare de căutare. În timp ce Yandex, în special, poate părea că funcționează uneori magia neagră digitală, este departe de a fi infailibilă și se poate lupta cu unele tipuri de căutări. Pentru câteva modalități de a depăși aceste limitări, am detaliat câteva strategii de căutare creativă la sfârșitul acestui ghid.

Palatul Olisov din Novgorod

previzibil, Yandex nu a avut probleme să identifice această clădire rusă. Împreună cu fotografiile dintr-un unghi similar cu fotografia noastră sursă, Yandex a găsit și imagini din alte perspective, inclusiv 90 de grade în sens invers acelor de ceasornic (vezi primele două imagini din al treilea rând) din punctul de vedere al imaginii sursă.

Yandex nu a avut probleme să identifice SUV-ul alb în prim-planul fotografiei ca Nissan Juke.

În cele din urmă, în căutarea izolată cea mai provocatoare pentru această imagine, Yandex nu a reușit să identifice remorca gri non-descript în fața clădirii. Un număr de rezultate arata ca cel din imaginea sursă, dar nici unul nu sunt un meci real.

Bing nu a avut succes în identificarea acestei structuri. Aproape toate rezultatele sale au fost din Statele Unite și Europa de Vest, prezentând case cu zidărie albă/gri sau acoperișuri siding și maro.

De asemenea, Bing nu a putut determina că SUV-ul alb era un Nissan Juke, concentrându-se în schimb pe o serie de alte SUV-uri și mașini albe.

În cele din urmă, Bing nu a reușit să identifice remorca gri, concentrându-se mai mult pe RV-uri și rulote mai mari, gri.

rezultatele Google pentru fotografia completă sunt comic rău, în căutarea la emisiunea de televiziune Casa și imagini cu foarte puțină similitudine vizuală.

Google a identificat cu succes SUV-ul alb ca un Nissan Juke, chiar remarcându-l în câmpul de text Căutare. După cum se vede cu Yandex, alimentarea motorului de căutare cu o imagine dintr — o perspectivă similară cu materialele de referință populare — o vedere laterală a unei mașini care seamănă cu cea a majorității reclamelor-va permite cel mai bine algoritmilor de imagine inversă să-și lucreze magia.

În cele din urmă, Google a recunoscut ce a fost remorca gri (remorcă de călătorie / camper), dar „imaginile sale similare din punct de vedere vizual” erau departe de ea.

Scorecard: Yandex 2/3; Bing 0/3; Google 1/3

Cebu

Yandex a fost capabil punct de vedere tehnic pentru a identifica peisajul urban ca cea a Cebu în Filipine, dar poate doar de accident. Al patrulea rezultat din primul rând și al patrulea rezultat din al doilea rând sunt de Cebu, dar numai a doua fotografie prezintă oricare dintre aceleași clădiri ca în imaginea sursă. Multe dintre rezultate au fost, de asemenea, din Asia de Sud-Est (în special Thailanda, care este o destinație populară pentru turiștii ruși), observând stiluri arhitecturale similare, dar niciuna nu este din aceeași perspectivă ca sursa.

dintre cele două clădiri izolate de căutare (Palatul Padgett și Hotelul Waterfront), Yandex a reușit să-l identifice pe acesta din urmă, dar nu pe primul. Clădirea Palatului Padgett este o clădire înaltă relativ cufundată, plină de apartamente, în timp ce hotelul Waterfront are, de asemenea, un cazinou în interior, ceea ce duce la o serie de fotografii turistice care arată arhitectura sa mai distinctă.

Bing nu a avut niciun rezultat care să fie chiar în Asia de Sud-Est atunci când a căutat peisajul urban Cebu, arătând o limitare geografică severă a rezultatelor sale indexate.

la fel ca Yandex, Bing nu a putut identifica clădirea din partea stângă a imaginii sursă.

Bing nu a reușit să găsească hotelul Waterfront, atât atunci când a folosit funcția de decupare a lui Bing (aducând înapoi doar fotografii cu rezoluție mică), cât și decuparea manuală și creșterea rezoluției clădirii din imaginea sursă. Este demn de remarcat faptul că rezultatele din aceste două versiuni ale imaginii, care erau identice în afara rezoluției, au adus rezultate dramatic diferite.

ca și în cazul Yandex, Google a adus înapoi o fotografie a Cebu în rezultatele sale, dar fără o asemănare puternică cu imaginea sursă. În timp ce Cebu nu se afla în miniaturi pentru rezultatele inițiale, urmând „imagini similare vizual” va aduce o imagine a orizontului lui Cebu ca al unsprezecelea rezultat (a treia imagine din al doilea rând de mai jos).

ca și în cazul Yandex și Bing, Google nu a putut identifica clădirea de apartamente înalte din partea stângă a imaginii sursă. De asemenea, Google nu a avut succes cu imaginea hotelului Waterfront.

Scorecard: Yandex 4/6; Bing 0/6; Google 2/6

Bloomberg 2020 Student

Yandex a găsit imaginea sursă din această reclamă a campaniei Bloomberg — un stoc Getty Images fotografie. Odată cu aceasta, Yandex a găsit și versiuni ale fotografiei cu filtre aplicate (al doilea rezultat, primul rând) și fotografii suplimentare din aceeași serie de fotografii stoc. De asemenea, din anumite motive, porno, așa cum se vede în rezultatele neclare de mai jos.

când izolați doar fața modelului de fotografie de stoc, Yandex a adus înapoi o mână de alte fotografii ale aceluiași tip (vezi ultima imagine din primul rând), plus imagini ale aceleiași fotografii de stoc stabilite în clasă (vezi a patra imagine din primul rând).

Bing a avut un rezultat de căutare interesant: a găsit potrivirea exactă a fotografiei de stoc și apoi a adus înapoi „imagini similare” ale altor bărbați în cămăși albastre. Fila” Pagini cu această ” a rezultatului oferă o listă la îndemână a versiunilor duplicate ale aceleiași imagini pe web.

focalizarea doar pe fața modelului de fotografie de stoc nu aduce rezultate utile sau nu furnizează imaginea sursă din care a fost preluată.

Google recunoaște că imaginea utilizată de campania Bloomberg este o fotografie stoc, aducând înapoi un rezultat exact. Google va oferi, de asemenea, alte fotografii stoc de oameni în cămăși albastre în clasă.

în izolarea elevului, Google va returna din nou sursa fotografiei de stoc, dar imaginile sale similare din punct de vedere vizual nu arată modelul fotografiei de stoc, mai degrabă o serie de alți bărbați cu păr facial similar. Vom considera acest lucru ca o jumătate de câștig în găsirea imaginii originale, dar nu vom afișa nicio informație despre modelul specific, așa cum a făcut Yandex.

Scorecard: Yandex 6/8; Bing 1/8; Google 3.5/8

Brazilian Street View

Yandex nu a putut da seama că această imagine a fost rupt în Brazilia, în schimb concentrându-se pe peisaje urbane din Rusia.

pentru Toca face un Ecqua, din anumite motive, Yandex cea mai mare parte a adus înapoi porno ca rezultate. Aceste imagini au fost neclare și puteți face clic aici pentru a vedea rezultatele. Cu toate acestea, în ciuda obscenității neclare, două dintre rezultate au identificat corect logo-ul.

pentru semnul de parcare , Yandex nici măcar nu s-a apropiat.

Bing nu știa că această imagine street view a fost făcută în Brazilia.

…nici Bing nu a recunoscut semnul de parcare…

…sau Toca do o siglă de la Oktava la Oktava.

În ciuda faptului că imaginea a fost preluată direct din Street View Google, Google Reverse image search nu a recunoscut o fotografie încărcată pe propriul serviciu.

la fel ca Bing și Yandex, Google nu a putut recunoaște semnul de parcare portughez.

În cele din urmă, Google nu s-a apropiat de identificarea logo-ului Toca do a Oqusta, concentrându-se în schimb pe diferite tipuri de panouri din lemn, arătând cum s-a concentrat pe fundalul imaginii, mai degrabă decât pe logo și cuvinte.

Scorecard: Yandex 7/11; Bing 1/11; Google 3.5/11

Amsterdam Canal

Yandex știa exact unde a fost făcută această fotografie în Amsterdam, găsind alte fotografii făcute în centrul Amsterdamului și chiar incluzând cele cu diferite tipuri de păsări în cadru.

Yandex a identificat corect pasărea în prim-planul fotografiei ca fiind un stârc cenușiu (XV), aducând, de asemenea, o serie de imagini cu Stârci cenușii într-o poziție și postură similare cu imaginea sursă.

cu toate acestea, Yandex a picat testul de identificare a steagului olandez agățat în fundalul fotografiei. Când rotiți imaginea cu 90 de grade în sensul acelor de ceasornic pentru a prezenta steagul în modelul său normal, Yandex a reușit să-și dea seama că este un steag, dar nu a returnat niciun steag olandez în rezultatele sale.

Bing a recunoscut doar că această imagine prezintă un peisaj urban cu apă, fără rezultate din Amsterdam.

deși Bing s-a luptat cu identificarea unui peisaj urban, a identificat corect pasărea ca un stârc gri, inclusiv un rezultat specializat „arată ca” care merge la o pagină care descrie pasărea.

cu toate acestea, la fel ca în cazul Yandex, steagul olandez era prea confuz pentru Bing, atât în formele sale originale, cât și în cele rotite.

Google a remarcat că a existat o reflecție în canalul imaginii, dar nu a mers mai departe, concentrându-se pe diverse căi pavate în orașe și nimic din Amsterdam.

Google a fost aproape în exercițiul de identificare a păsărilor, dar abia l — a ratat-este un stârc gri, nu mare albastru.

Google a fost, de asemenea, în imposibilitatea de a identifica steagul olandez. Deși Yandex părea să recunoască faptul că imaginea este un steag, algoritmul Google s-a concentrat pe pervazul ferestrei care încadrează imaginea și a identificat greșit steagul ca perdele.

Scorecard Final: Yandex 9/14; Bing 2/14; Google 3.5/14

căutare creativă

chiar și cu deficiențele descrise în acest ghid, există o mână de metode pentru a maximiza procesul de căutare și joc algoritmii de căutare.

site-uri specializate

pentru unul, puteți utiliza alte motoare de căutare mai specializate în afara celor trei detaliate în acest ghid. Aplicația Merlin Bird ID a Laboratorului Cornell, de exemplu, este extrem de precisă în identificarea tipului de păsări dintr-o fotografie sau în oferirea de opțiuni posibile. În plus, deși nu este o aplicație și nu vă permite să inversați căutarea unei fotografii, FlagID.org vă va permite să introduceți manual informații despre un steag pentru a afla de unde provine. De exemplu, cu steagul olandez cu care chiar și Yandex s-a luptat, FlagID nu are nicio problemă. După alegerea unui steag tricolor orizontal, punem culorile vizibile în imagine, apoi primim o serie de opțiuni care includ Olanda (împreună cu alte steaguri cu aspect similar, cum ar fi steagul Luxemburgului).

recunoașterea limbii

dacă vă uitați la o limbă străină cu o ortografie pe care nu o recunoașteți, încercați să utilizați unele OCR sau Google Translate pentru a vă ușura viața. Puteți utiliza instrumentul de scriere de mână Google Translate pentru a detecta limba * a unei scrisori pe care o scrieți manual sau puteți alege o limbă (dacă o cunoașteți deja) și apoi scrieți-o singur pentru cuvânt. Mai jos, numele unei cafenele („Ariciul în ceață”) este scris cu instrumentul de scriere de mână Google Translate, oferind versiunea tastată a cuvântului (circulant) care poate fi căutat.

*fiți avertizat că Google Translate nu este foarte bun la recunoașterea literelor dacă nu cunoașteți deja limba, deși dacă parcurgeți suficiente rezultate, puteți găsi scrisoarea scrisă de mână în cele din urmă.

Pixelare și estompare

așa cum este detaliat într-un scurt fir Twitter, Puteți poate Pixela sau estompa elemente ale unei fotografii pentru a păcăli motorul de căutare să se concentreze direct pe fundal. În această fotografie a purtătorului de cuvânt al lui Rudy Giuliani, încărcarea imaginii exacte nu va aduce rezultate care să arate unde a fost făcută.

cu toate acestea, dacă estompăm / pixelăm femeia din mijlocul imaginii, aceasta va permite Yandex (și alte motoare de căutare) să-și lucreze magia în potrivirea tuturor celorlalte elemente ale imaginii: scaunele, picturile, candelabrele, covoarele și modelele de perete și așa mai departe.

după efectuarea acestei pixelări, Yandex știe exact unde a fost făcută imaginea: un hotel popular din Viena.

concluzie

motoarele de căutare inversă a imaginilor au progresat dramatic în ultimul deceniu, fără sfârșit. Împreună cu cantitatea tot mai mare de material indexat, un număr de giganți de căutare și-au ademenit utilizatorii să se înscrie la servicii de găzduire a imaginilor, cum ar fi Google Photos, oferind acestor algoritmi de căutare o cantitate nesfârșită de material pentru învățarea automată. În plus, recunoașterea facială AI intră în spațiul consumatorilor cu produse precum FindClone și poate fi deja utilizată în unii algoritmi de căutare, și anume cu Yandex. Nu există programe de recunoaștere facială disponibile publicului care să utilizeze nicio rețea socială Occidentală, cum ar fi Facebook sau Instagram, dar poate că este doar o chestiune de timp până când apare ceva de genul acesta, provocând o lovitură majoră confidențialității online, în timp ce (la acel cost mare) crește funcționalitatea de cercetare digitală.

Dacă ați omis cea mai mare parte a articolului și căutați doar linia de jos, iată câteva sfaturi ușor de digerat pentru căutarea inversă a imaginilor:

  • utilizați Yandex mai întâi, al doilea și al treilea, apoi încercați Bing și Google dacă tot nu găsiți rezultatul dorit.
  • dacă lucrați cu imagini sursă care nu provin dintr-o țară occidentală sau fostă Sovietică, atunci este posibil să nu aveți prea mult noroc. Aceste motoare de căutare sunt hiper-concentrate pe aceste zone și se luptă pentru fotografii realizate în America de Sud, America Centrală/Caraibe, Africa și o mare parte din Asia.
  • creșteți rezoluția imaginii sursă, chiar dacă înseamnă doar dublarea sau triplarea rezoluției până când este o mizerie pixelată. Nici unul dintre aceste motoare de căutare nu poate face prea mult cu o imagine care este sub 200 200.
  • încercați să decupați elemente ale imaginii sau să le pixelați dacă vă împiedică rezultatele. Majoritatea acestor motoare de căutare se vor concentra pe oameni și pe fețele lor ca o rachetă care caută căldură, așa că pixelează-i să se concentreze pe elementele de fundal.
  • dacă toate celelalte eșuează, pentru a primi într-adevăr creativ: oglindiți imaginea pe orizontală, Adăugați câteva filtre de culoare sau utilizați instrumentul de clonare din editorul de imagini pentru a completa elemente din imagine care perturbă căutările.