omvänd bildsökning är en av de mest kända och enklaste digitala undersökningsteknikerna, med två klick funktionalitet för att välja ”Sök Google för bild” i många webbläsare. Denna metod har också sett utbredd användning i populärkulturen, kanske framför allt i MTV-showen Catfish, som exponerar människor i online-relationer som använder stulna fotografier på sina sociala medier.

men om du bara använder Google för omvänd bildsökning blir du besviken oftare än inte. Begränsa din sökprocess till att ladda upp ett fotografi i sin ursprungliga form till bara images.google.com kan ge dig användbara resultat för de mest uppenbart stulna eller populära bilderna, men för de flesta sofistikerade forskningsprojekt behöver du ytterligare webbplatser till ditt förfogande — tillsammans med mycket kreativitet.

denna guide kommer att gå igenom detaljerade strategier för att använda omvänd bildsökning i digitala undersökningar, med ett öga på att identifiera personer och platser, tillsammans med att bestämma en bilds avkomma. Efter att ha beskrivit kärnskillnaderna mellan sökmotorerna testas Yandex, Bing och Google på fem testbilder som visar olika objekt och från olika regioner i världen.

utöver Google

det första och viktigaste rådet om detta ämne kan inte betonas nog: Google omvänd bildsökning är inte särskilt bra.

Från och med den här handbokens publiceringsdatum är den obestridda ledaren för omvänd bildsökning den ryska webbplatsen Yandex. Efter Yandex är löparna Microsofts Bing och Google. En fjärde tjänst som också kan användas i undersökningar är TinEye, men den här webbplatsen är specialiserad på brott mot immateriella rättigheter och letar efter exakta dubbletter av bilder.

Yandex

Yandex är den överlägset bästa sökmotorn för omvänd bild, med en skrämmande kraftfull förmåga att känna igen ansikten, landskap och objekt. FourSquare och TripAdvisor) och sociala nätverk (t.ex. dejtingsajter), för anmärkningsvärt exakta resultat med ansikts-och landskapsigenkänningsfrågor.

dess styrkor ligger i fotografier tagna i ett europeiskt eller före detta sovjetiskt sammanhang. Medan fotografier från Nordamerika, Afrika och andra platser fortfarande kan ge användbara resultat på Yandex, kan du bli frustrerad genom att bläddra igenom resultat främst från Ryssland, Ukraina och Östeuropa snarare än landet för dina målbilder.

för att använda Yandex, gå till images.yandex.com, välj sedan kameraikonen till höger.

därifrån kan du antingen ladda upp en sparad bild eller skriva in webbadressen till en värd online.

Om du fastnar med det ryska användargränssnittet, håll utkik efter kub (Välj fil), kub (ange bildadress) och kub (sök). Efter att ha sökt, se upp för Bisexuell (liknande bilder), och bisexuell (mer liknande).

ansiktsigenkänningsalgoritmerna som används av Yandex är chockerande bra. Yandex kommer inte bara att leta efter fotografier som liknar den som har ett ansikte i den, men det kommer också att leta efter andra fotografier av samma person (bestämda genom matchande ansiktslikheter) med helt annan belysning, bakgrundsfärger och positioner. Medan Google och Bing bara kan leta efter andra fotografier som visar en person med liknande kläder och allmänna ansiktsdrag, kommer Yandex att söka efter dessa matcher och även andra fotografier av en ansiktsmatch. Nedan kan du se hur de tre tjänsterna sökte ansiktet på Sergey Dubinsky, en rysk misstänkt i downing av MH17. Yandex hittade många fotografier av Dubinsky från olika källor (endast två av de bästa resultaten hade orelaterade personer), med resultatet som skiljer sig från originalbilden men visar samma person. Google hade ingen tur alls, medan Bing hade ett enda resultat (femte bilden, andra raden) som också visade Dubinsky.

Yandex är uppenbarligen en rysk tjänst, och det finns bekymmer och misstankar om dess band (eller potentiella framtida band) till Kreml. Medan vi på Bellingcat ständigt använder Yandex för sina sökfunktioner kan du vara lite mer paranoid än oss. Använd Yandex på egen risk, särskilt om du också är orolig för att använda VK och andra ryska tjänster. Om du inte är särskilt paranoid, försök att söka ett unindexerat fotografi av dig själv eller någon du känner i Yandex och se om det kan hitta dig själv eller din doppelganger online.

Bing

under de senaste åren har Bing fångat upp Google i sina omvända bildsökfunktioner, men är fortfarande begränsad. Bings ”visuell sökning”, hittades på images.bing.com, är mycket lätt att använda, och erbjuder några intressanta funktioner som inte finns någon annanstans.

i en bildsökning låter Bing dig beskära ett fotografi (knapp under källbilden) för att fokusera på ett specifikt element i nämnda fotografi, som ses nedan. Resultaten med den beskurna bilden utesluter de främmande elementen, med fokus på den användardefinierade rutan. Men om den valda delen av bilden är liten är det värt att manuellt Beskära fotografiet själv och öka upplösningen — bilder med låg upplösning (under 200 200 xnumx xnumx) ger tillbaka dåliga resultat.

nedan beskrevs en Google Street View-bild av en man som gick ett par mops för att fokusera på bara pooches, vilket ledde till att Bing föreslog hundens ras som syns på fotografiet (funktionen ”ser ut som”), tillsammans med visuellt liknande resultat. Dessa resultat inkluderade mestadels par hundar som gick, matchade källbilden, men inkluderade inte alltid bara mops, som franska bulldoggar, engelska bulldoggar, mastiffer och andra blandas in.

Google

den överlägset mest populära omvänd bildsökmotor, på images.google.com, Google är bra för de flesta rudimentära omvända bildsökningar. Några av dessa relativt enkla frågor inkluderar att identifiera kända personer i fotografier, hitta källan till bilder som har delats ganska lite online, bestämma namnet och skaparen av ett konstverk och så vidare. Men om du vill hitta bilder som inte ligger nära en exakt kopia av den du forskar kan du bli besviken.när du till exempel söker efter ansiktet på en man som försökte attackera en BBC-journalist vid en Trump-rally, kan Google hitta källan till den beskurna bilden, men kan inte hitta några ytterligare bilder av honom, eller till och med någon som har en passande likhet med honom.

medan Google inte var särskilt stark för att hitta andra instanser av den här människans ansikte eller liknande utseende, hittade den fortfarande den ursprungliga, un-beskurna versionen av fotografiet som skärmdumpen togs från och visade något verktyg.

fem testfall

För att testa olika omvänd bildsökningstekniker och motorer används en handfull bilder som representerar olika typer av undersökningar, inklusive både originalfotografier (som inte tidigare laddats upp online) och återvunna. På grund av att dessa fotografier ingår i den här guiden är det troligt att dessa testfall inte fungerar som avsett i framtiden, eftersom sökmotorer indexerar dessa fotografier och integrerar dem i sina resultat. Således ingår skärmdumpar av resultaten som de dök upp när den här guiden skrevs.

dessa testfotografier innehåller ett antal olika geografiska regioner för att testa styrkan hos sökmotorer för källmaterial i Västeuropa, Östeuropa, Sydamerika, Sydostasien och USA. Med var och en av dessa fotografier har jag också markerat diskreta objekt i bilden för att testa styrkor och svagheter för varje sökmotor.

ladda ner dessa fotografier (varje bild i den här guiden är hyperlänkad direkt till en JPEG-fil) och kör dem själv via sökmotorer för att testa dina färdigheter.

Olisov Palace i Nizhny Novgord, Ryssland (Original, inte tidigare uppladdat online)

isolerad: Vit SUV i Nizhny Novgorod

isolerad: Trailer i Nizhny Novgorod

stadsbild i Cebu, Filippinerna (original, inte tidigare uppladdat online)

isolerad: condominium complex, ”the Padgett Place”

isolerad: ”Waterfront Hotel”

studenter från Bloomberg 2020 Ad (skärmdump från video)

isolerad: Student

av. gör Caf i S Isigo Paulo, Brasilien (skärmdump från Google Street View)

isolerad: Toca gör en Isigaigi

isolerat: Toca gör en Isigaigi

isolerat: Estacionamento (parkering)

Amsterdamkanalen (Original, inte tidigare uppladdad online)

isolerad: grå Häger

isolerad: nederländsk flagga (roteras också 90 grader medurs)

resultat

var och en av dessa fotografier valdes för att visa de tre sökmotorernas funktioner och begränsningar. Medan Yandex i synnerhet kan verka som om det ibland fungerar digital svart magi, är det långt ifrån ofelbart och kan kämpa med vissa typer av sökningar. För några sätt att eventuellt övervinna dessa begränsningar har jag detaljerat några kreativa sökstrategier i slutet av den här guiden.

Novgorods Olisov Palace

förutsägbart hade Yandex inga problem att identifiera denna ryska byggnad. Tillsammans med fotografier från en liknande vinkel till vårt källfotografi hittade Yandex också bilder från andra perspektiv, inklusive 90 grader moturs (se de två första bilderna i tredje raden) från källbildens utsiktspunkt.

Yandex hade inga problem med att identifiera den vita SUV i förgrunden av fotografiet som en Nissan Juke.

slutligen, i den mest utmanande isolerade sökningen efter den här bilden, misslyckades Yandex med att identifiera den icke-descript grå släpvagnen framför byggnaden. Ett antal av resultaten ser ut som det från källbilden, men ingen är en verklig matchning.

Bing hade ingen framgång med att identifiera denna struktur. Nästan alla resultat var från USA och västeuropa och visade hus med vit/grå murverk eller sidospår och bruna tak.

På samma sätt kunde Bing inte bestämma att den vita SUV var en Nissan Juke, istället fokusera på en rad andra vita SUV och bilar.

slutligen misslyckades Bing med att identifiera den grå släpvagnen och fokuserade mer på husvagnar och större grå campare.

Googles resultat för hela fotografiet är komiskt dåliga, ser till husets TV-show och bilder med mycket liten visuell likhet.

Google identifierade framgångsrikt den vita SUV som en Nissan Juke, även notera det i textfältet sök. Som det ses med Yandex, matar sökmotorn en bild från ett liknande perspektiv som populära referensmaterial — en sidovy av en bil som liknar de flesta annonser — kommer bäst att tillåta omvända bildalgoritmer att arbeta sin magi.

slutligen erkände Google vad den grå släpvagnen var (travel trailer / camper), men dess” visuellt liknande bilder ” var långt ifrån den.

Scorecard: Yandex 2/3; Bing 0/3; Google 1/3

Cebu

Yandex kunde Tekniskt identifiera stadsbilden som Cebu i Filippinerna, men kanske bara av misstag. Det fjärde resultatet i den första raden och det fjärde resultatet i den andra raden är av Cebu, men bara det andra fotot visar någon av samma byggnader som i källbilden. Många av resultaten var också från Sydostasien (särskilt Thailand, som är ett populärt resmål för ryska turister) och noterade liknande arkitektoniska stilar, men ingen är från samma perspektiv som källan.

av de två byggnaderna isolerade från sökningen (Padgett Palace och Waterfront Hotel) kunde Yandex identifiera den senare, men inte den förra. Padgett Palace building är en relativt obekväm höghus fylld med lägenheter, medan Waterfront Hotel också har ett kasino inuti, vilket leder till en rad turistfotografier som visar sin mer distinkta arkitektur.

Bing hade inga resultat som ens fanns i Sydostasien när man letade efter Cebu-stadsbilden, vilket visade en allvarlig geografisk begränsning av dess indexerade resultat.

liksom Yandex kunde Bing inte identifiera byggnaden på den vänstra delen av källbilden.

Bing kunde inte hitta hotellet vid vattnet, både när man använde Bings beskärningsfunktion (endast bilder med låg upplösning) och manuellt Beskär och ökar byggnadens upplösning från källbilden. Det är värt att notera att resultaten från dessa två versioner av bilden, som var identiska utanför upplösningen, gav dramatiskt olika resultat.

som med Yandex tog Google tillbaka ett fotografi av Cebu i sina resultat, men utan en stark likhet med källbilden. Medan Cebu inte var i miniatyrerna för de första resultaten, kommer att följa till ”visuellt liknande bilder” Hämta en bild av Cebus skyline som det elfte resultatet (tredje bilden i andra raden nedan).

som med Yandex och Bing kunde Google inte identifiera den höga lägenhetsbyggnaden på den vänstra delen av källbilden. Google hade inte heller någon framgång med Waterfront Hotel image.

styrkort: Yandex 4/6; Bing 0/6; Google 2/6

Bloomberg 2020 Student

Yandex hittade källbilden från denna Bloomberg — kampanjannons-en Getty Images stock photo. Tillsammans med detta hittade Yandex också versioner av fotografiet med filter applicerade (andra resultat, första raden) och ytterligare fotografier från samma lagerfotoserie. Också, av någon anledning, porr, som ses i de suddiga resultaten nedan.

När du isolerar bara ansiktet på lagerfotomodellen tog Yandex tillbaka en handfull andra bilder av samma kille (se sista bilden i första raden), plus bilder av samma lagerfotouppsättning i klassrummet (se den fjärde bilden i första raden).

Bing hade ett intressant sökresultat: det hittade den exakta matchningen av stockfotot och tog sedan tillbaka ”liknande bilder” av andra män i blå skjortor. Fliken” Sidor med detta ” i resultatet ger en praktisk lista över dubbla versioner av samma bild över webben.

att fokusera på bara ansiktet på stockfotomodellen ger inte tillbaka några användbara resultat eller ger källbilden som den togs från.

Google erkänner att bilden som används av Bloomberg-kampanjen är ett lagerfoto som ger tillbaka ett exakt resultat. Google kommer också att ge andra stockbilder av personer i blå skjortor i klassen.

När du isolerar studenten kommer Google igen att returnera källan till stockfotot, men dess visuellt liknande bilder visar inte stockfotomodellen, snarare en rad andra män med liknande ansiktshår. Vi räknar detta som en halvvinst för att hitta originalbilden, men visar inte någon information om den specifika modellen, som Yandex gjorde.

styrkort: Yandex 6/8; Bing 1/8; Google 3.5/8

Brazilian Street View

Yandex kunde inte räkna ut att den här bilden knäpptes i Brasilien, istället med fokus på stadslandskap i Ryssland.

för Toca gör en Cuba, av någon anledning tog Yandex mestadels tillbaka porr som resultat. Dessa bilder var suddiga, och du kan klicka här för att se resultaten. Trots den suddiga smutten identifierade två av resultaten korrekt logotypen.

För parkeringsskylten kom Yandex inte ens nära.

Bing visste inte att denna street view-bild togs i Brasilien.

…inte heller kände Bing igen parkeringsskylten…

…eller Toca gör en Augara-logotyp.

trots att bilden togs direkt från Googles gatuvy kände Google omvänd bildsökning inte igen ett fotografi som laddades upp på sin egen tjänst.

precis som Bing och Yandex kunde Google inte känna igen Det portugisiska parkeringsskylten.

Slutligen kom Google inte i närheten av att identifiera Toca do a Cuba-logotypen, utan fokuserade istället på olika typer av träpaneler och visade hur den fokuserade på bildens bakgrund snarare än logotypen och orden.

styrkort: Yandex 7/11; Bing 1/11; Google 3.5/11

Amsterdam Canal

Yandex visste exakt var detta fotografi togs i Amsterdam, hitta andra fotografier tagna i centrala Amsterdam, och även inklusive sådana med olika typer av fåglar i ramen.

Yandex korrekt identifierad fågel i förgrunden av fotografiet som en grå häger (kub), vilket också ger tillbaka en rad bilder av grå häger i en liknande position och hållning som källbilden.

Yandex flunked testet för att identifiera den nederländska flaggan som hänger i bakgrunden på fotografiet. När du roterar bilden 90 grader medurs för att presentera flaggan i sitt normala mönster kunde Yandex räkna ut att det var en flagga, men returnerade inga Nederländska flaggor i sina resultat.

Bing erkände bara att den här bilden visar ett urbana landskap med vatten, utan resultat från Amsterdam.

Även om Bing kämpade med att identifiera ett stadslandskap, identifierade den fågeln korrekt som en grå häger, inklusive ett specialiserat ”ser ut som” resultat som går till en sida som beskriver fågeln.

men som med Yandex var den nederländska flaggan för förvirrande för Bing, både i sina ursprungliga och roterade former.

Google noterade att det fanns en reflektion i bildens kanal, men gick inte längre än detta, med fokus på olika asfalterade stigar i städer och ingenting från Amsterdam.

Google var nära i fågelidentifieringsövningen, men missade knappt det — det är en grå, inte stor blå, heron.

Google kunde inte heller identifiera den nederländska flaggan. Även om Yandex verkade erkänna att bilden är en flagga, fokuserade Googles algoritm på fönsterbrädan som inramade bilden och felidentifierade flaggan som gardiner.

slutlig styrkort: Yandex 9/14; Bing 2/14; Google 3.5/14

kreativ sökning

även med de brister som beskrivs i den här guiden finns det en handfull metoder för att maximera din sökprocess och spela sökalgoritmerna.

specialiserade webbplatser

För en kan du använda några andra, mer specialiserade sökmotorer utanför de tre som beskrivs i den här guiden. Cornell Labs Merlin Bird ID-app är till exempel extremt exakt när det gäller att identifiera typen av fåglar på ett fotografi eller ge möjliga alternativ. Dessutom, även om det inte är en app och inte låter dig vända söka ett fotografi, FlagID.org låter dig manuellt ange information om en flagga för att ta reda på var den kommer ifrån. Till exempel, med den nederländska flaggan som även Yandex kämpade med, har FlagID inga problem. Efter att ha valt en horisontell tricolor flagga lägger vi in de färger som syns på bilden och får sedan en serie alternativ som inkluderar Nederländerna (tillsammans med andra liknande flaggor, som Luxemburgs flagga).

språkigenkänning

om du tittar på ett främmande språk med en ortografi som du inte känner igen, försök använda någon OCR eller Google Translate för att göra ditt liv enklare. Du kan använda Google translates handskriftsverktyg för att upptäcka språket* för ett brev som du skriver för hand, eller välja ett språk (om du redan vet det) och sedan skriva ut det själv för ordet. Nedan skrivs namnet på ett cafe (”Hedgehog in the Fog”) ut med Google translates handskriftsverktyg, vilket ger den typade versionen av ordet (kub) som kan sökas.

*varnas för att Google Translate inte är så bra på att känna igen bokstäver om du inte redan känner till språket, men om du bläddrar igenom tillräckligt med resultat kan du hitta ditt handskrivna brev så småningom.

3 kan pixelate eller oskärpa delar av ett fotografi för att lura sökmotorn att fokusera rakt på bakgrunden. På detta fotografi av Rudy Giulianis taleskvinna kommer uppladdning av den exakta bilden inte att ge tillbaka resultat som visar var den togs.

men om vi suddar ut/pixelerar kvinnan mitt i bilden, kommer det att tillåta Yandex (och andra sökmotorer) att arbeta sin magi för att matcha alla andra delar av bilden: stolar, målningar, ljuskrona, matta och väggmönster och så vidare.

Efter denna pixelering utförs, vet Yandex exakt var bilden togs: ett populärt hotell i Wien.

slutsats

omvänd bild sökmotorer har utvecklats dramatiskt under det senaste decenniet, utan slut i sikte. Tillsammans med den ständigt växande mängden indexerat material har ett antal sökjättar lockat sina användare att registrera sig för bildhotellstjänster, till exempel Google Photos, vilket ger dessa sökalgoritmer en oändlig mängd material för maskininlärning. Utöver detta kommer ansiktsigenkänning AI in i konsumentutrymmet med produkter som FindClone och kan redan användas i vissa sökalgoritmer, nämligen med Yandex. Det finns inga offentligt tillgängliga ansiktsigenkänningsprogram som använder något västerländskt socialt nätverk, som Facebook eller Instagram, men kanske är det bara en tidsfråga tills något sådant dyker upp, vilket ger ett stort slag mot integritet på nätet samtidigt som (till den stora kostnaden) ökar digital forskningsfunktionalitet.

Om du hoppade över det mesta av artikeln och bara letar efter bottenlinjen, här är några enkla att smälta tips för omvänd bildsökning:

• använd Yandex första, andra och tredje och försök sedan Bing och Google om du fortfarande inte hittar önskat resultat.
• Om du arbetar med källbilder som inte kommer från ett västerländskt eller tidigare sovjetiskt land, kanske du inte har mycket tur. Dessa sökmotorer är hyperfokuserade på dessa områden och kämpar för fotografier tagna i Sydamerika, Centralamerika/Karibien, Afrika och mycket av Asien.
• öka upplösningen på din källbild, även om det bara betyder att fördubbla eller tredubbla upplösningen tills det är en pixelerad röra. Ingen av dessa sökmotorer kan göra mycket med en bild som är under 200 kub 200.
• försök beskära ut delar av bilden, eller pixelating dem om det resor upp dina resultat. De flesta av dessa sökmotorer kommer att fokusera på människor och deras ansikten som en värmesökande missil, så pixelate dem att fokusera på bakgrundselementen.
• om allt annat misslyckas, bli riktigt kreativ: spegla din bild horisontellt, Lägg till några färgfilter eller använd klonverktyget på din bildredigerare för att fylla i element på din bild som stör sökningar.