Reverzní vyhledávání obrázků je jedním z nejvíce dobře-známé a nejjednodušší digitální vyšetřovací techniky, s dva-klikněte na funkčnost volbu „Search Google for image“ v mnoha webových prohlížečích. Tato metoda také zaznamenala široké použití v populární kultuře, možná nejvíce pozoruhodně v MTV show Catfish, který vystavuje lidi v online vztazích, kteří používají ukradené fotografie na svých sociálních médiích.

Pokud však používáte Google pouze pro zpětné vyhledávání obrázků, budete častěji zklamáni. Omezení proces hledání nahrání fotografie v původní podobě jen images.google.com může vám dát užitečné výsledky pro většinu očividně ukradené nebo populární obrázky, ale pro většinu dokonalého výzkumného projektu, budete potřebovat další stránky k dispozici — spolu s hodně kreativity.

tato příručka bude procházet podrobnými strategiemi pro použití zpětného vyhledávání obrázků v digitálních vyšetřováních, s ohledem na identifikaci lidí a míst, spolu s určením potomstva obrazu. Po podrobně základní rozdíly mezi vyhledávače, Yandex, Bing a Google jsou testovány na pět zkušebních snímků, které ukazují různé objekty a z různých oblastí světa.

za Google

první a nejdůležitější radu na toto téma nelze dostatečně zdůraznit: Google reverzní vyhledávání obrázků není příliš dobré.

k datu zveřejnění této příručky je nesporným vůdcem zpětného vyhledávání obrázků Ruský Web Yandex. Po Yandexu jsou na druhém místě Microsoft Bing a Google. Čtvrtou službou, kterou lze také použít při vyšetřování, je TinEye, ale tento web se specializuje na porušování duševního vlastnictví a hledá přesné duplikáty obrázků.

Yandex

Yandex je zdaleka nejlepší vyhledávač obrácených obrázků s děsivou schopností rozpoznávat tváře, krajiny a objekty. Foursquare a TripAdvisor) a sociální sítě (např. seznamovací weby), pro pozoruhodně přesné výsledky s dotazy na rozpoznávání obličeje a krajiny.

jeho silné stránky spočívají ve fotografiích pořízených v evropském nebo bývalém Sovětském kontextu. Zatímco fotografie ze Severní Americe, Africe a na dalších místech ještě může vrátit užitečné výsledky na Yandex, můžete se ocitnete frustrovaný procházením výsledků většinou z Ruska, Ukrajiny a východní Evropy, spíše než země, ve které váš cílový obraz.

Chcete-li použít Yandex, přejděte na images.yandex.com poté vyberte ikonu fotoaparátu vpravo.

odtud můžete buď nahrát uložený obrázek, nebo zadat adresu URL jednoho hostovaného online.

Pokud narazíte na problém s ruskými uživatelského rozhraní, podívejte se na Выберите файл (Vybrat soubor), Введите адрес картинки (Zadat adresu obrázku), a Найти (Vyhledávání). Po vyhledávání se podívejte na Похожие картинки (podobné obrázky) a ещё похожие (více podobné).

algoritmy rozpoznávání obličeje používané společností Yandex jsou překvapivě dobré. Yandex bude nejen hledat fotografie, které vypadají podobně jako fotografie, které mají v sobě obličej, ale také bude hledat další fotografie stejné osoby (určené pomocí odpovídajících podobností obličeje) se zcela odlišným osvětlením, barvami pozadí a pozicemi. Zatímco Google a Bing, může se jen podívat na další fotky zobrazující člověka s podobnými oblečení a obecné rysy obličeje, Yandex bude hledat ty zápasy, a také další fotografie obličeje zápas. Níže vidíte, jak tyto tři služby prohledaly tvář Sergeje Dubinského, ruského podezřelého z sestřelení MH17. Yandex nalezeny četné fotografie Dubinsky z různých zdrojů (pouze dva z nejlepších výsledků měl nesouvisejících lidí), se výsledek liší od původního obrazu, ale ukazuje na stejnou osobu. Google neměl vůbec štěstí, zatímco Bing měl jediný výsledek (pátý obrázek, druhý řádek), který také ukázal Dubinsky.

Yandex je samozřejmě Ruská služba a existují obavy a podezření z jeho vazeb (nebo potenciálních budoucích vazeb) na Kreml. Zatímco my v Bellingcat neustále používáme Yandex pro své vyhledávací schopnosti, můžete být trochu paranoidní než my. Používejte Yandex na vlastní nebezpečí, zejména pokud se také obáváte používání VK a dalších ruských služeb. Pokud nejste zvlášť paranoidní, zkuste hledat neindexovanou fotografii sebe nebo někoho, koho znáte v Yandexu, a zjistěte, zda se může najít online nebo váš dvojník.

Bing

V posledních několika letech Bing dohnal Google ve svých možnostech zpětného vyhledávání obrázků, ale je stále omezený. Bing „vizuální vyhledávání“, nalezeno na images.bing.com,je velmi snadné použití, a nabízí několik zajímavých funkcí, které jinde nenajdete.

v Rámci image search, Bing vám umožní oříznout fotografii (tlačítko níže, zdrojový obrázek) zaměřit se na konkrétní prvek v uvedené fotografii, jak je vidět níže. Výsledky s oříznutým obrázkem vyloučí cizí prvky se zaměřením na uživatelsky definované pole. Pokud je však vybraná část obrázku malá, stojí za to ručně oříznout fotografii sami a zvýšit rozlišení — obrázky s nízkým rozlišením (pod 200×200) přinášejí špatné výsledky.

Níže, bude Google Street View obrázek muže, který kráčel pár mopsů ostříhané soustředit se jen na pooches, což vede na Bing navrhnout plemeno psa vidět ve fotografii („Vypadá to“ funkce), spolu s vizuálně podobné výsledky. Tyto výsledky většinou zahrnuty dvojici psů šel, odpovídající zdrojový obraz, ale ne vždy obsahovat pouze mopslíci, jako francouzský buldočky, anglické buldoci, mastifové, a ostatní jsou smíšené.

Google

zdaleka nejoblíbenější reverse image search engine, na images.google.com Google je v pořádku pro základní reverzní vyhledávání obrázků. Některé z těchto relativně jednoduchých dotazů obsahovat identifikaci známých lidí na fotografiích, najít zdroj obrázků, které byly sdíleny dost online, určení jména a tvůrce kus umění, a tak dále. Pokud však chcete najít obrázky, které nejsou blízko přesné kopie toho, který zkoumáte, můžete být zklamáni.

například, pokud hledáte tvář muže, který se snažil zaútočit na novináře BBC na Trumf rally, Google může najít zdroj oříznutou část obrázku, ale nemůže najít žádné další obrázky z něj, nebo dokonce někdo, kdo nese potkávací podobnost s ním.

Zatímco Google byl velmi silný při hledání jiných případech tvář tohoto muže nebo podobně vypadajících lidí, je to stále původní, un-oříznuté verzi na fotografii snímek byl převzat z, ukazující některé utility.

Pět Testovacích Případů

Pro testování různých reverse image search techniky a motorů, hrst obrazy představující různé typy vyšetření jsou používány, včetně obou originálních fotografií (ne dříve nahrané on-line) a recyklovanými. Vzhledem ke skutečnosti, že tyto fotografie jsou zahrnuty v této příručce, je pravděpodobné, že tyto testovací případy nebude fungovat, jak bylo zamýšleno v budoucnu, jak vyhledávače budou indexovat tyto fotografie a integrovat je do jejich výsledků. Tím pádem, jsou zahrnuty screenshoty výsledků, jak se objevily při psaní této příručky.

Tyto testovací fotografie obsahují řadu různých geografických oblastech, aby otestovat sílu vyhledávačů na zdrojový materiál v západní Evropě, východní Evropě, Jižní Americe, jihovýchodní Asii a Spojených Státech. S každou z těchto fotografií, také jsem zdůraznil diskrétní objekty v obraze, abych vyzkoušel silné a slabé stránky každého vyhledávače.

neváhejte a stáhněte si tyto fotografie (každý obrázek v této příručce je hypertextový odkaz přímo na soubor JPEG) a spusťte je prostřednictvím vyhledávačů sami vyzkoušet své dovednosti.

Olisov Palác V Nižním Novgord, Rusko (Původní, ne dříve nahrané on-line)

Izolované: Bílá SUV v Nižnij Novgorod

Izolované: Trailer v Nižnij Novgorod

Panoráma města V Cebu, Filipíny (Původní, ne dříve nahrané on-line)

Izolované: Kondominium komplexu, „Padgett Místo“

Izolované: „Waterfront Hotel“

Studenti Z Bloomberg 2020 Ad (Screenshot z videa)

Izolované: Student

Av. do Café V São Paulo, Brazílie (Screenshot z Google Street View)

Izolované: Toca dělat Açaí,

Izolované: Estacionamento (Parkování)

Amsterdam Canal (Původní, ne dříve nahrané on-line)

Izolované: Šedá Heron,

Izolované: Holandské Vlajky (také otočit o 90 stupňů ve směru hodinových ručiček)

Výsledky

Každou z těchto fotografií byly vybrány za účelem prokázání schopnosti a omezení tři vyhledávače. Zatímco zejména Yandex se může zdát, že občas pracuje s digitální černou magií, není zdaleka neomylný a může se potýkat s některými typy vyhledávání. Pro některé způsoby, jak možná překonat tato omezení, na konci této příručky jsem podrobně popsal některé kreativní vyhledávací strategie.

Novgorodský Olisovský Palác

Yandex podle očekávání neměl problém tuto ruskou budovu identifikovat. Spolu s fotografiemi z podobného úhlu našeho zdroje fotografii, Yandex také nalézt obrázky z jiných perspektiv, včetně 90 stupňů proti směru hodinových ručiček (viz první dva obrázky v třetí řadě) z přípojného bodu zdrojového obrazu.

Yandex také neměl problém identifikovat bílé SUV v popředí fotografie jako Nissan Juke.

a Konečně, v nejvíce náročné izolované hledat pro tento obrázek, Yandex byl neúspěšný při identifikaci non-descript grey trailer v přední části budovy. Řada výsledků vypadá jako ten ze zdrojového obrázku, ale žádný z nich není skutečná shoda.

Bing neměl úspěch při identifikaci této struktury. Téměř všechny jeho výsledky byly ze Spojených států a západní Evropy, ukazující domy s bílým / šedým zdivem nebo vlečkou a hnědými střechami.

Podobně, Bing nelze určit, že bílé auto bylo Nissan Juke, místo toho se zaměřuje na řadu dalších bílé Suv a automobily.

nakonec Bing selhal při identifikaci šedého přívěsu a více se zaměřil na RV a větší šedé táborníky.

Google výsledky za celou fotku jsou komicky špatný, hledá do Domu, televizní show a snímků s velmi malou vizuální podobnost.

Google úspěšně identifikoval bílé SUV jako Nissan Juke, ani zmínku, že v textovém poli hledat. Jak je vidět s Yandex, krmení vyhledávače obrázek z podobné perspektivy jako populární referenčních materiálů — boční pohled na vůz, který připomíná, že většina reklamy — bude nejlépe umožňují reverzní obrazu algoritmy do práce své kouzlo.

Google konečně rozpoznal, co je šedý přívěs (cestovní přívěs / karavan), ale jeho „vizuálně podobné obrázky“ byly daleko od něj.

Scorecard: Yandex 2/3; Bing 0/3; Google 1/3

Cebu

Yandex byl technicky schopen identifikovat panoráma města jako Cebu na Filipínách, ale možná jen náhodou. Čtvrtý výsledek v první řadě a čtvrtý výsledek v druhé řadě jsou Cebu, ale pouze druhá fotografie ukazuje stejné budovy jako zdroj obrazu. Mnohé z výsledků, byly také z jihovýchodní Asie (zejména v Thajsku, která je populární destinací pro ruské turisty), a upozorňuje, podobné architektonické styly, ale žádný ze stejné perspektivy jako zdroj.

Ze dvou budov izolovaných od vyhledávání (Padgett Palace a Hotel na Nábřeží), Yandex byl schopen identifikovat druhé, ale ne bývalý. Budova Padgett Palace je relativně nevšední výšková budova plná bytů, zatímco Waterfront Hotel má také kasino uvnitř, což vede k řadě turistických fotografií ukazujících jeho výraznější architekturu.

Bing neměl žádné výsledky, které byly i v jihovýchodní Asii při hledání Cebu panoráma města, vykazuje závažné geografické omezení jeho indexované výsledky.

stejně jako Yandex nebyl Bing schopen identifikovat budovu v levé části zdrojového obrazu.

Bing byl schopen najít Hotel na Nábřeží, a to jak při použití Bing je oříznutí funkce (přivést zpět pouze v nízkém rozlišení fotografie) a ruční oříznutí a zvýšení rozlišení objektu od zdrojového obrazu. Stojí za zmínku, že výsledky těchto dvou verzí obrazu, které byly identické mimo rozlišení, přinesly dramaticky odlišné výsledky.

stejně Jako Yandex, Google přivezl fotografie z Cebu v jeho výsledků, ale bez silného podobnost zdrojového obrazu. Zatímco Cebu nebyl v miniatury pro počáteční výsledky, po „Vizuálně podobné obrázky“ bude načíst obrázek z Cebu panorama jako jedenáctý výsledek (třetí obrázek v druhé řadě níže).

stejně Jako s Yandex a Bing, Google byl schopen identifikovat high-vzestup byt budovy na levé části zdrojového obrazu. Google také neměl úspěch s obrázkem hotelu Waterfront.

Scorecard: Yandex 4/6; Bing 0/6; Google 2/6

Bloomberg 2020 Student

Yandex našel zdrojový obraz z této Bloomberg kampaň reklama — Getty Images stock photo. Spolu s tím Yandex také našel verze fotografie s použitými filtry (druhý výsledek, první řádek) a další fotografie ze stejné série fotografií. Také z nějakého důvodu porno, jak je vidět na rozmazaných výsledcích níže.

Když se izolovat jen tvář stock photo model, Yandex přivezl několik dalších snímků stejného chlapa (viz poslední obrázek v první řadě), plus obrazy stejného stock fotografie nastavit ve třídě (viz čtvrtý obrázek v první řadě).

Bing měl zajímavý výsledek vyhledávání: našel přesnou shodu akcií fotografie, a pak přinesl zpět „Podobné“ obrazy jiných mužů v modrých košilích. Karta „stránky s tímto“ ve výsledku poskytuje praktický seznam duplicitních verzí stejného obrázku na webu.

Zaměření na tvář stock photo model nepřináší zase žádné užitečné výsledky, nebo poskytnout zdrojový obrázek, který byl odebrán.

Google uznává, že obrázek používaný kampaní Bloomberg je fotografie, která přináší přesný výsledek. Google také poskytne další fotografie lidí v modrých košilích ve třídě.

V izolaci student, Google bude opět vrátit zdroj stock photo, ale jeho vizuálně podobné obrázky neukazují stock photo model, spíše řada dalších mužů s podobnými vousy. Budeme to považovat za poloviční výhru při hledání původního obrázku, ale nezobrazujeme žádné informace o konkrétním modelu, jak to udělal Yandex.

Scorecard: Yandex 6/8; Bing 1/8; Google 3.5/8

Brazilský Street View

Yandex nemohl přijít na to, že tento obraz byl prasklo v Brazílii, místo toho se zaměřuje na městské krajiny v Rusku.

pro Toca do Açaí z nějakého důvodu Yandex většinou přinesl porno jako výsledky. Tyto obrázky byly rozmazané a výsledky můžete zobrazit kliknutím sem. Nicméně, navzdory rozmazané oplzlosti, dva z výsledků správně identifikovaly logo.

pro parkovací značku se Yandex ani nepřiblížil.

Bing nevěděl, že tento obrázek street view byl pořízen v Brazílii.

…ani Bing rozpoznat parkování znamení…

…nebo Toca dělat Açaí logo.

Navzdory tomu, že obrázek byl převzat přímo z Google Street View, Google reverzní vyhledávání obrázků nepoznal fotografii nahrát na své vlastní služby.

stejně jako Bing a Yandex, Google nemohl rozpoznat, portugalské parkování znamení.

a Konečně, Google nepřišel blízko k identifikaci Toca dělat Açaí, logo, místo toho se zaměřuje na různé typy dřevěných panelů, které ukazují, jak je zaměřena na pozadí obrazu spíše než logo a slova.

Scorecard: Yandex 7/11; Bing 1/11; Google 3.5/11

Amsterdam Canal

Yandex věděl přesně, kde byla tato fotografie pořízena v Amsterdamu, hledání dalších fotografií pořízených v centru Amsterdamu, a to i včetně těch s různými druhy ptáků v rámu.

Yandex správně identifikovat ptáka v popředí fotografii jako šedá volavka (серая цапля), také přináší zpět pole obrázků šedé volavky v obdobném postavení a držení těla jako zdroj obrazu.

Yandex však propadl testu identifikace Nizozemské vlajky visící na pozadí fotografie. Při otáčení obrazu o 90 stupňů ve směru hodinových ručiček, aby předložila vlajky v jeho normální vzor, Yandex byl schopen zjistit, že to byla vlajka, ale nevrátil žádný nizozemské vlajky v jeho výsledků.

Bing pouze uznal, že tento obrázek ukazuje, městskou krajinu s vodou, žádné výsledky z Amsterdamu.

i Když Bing bojoval s identifikací, městskou krajinu, je to správně identifikoval pták jako šedá heron, včetně specializovaných „Vypadá to, že“ výsledkem bude stránka s popisem pták.

Nicméně, stejně jako s Yandex, holandské vlajky bylo příliš matoucí pro Bing, a to jak v jeho původní, a otáčet formy.

Google poznamenal, že tam byl odraz v kanálu obrazu, ale šel dál, než to, se zaměřením na různé zpevněné cesty ve městech a nic z Amsterdamu.

Google byl v cvičení identifikace ptáků blízko, ale sotva ho minul — je to Šedá, ne velká modrá volavka.

Google také nedokázal identifikovat nizozemskou vlajku. Ačkoli se zdálo, že Yandex uznává, že obrázek je vlajkou, algoritmus Google se zaměřil na okenní parapet rámující obrázek a chybně identifikoval vlajku jako záclony.

Poslední Scorecard: Yandex 9/14; Bing 2/14; Google 3.5/14

Kreativní Vyhledávání

I s nedostatky popsané v této příručce, existuje několik způsobů, jak maximalizovat vaše vyhledávací proces a hra vyhledávací algoritmy.

specializované weby

pro jednoho byste mohli použít jiné, specializovanější vyhledávače mimo tři podrobně uvedené v této příručce. Aplikace Merlin Bird ID společnosti Cornell Lab je například velmi přesná při identifikaci typu ptáků na fotografii nebo při poskytování možných možností. Navíc, i když to není aplikace a nedovolí vám obrátit vyhledávání fotografie, FlagID.org umožní vám ručně zadat informace o vlajce, abyste zjistili, odkud pochází. Například s nizozemskou vlajkou, se kterou bojoval i Yandex, nemá FlagID žádný problém. Po výběru horizontální trikolóra vlajky, jsme se dát do barvy viditelné v obraze, pak obdrží řadu možností, které zahrnují Nizozemsko (spolu s dalšími, podobně vypadající vlajky, jako například vlajka Lucemburska).

Rozpoznávání Jazyka

Pokud se díváte na cizí jazyk s pravopis neznáte, zkuste použít nějaký OCR nebo Google Translate, aby se váš život jednodušší. Rukopisný nástroj Google Translate můžete použít k detekci jazyka* dopisu, který ručně píšete, nebo si vyberte jazyk (pokud jej již znáte) a poté jej napište sami pro slovo. Níže je název kavárny („Ježek v mlze“) napsán pomocí rukopisného nástroje Google Translate, který dává zadanou verzi slova (Ёжик), kterou lze prohledat.

*Být upozorněni, že Google Translate je velmi dobrý v rozpoznávání písmen, pokud nemáte již znát jazyk, ale pokud jste procházení dost, výsledky, můžete najít svůj vlastnoruční dopis nakonec.

Pixelace A Rozmazání

Jak je uvedeno v krátkém Twitter závit, můžete pixelate nebo rozmazání prvky z fotografie, aby se oklamat vyhledávače se zaměřit přímo na pozadí. Na této fotografii mluvčí Rudy Giuliani, nahrání přesného snímku nepřinese zpět výsledky ukazující, kde byl pořízen.

Nicméně, pokud bychom rozostřit/pixelate žena uprostřed obrazu, umožní Yandex (a další vyhledávače), pro práci své kouzlo v odpovídající všechny ostatní prvky obrazu: židle, obrazy, lustr, koberec a nástěnné vzory, a tak dále.

po provedení této pixelace Yandex přesně ví, kde byl Snímek pořízen: oblíbený hotel ve Vídni.

Závěr

Reverse image search motory mají výrazně pokročila v průběhu posledních desetiletí, s koncem v nedohlednu. Spolu s někdy-rostoucí množství indexovaných materiál, počet vyhledávacích gigantů láká svým uživatelům přihlásit se na image hosting služby, jako jsou Google Photos, přičemž tyto vyhledávací algoritmy nekonečné množství materiál pro strojové učení. Kromě toho AI rozpoznávání obličeje vstupuje do spotřebitelského prostoru s produkty, jako je FindClone, a může být již použit v některých vyhledávacích algoritmech, konkrétně s Yandexem. Nejsou veřejně k dispozici rozpoznání obličeje programy, které používají jakékoli Západní sociální sítě, jako je Facebook nebo Instagram, ale možná je to jen otázka času, než se něco takového objeví, zabývající hlavní úder na on-line soukromí a zároveň také (v té velké náklady) zvýšení digitální výzkum funkčnost.

Pokud jste vynechal většinu článku a jsou jen při pohledu na spodním řádku, zde jsou některé jednoduché-to-digest tipy pro převrácený obraz hledání:

• Použití Yandex první, druhé, a třetí, a pak zkuste Bing a Google, pokud jste stále nemůžete najít váš požadovaný výsledek.
• pokud pracujete se zdrojovými snímky, které nepocházejí ze západní nebo bývalé sovětské země, pak možná nebudete mít mnoho štěstí. Tyto vyhledávače jsou hyper-zaměřené na tyto oblasti, a boj za fotografie pořízené v Jižní Americe, Střední Americe / Karibiku, Africe a hodně z Asie.
• Zvýšení rozlišení zdrojového obrazu, i když to jen znamená zdvojnásobení nebo ztrojnásobení rozlišení až je to pixelated nepořádek. Žádný z těchto vyhledávačů nemůže dělat moc s obrázkem, který je pod 200×200.
• zkuste oříznout prvky obrázku nebo je pixelovat, pokud zakopne vaše výsledky. Většina z těchto vyhledávačů se zaměří na lidi a jejich tváře jako tepelně naváděná raketa, tak pixelate je zaměřit se na prvky na pozadí.
• pokud vše ostatní selže, buďte opravdu kreativní: zrcadlete obrázek vodorovně, přidejte některé barevné filtry nebo použijte nástroj klonování v editoru obrázků k vyplnění prvků na obrázku, které narušují vyhledávání.