Articles

Guide To Using Reverse Image Search For Investigations

Reverse image search is one of the most well-known and easy digital investigative techniques, with two-click functionality of choose “Search Google for image” in many web browsers. Este método também tem visto uso generalizado na cultura popular, talvez mais notavelmente na MTV show Catfish, que expõe pessoas em relacionamentos online que usam fotografias roubadas em suas mídias sociais.

no entanto, se você só usar o Google para pesquisa reversa de imagens, você vai ficar desapontado com mais freqüência do que não. Limitar o seu processo de pesquisa a enviar uma fotografia na sua forma original para apenas images.google.com pode dar-lhe resultados úteis para as imagens mais obviamente roubadas ou populares, mas para a maioria dos projetos de pesquisa sofisticados, você precisa de sites adicionais à sua disposição — juntamente com um monte de criatividade.este guia irá percorrer estratégias detalhadas para usar a pesquisa reversa de imagens em investigações digitais, com um olho para identificar pessoas e locais, juntamente com a determinação da descendência de uma imagem. Depois de detalhar as principais diferenças entre os motores de busca, Yandex, Bing e Google são testados em cinco imagens de teste que mostram objetos diferentes e de várias regiões do mundo.

além do Google

o primeiro e mais importante conselho sobre este tópico não pode ser enfatizado o suficiente: a Pesquisa reversa de imagens do Google não é muito boa.

A partir da data de publicação deste guia, o líder indiscutível da pesquisa de imagem reversa é o site russo Yandex. Depois da Yandex, os vice-campeões são o Bing e o Google da Microsoft. Um quarto serviço que também poderia ser usado em investigações é TinEye, mas este site é especializado em violações de propriedade intelectual e procura cópias exatas de imagens.

Yandex

Yandex é de longe o melhor motor de busca de imagem reversa, com uma capacidade assustadora e poderosa para reconhecer rostos, paisagens e objetos. Este site Russo baseia-se fortemente em conteúdos gerados pelo utilizador, tais como sítios de avaliação turística (por exemplo, FourSquare e TripAdvisor) e redes sociais (por exemplo, sítios de Encontros), Para obter resultados notavelmente precisos com consultas de reconhecimento facial e paisagístico.os seus pontos fortes residem nas fotografias tiradas num contexto europeu ou ex-soviético. Enquanto as fotografias da América do Norte, África e outros lugares ainda podem retornar resultados úteis em Yandex, você pode encontrar-se frustrado por percorrer os resultados principalmente da Rússia, Ucrânia e Europa Oriental, em vez do País de suas imagens alvo.

para utilizar Yandex, vá para images.yandex.com em seguida, escolha o ícone da câmera à direita.

a partir daí, você pode enviar uma imagem gravada ou escrever no URL de uma hospedada online.

Se você ficar preso com a interface do utilizador em russo, olhar para Выберите файл (Escolher arquivo), Введите адрес картинки (Digite o endereço da imagem), e Найти (Pesquisa). Depois de procurar, olhe para Похожие картинки (imagens semelhantes), E Ещё похожие (mais semelhantes).

os algoritmos de reconhecimento facial usados por Yandex são surpreendentemente bons. Não só Yandex vai olhar para as fotografias que parecem semelhantes ao que tem um rosto nele, mas também vai olhar para outras fotografias da mesma pessoa (determinado através de semelhanças Faciais coincidentes) com iluminação completamente diferente, cores de fundo, e posições. Enquanto o Google e o Bing podem apenas procurar outras fotografias mostrando uma pessoa com roupas semelhantes e características faciais gerais, Yandex irá procurar por essas correspondências, e também outras fotografias de uma correspondência facial. Abaixo, pode ver como os três serviços revistaram a cara de Sergey Dubinsky, um suspeito russo na queda do MH17. Yandex encontrou numerosas fotografias de Dubinsky de várias fontes (apenas dois dos principais resultados tinham pessoas não relacionadas), com o resultado diferente da imagem original, mas mostrando a mesma pessoa. O Google não teve sorte nenhuma, enquanto Bing teve um único resultado (quinta imagem, segunda fila) que também mostrou Dubinsky.

Yandex é, obviamente, um serviço russo, e há preocupações e suspeitas de seus laços (ou potenciais futuros laços) com o Kremlin. Enquanto nós no Bellingcat constantemente usamos Yandex para suas capacidades de pesquisa, você pode ser um pouco mais paranóico do que nós. Use Yandex por sua conta e risco, especialmente se você também está preocupado em usar VK e outros serviços russos. Se você não é particularmente paranóico, tente pesquisar uma fotografia não indexada de si mesmo ou de alguém que você conhece em Yandex, e ver se ele pode encontrar-se ou seu doppelganger on-line.

Bing

nos últimos anos, Bing alcançou o Google em suas capacidades de pesquisa reversa de imagens, mas ainda é limitado. A “busca Visual” de Bing, encontrada em images.bing.com, é muito fácil de usar, e oferece algumas características interessantes não encontradas em outros lugares.

dentro de uma pesquisa de Imagens, Bing permite-lhe recortar uma fotografia (botão abaixo da imagem de origem) para se concentrar num elemento específico dessa fotografia, como se vê em baixo. Os resultados com a imagem recortada Irão excluir os elementos estranhos, focando-se na caixa definida pelo utilizador. No entanto, se a porção selecionada da imagem é pequena, vale a pena recortar manualmente a fotografia e aumentar a resolução — imagens de baixa resolução (abaixo de 200×200) trazer de volta resultados pobres.

abaixo, uma imagem do Google Street View de um homem andando um par de pugs foi cortado para se concentrar apenas nos pooches, levando a Bing para sugerir a raça de cão visível na fotografia (O recurso “parece”), juntamente com resultados visualmente semelhantes. Estes resultados incluíram, na sua maioria, pares de cães caminhando, combinando com a imagem de origem, mas nem sempre incluiu apenas pugs, como bulldogs Franceses, bulldogs ingleses, mastiffs, e outros estão misturados.

Google

images.google.com, o Google é bom para a maioria das pesquisas rudimentares de imagem reversa. Algumas dessas perguntas relativamente simples incluem identificar pessoas bem conhecidas em fotografias, encontrar a fonte de imagens que foram compartilhadas bastante online, determinar o nome e criador de uma peça de arte, e assim por diante. No entanto, se você quiser localizar imagens que não estão perto de uma cópia exata do que você está pesquisando, você pode ficar desapontado.

Por exemplo, ao procurar o rosto de um homem que tentou atacar um jornalista da BBC em um comício Trump, o Google pode encontrar a fonte da imagem cortada, mas não pode encontrar quaisquer imagens adicionais dele, ou mesmo alguém que tem uma semelhança passageira com ele.

Embora o Google não era muito forte em encontrar outras instâncias do rosto do homem ou de aparência semelhante pessoas, ele ainda encontrado o original, un-versão cortada da fotografia, a imagem foi tomada a partir, mostrando a utilidade.

cinco casos de ensaio

para testar diferentes técnicas e motores de pesquisa reversa de imagens, são utilizadas algumas imagens que representam diferentes tipos de investigações, incluindo fotografias originais (não previamente carregadas online) e fotografias recicladas. Devido ao facto de estas fotografias estarem incluídas no presente guia, é provável que estes casos de ensaio não funcionem como previsto no futuro, uma vez que os motores de busca irão indexar essas fotografias e integrá-las nos seus resultados. Assim, screenshots dos resultados como eles apareceram quando este guia estava sendo escrito são incluídos.

Estas fotografias de teste incluem um número de diferentes regiões geográficas para testar a força dos motores de busca por material de origem na Europa ocidental, Europa oriental, América do Sul, sudeste Asiático e Estados Unidos. Com cada uma dessas fotografias, eu também destacei objetos discretos dentro da imagem para testar os pontos fortes e fracos para cada motor de busca.

Sinta-se à vontade para baixar estas fotografias (todas as imagens deste guia estão ligadas directamente a um ficheiro JPEG) e executá-las através dos motores de busca para testar as suas competências.

Olisov Palácio Em Nizhny Novgord, Rússia (Original, não previamente carregado on-line)

Isoladas: Branco SUV em Nizhny Novgorod

Isoladas: Trailer em Nizhny Novgorod

Paisagem urbana Em Cebu, Filipinas (Original, não previamente carregado on-line)

Isoladas: Condomínio, “O Padgett Lugar”

Isolado: “Hotel à beira-mar”

os Alunos De Bloomberg 2020 Ad (Captura de vídeo)

Isoladas: Estudante

Av. do Café Em São Paulo, Brasil (Imagem do Google Street View)

Isoladas: Toca do Açaí

Isolado: Estacionamento (parque de Estacionamento)

Canal de Amesterdão (Original, não previamente carregado on-line)

Isoladas: Garça-real

Isoladas: Holandês Bandeira (também girado em 90 graus no sentido horário)

Resultados

Cada uma dessas fotografias foram escolhidos para demonstrar as capacidades e limitações dos três motores de pesquisa. Enquanto Yandex em particular pode parecer que está trabalhando magia negra digital às vezes, ele está longe de ser infalível e pode lutar com alguns tipos de Buscas. Para algumas maneiras de superar essas limitações, eu detalhei algumas estratégias de pesquisa criativa no final deste guia.

o Palácio Olisov de Novgorod

previsivelmente, Yandex não teve problemas em identificar este edifício russo. Juntamente com fotografias de um ângulo semelhante à nossa Fotografia de origem, Yandex também encontrou imagens de outras perspectivas, incluindo 90 graus no sentido contrário ao dos ponteiros do relógio (ver as duas primeiras imagens na terceira linha) a partir do ponto de vista da imagem de origem.

Yandex também não teve problemas em identificar o SUV branco no primeiro plano da fotografia como um Juke Nissan.

finalmente, na busca isolada mais desafiadora por esta imagem, Yandex não conseguiu identificar o trailer cinzento não-descritivo em frente ao edifício. Um número de resultados se parecem com o da imagem de origem, mas nenhum é uma correspondência real.

Bing não teve sucesso na identificação desta estrutura. Quase todos os seus resultados foram dos Estados Unidos e da Europa Ocidental, mostrando casas com alvenaria branca/cinza ou telhados laterais e Castanhos.

da mesma forma, Bing não conseguiu determinar que o SUV branco era um Juke Nissan, em vez de focar em uma série de outros SUVs brancos e carros.

por último, Bing falhou na identificação do reboque cinzento, centrando-se mais em RVs e campistas maiores e cinzentos.

os resultados do Google para a fotografia completa são comicamente maus, olhando para o programa de televisão da casa e imagens com muito pouca semelhança visual.

Google identificou com sucesso o SUV branco como um Juke Nissan, mesmo notando-o na pesquisa de campo de texto. Como visto com Yandex, alimentar o motor de busca uma imagem de uma perspectiva semelhante como materiais de referência populares — uma visão lateral de um carro que se assemelha à maioria dos anúncios-permitirá melhor algoritmos de imagem reversa para trabalhar sua magia.

finalmente, o Google reconheceu o que era o trailer cinzento (trailer de viagem / camper), mas suas “imagens visualmente semelhantes” estavam longe dele.

Scorecard: Yandex 2/3; Bing 0/3; Google 1/3

Cebu

Yandex foi tecnicamente capaz de identificar a paisagem da cidade, como que de Cebu, nas Filipinas, mas talvez apenas por acidente. O quarto resultado na primeira linha e o quarto resultado na segunda linha são de Cebu, mas apenas a segunda fotografia mostra qualquer um dos mesmos edifícios que na imagem de origem. Muitos dos resultados foram também do Sudeste Asiático (especialmente a Tailândia, que é um destino popular para turistas russos), observando estilos arquitetônicos semelhantes, mas nenhum é da mesma perspectiva que a fonte.

dos dois edifícios isolados da busca (o Padgett Palace e Waterfront Hotel), Yandex foi capaz de identificar o último, mas não o primeiro. O Padgett Palace building é um prédio de arranha-céus relativamente normal, cheio de condomínios, enquanto o Waterfront Hotel também tem um cassino dentro, levando a uma série de fotografias turísticas mostrando sua arquitetura mais distinta.

o Bing não tem quaisquer resultados que foram até mesmo no sudeste da Ásia, ao procurar a paisagem da cidade de Cebu, mostrando uma grave limitação geográfica para os seus resultados indexados.

como Yandex, Bing foi incapaz de identificar o edifício na parte esquerda da imagem de origem.

Bing foi incapaz de encontrar o hotel à beira-mar, tanto ao usar a função de recorte de Bing (trazendo de volta apenas fotografias de baixa resolução) e manualmente cortar e aumentar a resolução do edifício a partir da imagem de origem. Vale a pena notar que os resultados destas duas versões da imagem, que eram idênticas fora da resolução, trouxeram de volta resultados dramaticamente diferentes.

Como Yandex, o Google trouxe de volta uma fotografia de Cebu em seus resultados, mas sem uma forte semelhança com a imagem de origem. Enquanto Cebu não estava nas miniaturas para os resultados iniciais, seguindo através de “imagens visualmente semelhantes” irá obter uma imagem do horizonte de Cebu como o décimo primeiro resultado (terceira imagem na segunda linha abaixo).

tal como acontece com Yandex e Bing, o Google foi incapaz de identificar o edifício de apartamentos de luxo na parte esquerda da imagem de origem. O Google também não teve sucesso com a imagem Waterfront Hotel.

Scorecard: Yandex 4/6; Bing 0/6; Google 2/6

Bloomberg 2020 Estudante

Yandex encontrado a fonte da imagem a partir deste Bloomberg campanha de propaganda — Getty Images foto. Junto com isso, Yandex também encontrou versões da fotografia com filtros aplicados (segundo resultado, primeira linha) e fotografias adicionais da mesma série de fotos de estoque. Além disso, por alguma razão, pornografia, como visto nos resultados borrados abaixo.

Quando isolar apenas o rosto do estoque, modelo fotográfico, Yandex trouxe de volta um punhado de outras fotos da mesma cara (ver a última imagem na primeira linha), além de imagens de fotografia de conjunto na sala de aula (ver a quarta imagem na primeira linha).

Bing teve um resultado de pesquisa interessante: ele encontrou a correspondência exata da fotografia de estoque, e então trouxe de volta “imagens semelhantes” de outros homens em camisas azuis. A página” Páginas com este ” do resultado fornece uma lista útil de versões duplicadas desta mesma imagem em toda a web.

Focando apenas o rosto da fotografia de modelo não trazer resultados úteis, ou fornecer a fonte de imagem que foi retirada.

Google reconhece que a imagem usada pela campanha Bloomberg é uma foto de estoque, trazendo de volta um resultado exato. O Google também irá fornecer outras fotos de estoque de pessoas em camisas azuis na classe.

ao isolar o estudante, o Google irá de novo devolver a fonte da foto-mãe, mas as suas imagens visualmente semelhantes não mostram o modelo de foto-mãe, em vez de uma série de outros homens com pêlos faciais semelhantes. Vamos contar isto como uma meia vitória para encontrar a imagem original, mas não mostrando nenhuma informação sobre o modelo específico, como Yandex fez.

Scorecard: Yandex 6/8; Bing 1/8; Google 3.5/8

vista de rua Brasileira

Yandex não conseguiu perceber que esta imagem foi tirada no Brasil, focando-se em Paisagens urbanas na Rússia.

para tocar Do Açaí, por alguma razão, Yandex trouxe principalmente pornografia de volta como resultados. Estas imagens foram desfocadas, e você pode clicar aqui para ver os resultados. No entanto, apesar da obscuridade, dois dos resultados identificaram correctamente o logótipo. para o sinal de estacionamento , Yandex nem chegou perto.

Bing não sabia que esta imagem de rua foi tirada no Brasil.

…nem Bing reconhecer o sinal de estacionamento…

…ou a Toca do Açaí logotipo.

apesar do facto de a imagem ter sido tirada directamente do Google Street View, a Google reverse image search não reconheceu uma fotografia enviada para o seu próprio serviço.

assim como Bing e Yandex, o Google não conseguiu reconhecer o sinal de estacionamento português.

finalmente, o Google não chegou perto de identificar o logotipo da Toca do Açaí, focando-se em vários tipos de painéis de madeira, mostrando como ele se concentrou no fundo da imagem, em vez do logotipo e palavras.

Scorecard: Yandex 7/11; Bing 1/11; Google 3.5/11

canal de Amsterdam

Yandex sabia exatamente onde esta fotografia foi tirada em Amsterdã, encontrando outras fotografias tiradas no centro de Amsterdã, e mesmo incluindo aquelas com vários tipos de aves na moldura.

Yandex corretamente identificados de aves no primeiro plano da fotografia como uma garça-real (серая цапля), também trazendo de volta uma matriz de imagens do garças-reais em uma posição semelhante, e a postura que a imagem de origem.

No entanto, Yandex reprovou no teste de identificação da bandeira holandesa pendurada no fundo da fotografia. Ao rodar a imagem 90 graus no Sentido DOS ponteiros do relógio para apresentar a bandeira em seu padrão normal, Yandex foi capaz de descobrir que era uma bandeira, mas não devolveu nenhuma bandeira holandesa em seus resultados.

o Bing, apenas reconheceu que esta imagem mostra uma paisagem urbana com água, sem resultados de Amesterdão.

embora Bing tenha lutado para identificar uma paisagem urbana, identificou corretamente a ave como um garanhão cinzento, incluindo um resultado especializado “parece” indo para uma página descrevendo a ave.

No entanto, tal como com Yandex, a bandeira holandesa era demasiado confusa para Bing, tanto nas suas formas originais como rotativas.

o Google observou que houve uma reflexão no canal da imagem, mas não foi mais do que isso, com foco em diversas vias pavimentadas em cidades e nada de Amesterdão.

Google was close in the bird identification exercise, but just nearly missed it — it is a grey, not great blue, heron.

Google was also unable to identify the Dutch flag. Embora Yandex parecesse reconhecer que a imagem é uma bandeira, o algoritmo do Google focou-se no parapeito da janela e identificou erradamente a bandeira como cortinas.

Final Scorecard: Yandex 9/14; Bing 2/14; Google 3.5/14

Criativa Busca

Mesmo com as limitações descritas neste guia, há um punhado de métodos para maximizar o seu processo de pesquisa e jogo os algoritmos de pesquisa.

Sites especializados

para um, você poderia usar alguns outros motores de busca mais especializados fora dos três detalhados neste guia. O aplicativo Merlin Bird ID app do Laboratório Cornell, por exemplo, é extremamente preciso na identificação do tipo de aves em uma fotografia, ou dando opções possíveis. Além disso, apesar de não ser um aplicativo e não permitir que você reverta a busca de uma fotografia, FlagID.org irá permitir que você introduza manualmente informações sobre uma bandeira para descobrir de onde ela vem. Por exemplo, com a bandeira holandesa com a qual até Yandex lutou, FlagID não tem nenhum problema. Depois de escolher uma bandeira tricolor horizontal, colocamos as cores visíveis na imagem, em seguida, receber uma série de opções que incluem os Países Baixos (juntamente com outras bandeiras semelhantes, como a bandeira do Luxemburgo).

Idioma de Reconhecimento

Se você está olhando para uma língua estrangeira, com uma grafia que você não reconhece, tente usar algumas OCR ou o Google Translate para tornar a sua vida mais fácil. Você pode usar a ferramenta de caligrafia do Google Translate para detectar o idioma* de uma carta que você escreve à mão, ou escolher um idioma (se você já sabe) e, em seguida, escrevê-lo para a palavra. Abaixo, o nome de um café (“Hedgehog in the Fog”) é escrito com a ferramenta de caligrafia do Google Translate, dando a versão tipada da palavra (“Destinoжик”) que pode ser pesquisada.

*seja avisado que o Google Translate não é muito bom em reconhecer letras Se você ainda não conhece a língua, embora se você percorrer resultados suficientes, você pode encontrar a sua carta manuscrita eventualmente.

Pixelation E Indefinição

Conforme detalhado em um breve segmento Twitter, você pode pixelate ou borrão elementos de uma fotografia, a fim de enganar o mecanismo de pesquisa focada diretamente no fundo. Nesta fotografia da porta-voz de Rudy Giuliani, carregar a imagem exacta não trará resultados que mostrem onde foi tirada.

no Entanto, se nós desfocar/pixelate a mulher no meio da imagem, que vai permitir que o Google (e outros motores de busca) para trabalhar a sua magia na correspondência de todos os outros elementos da imagem: cadeiras, pinturas, lustre, tapete de parede e padrões, e assim por diante.

após esta pixelação ser realizada, Yandex sabe exatamente onde a imagem foi tirada: um hotel popular em Viena.

Conclusão

imagem Inversa motores de busca evoluíram drasticamente ao longo da última década, sem fim à vista. Junto com a quantidade cada vez maior de material indexado, uma série de gigantes de pesquisa incentivaram seus usuários a se inscreverem em serviços de hospedagem de imagens, como fotos do Google, dando a esses algoritmos de busca uma quantidade infinita de material para a aprendizagem de máquinas. Além disso, o reconhecimento facial AI está entrando no espaço do consumidor com produtos como FindClone e já pode ser usado em alguns algoritmos de busca, nomeadamente com Yandex. Facebook Instagram, mas talvez seja apenas uma questão de tempo até que algo como isso emerge, dando um grande golpe na privacidade online, enquanto também (a esse grande custo) aumenta a funcionalidade da pesquisa digital.

Se saltou a maior parte do artigo e está apenas à procura da linha de fundo, Aqui estão algumas dicas fáceis de digerir para a pesquisa reversa de imagens:

  • Use Yandex primeiro, segundo e terceiro, e depois tente Bing e Google se você ainda não conseguir encontrar o resultado desejado.se você está trabalhando com imagens fonte que não são de um país ocidental ou ex-soviético, então você pode não ter muita sorte. Estes motores de busca são hiper-focados nestas áreas, e luta por fotografias tiradas na América do Sul, América Central/Caribe, África e grande parte da Ásia.
  • aumente a resolução da sua imagem de origem, mesmo que isso signifique apenas duplicar ou triplicar a resolução até que seja uma confusão pixelizada. Nenhum destes motores de busca pode fazer muito com uma imagem que está abaixo de 200×200.
  • tente recortar elementos da imagem, ou pixelizá-los se tropeçar nos seus resultados. A maioria destes motores de busca vai se concentrar em pessoas e seus rostos como um míssil de busca de calor, então pixelizá-los para se concentrar nos elementos de fundo.se tudo o resto falhar, torna – te muito criativo.: espalha a sua imagem horizontalmente, adicione alguns filtros de cores ou use a ferramenta de clones no seu editor de imagens para preencher os elementos da sua imagem que estão a interromper as pesquisas.