Articles

Guía Para Usar la Búsqueda Inversa de Imágenes Para Investigaciones

La búsqueda inversa de imágenes es una de las técnicas de investigación digitales más conocidas y fáciles, con la funcionalidad de dos clics de elegir «Buscar imágenes en Google» en muchos navegadores web. Este método también se ha utilizado ampliamente en la cultura popular, quizás más notablemente en el programa de MTV Catfish, que expone a personas en relaciones en línea que usan fotografías robadas en sus redes sociales.

Sin embargo, si solo usas Google para la búsqueda inversa de imágenes, te decepcionará la mayoría de las veces. Limitar su proceso de búsqueda a cargar una fotografía en su forma original a solo images.google.com puede darte resultados útiles para las imágenes más obviamente robadas o populares, pero para la mayoría de los proyectos de investigación sofisticados, necesitas sitios adicionales a tu disposición, junto con mucha creatividad.

Esta guía recorrerá estrategias detalladas para usar la búsqueda inversa de imágenes en investigaciones digitales, con el objetivo de identificar personas y ubicaciones, junto con determinar la descendencia de una imagen. Después de detallar las diferencias principales entre los motores de búsqueda, Yandex, Bing y Google se prueban en cinco imágenes de prueba que muestran diferentes objetos y de varias regiones del mundo.

Más allá de Google

El primer y más importante consejo sobre este tema no se puede enfatizar lo suficiente: La búsqueda inversa de imágenes de Google no es muy buena.

A partir de la fecha de publicación de esta guía, el líder indiscutible de la búsqueda de imágenes inversas es el sitio ruso Yandex. Después de Yandex, los finalistas son Bing y Google de Microsoft. Un cuarto servicio que también podría usarse en investigaciones es TinEye, pero este sitio se especializa en violaciones de propiedad intelectual y busca duplicados exactos de imágenes.

Yandex

Yandex es, con mucho, el mejor motor de búsqueda de imágenes inversas, con una capacidad aterradora y poderosa para reconocer rostros, paisajes y objetos. Este sitio ruso se basa en gran medida en contenido generado por los usuarios, como sitios de reseñas turísticas (por ejemplo, FourSquare y TripAdvisor) y redes sociales (por ejemplo, sitios de citas), para obtener resultados notablemente precisos con consultas de reconocimiento facial y paisajístico.

Sus puntos fuertes radican en las fotografías tomadas en un contexto europeo o exsoviético. Si bien las fotografías de América del Norte, África y otros lugares aún pueden devolver resultados útiles en Yandex, es posible que se sienta frustrado al desplazarse por los resultados, principalmente de Rusia, Ucrania y Europa del este, en lugar del país de las imágenes objetivo.

Para usar Yandex, vaya a images.yandex.com a continuación, elija el icono de la cámara a la derecha.

Desde allí, puede cargar una imagen guardada o escribir la URL de una alojada en línea.

Si te quedas atascado con la interfaz de usuario rusa, busca Выберите файл (Elegir archivo), Введите адрес картинки (Introducir la dirección de la imagen) y Найти (Buscar). Después de buscar, busque Похожие картинки (Imágenes similares), y ещ п похожие (Más similares).

Los algoritmos de reconocimiento facial utilizados por Yandex son sorprendentemente buenos. Yandex no solo buscará fotografías que se vean similares a la que tiene una cara, sino que también buscará otras fotografías de la misma persona (determinadas a través de similitudes faciales coincidentes) con iluminación, colores de fondo y posiciones completamente diferentes. Mientras que Google y Bing pueden buscar otras fotografías que muestren a una persona con ropa similar y rasgos faciales generales, Yandex buscará esas coincidencias, y también otras fotografías de una coincidencia facial. A continuación, puede ver cómo los tres servicios registraron la cara de Sergey Dubinsky, un sospechoso ruso en el derribo del MH17. Yandex encontró numerosas fotografías de Dubinsky de varias fuentes (solo dos de los resultados principales tenían personas no relacionadas), con el resultado diferente de la imagen original, pero que muestra a la misma persona. Google no tuvo suerte en absoluto, mientras que Bing tuvo un solo resultado (quinta imagen, segunda fila) que también mostraba a Dubinsky.

Yandex es, obviamente, un servicio ruso, y hay preocupaciones y sospechas de sus vínculos (o potenciales vínculos futuros) con el Kremlin. Si bien en Bellingcat utilizamos constantemente Yandex para sus capacidades de búsqueda, puede que seas un poco más paranoico que nosotros. Utilice Yandex bajo su propio riesgo, especialmente si también le preocupa el uso de VK y otros servicios rusos. Si no eres particularmente paranoico, intenta buscar una fotografía no indexada de ti mismo o de alguien que conozcas en Yandex, y comprueba si puedes encontrarte a ti o a tu doble en línea.

Bing

En los últimos años, Bing ha alcanzado a Google en sus capacidades de búsqueda de imágenes inversas, pero sigue siendo limitada. La «Búsqueda visual» de Bing, que se encuentra en images.bing.com, es muy fácil de usar y ofrece algunas características interesantes que no se encuentran en ningún otro lugar.

Dentro de una búsqueda de imágenes, Bing le permite recortar una fotografía (botón debajo de la imagen de origen) para centrarse en un elemento específico de dicha fotografía, como se ve a continuación. Los resultados con la imagen recortada excluirán los elementos extraños, centrándose en el cuadro definido por el usuario. Sin embargo, si la parte seleccionada de la imagen es pequeña, vale la pena recortar manualmente la fotografía usted mismo y aumentar la resolución: las imágenes de baja resolución (por debajo de 200×200) devuelven resultados pobres.

A continuación, se recortó una imagen de Google Street View de un hombre paseando un par de perros para centrarse solo en los perros, lo que llevó a Bing a sugerir la raza de perro visible en la fotografía (la función «Parece»), junto con resultados visualmente similares. Estos resultados incluyeron en su mayoría parejas de perros que paseaban, coincidiendo con la imagen de origen, pero no siempre incluyeron solo perros, ya que los bulldogs franceses, los bulldogs ingleses, los mastines y otros se mezclan.

Google

Con mucho, el motor de búsqueda de imágenes inversas más popular, en images.google.com, Google está bien para la mayoría de las búsquedas inversas de imágenes rudimentarias. Algunas de estas consultas relativamente simples incluyen identificar a personas conocidas en fotografías, encontrar la fuente de imágenes que se han compartido bastante en línea, determinar el nombre y el creador de una obra de arte, etc. Sin embargo, si desea localizar imágenes que no están cerca de una copia exacta de la que está investigando, puede decepcionarse.

Por ejemplo, al buscar la cara de un hombre que intentó atacar a un periodista de la BBC en un mitin de Trump, Google puede encontrar la fuente de la imagen recortada, pero no puede encontrar ninguna imagen adicional de él, o incluso de alguien que tenga un parecido pasajero con él.

Mientras que Google no fue muy fuerte en encontrar otras instancias de la cara de este hombre o personas de aspecto similar, todavía encontró la versión original, sin recortar, de la fotografía de la que se tomó la captura de pantalla, mostrando alguna utilidad.

Cinco casos de prueba

Para probar diferentes técnicas y motores de búsqueda de imágenes inversas, se utilizan un puñado de imágenes que representan diferentes tipos de investigaciones, incluidas fotografías originales (no cargadas previamente en línea) y recicladas. Debido al hecho de que estas fotografías están incluidas en esta guía, es probable que estos casos de prueba no funcionen según lo previsto en el futuro, ya que los motores de búsqueda indexarán estas fotografías e integrarán sus resultados. Por lo tanto, se incluyen capturas de pantalla de los resultados tal como aparecieron cuando se estaba escribiendo esta guía.

Estas fotografías de prueba incluyen varias regiones geográficas diferentes para probar la fuerza de los motores de búsqueda de material de origen en Europa occidental, Europa oriental, América del Sur, el sudeste asiático y los Estados Unidos. Con cada una de estas fotografías, también he destacado objetos discretos dentro de la imagen para probar las fortalezas y debilidades de cada motor de búsqueda.

No dude en descargar estas fotografías (todas las imágenes de esta guía están enlazadas directamente a un archivo JPEG) y ejecutarlas a través de los motores de búsqueda para probar sus habilidades.

Olisov Palacio En Nizhny Novgord, Rusia (Original, no cargado previamente en línea)

Aislado: Blanco SUV en Nizhny Novgorod

Aislado: Trailer en Nizhny Novgorod

Paisaje de la ciudad De Cebu, Filipinas (Original, no cargado previamente en línea)

Aislado: complejo de Condominios, «El Padgett Lugar»

Aislado: «El Hotel Waterfront»

los Alumnos De Bloomberg 2020 Ad (Captura de video)

Aislado: el Estudiante

Av. hacer Café En São Paulo, Brasil (Captura de pantalla de Google Street View)

Aislado: Toca hacer Açaí

Aislado: Parking (Estacionamiento)

Canal de Ámsterdam (Original, no cargado previamente en línea)

Aislado: la Garza Gris

Aislado: Bandera holandesa (también gira 90 grados a la derecha)

Resultados

Cada una de estas fotografías fueron elegidos con el fin de demostrar las capacidades y limitaciones de los tres motores de búsqueda. Si bien Yandex en particular puede parecer que a veces funciona con magia negra digital, está lejos de ser infalible y puede tener problemas con algunos tipos de búsquedas. Para ver algunas formas de superar estas limitaciones, he detallado algunas estrategias de búsqueda creativas al final de esta guía.

Palacio Olisov de Nóvgorod

Como era de esperar, Yandex no tuvo problemas para identificar este edificio ruso. Junto con fotografías desde un ángulo similar a nuestra fotografía de origen, Yandex también encontró imágenes desde otras perspectivas, incluidos 90 grados en sentido contrario a las agujas del reloj (ver las dos primeras imágenes en la tercera fila) desde el punto de vista de la imagen de origen.

Yandex tampoco tuvo problemas para identificar el SUV blanco en primer plano de la fotografía como un Nissan Juke.

Por último, en la búsqueda aislada más desafiante de esta imagen, Yandex no pudo identificar el remolque gris sin descripción en frente del edificio. Varios de los resultados se parecen a los de la imagen de origen, pero ninguno es una coincidencia real.

Bing no tuvo éxito en la identificación de esta estructura. Casi todos sus resultados fueron de los Estados Unidos y Europa occidental, mostrando casas con mampostería o revestimiento blanco/gris y techos marrones.

Del mismo modo, Bing no pudo determinar que el SUV blanco fuera un Nissan Juke, sino que se centró en una serie de otros SUV y automóviles blancos.

Por último, Bing no pudo identificar el remolque gris, centrándose más en las autocaravanas y las autocaravanas grises más grandes.

Los resultados de Google para la fotografía completa son cómicamente malos, mirando el programa de televisión de la Casa y las imágenes con muy poca similitud visual.

Google identificó con éxito el SUV blanco como un Nissan Juke, incluso anotándolo en el campo de búsqueda de texto. Como se ve con Yandex, alimentar al motor de búsqueda con una imagen desde una perspectiva similar a los materiales de referencia populares, una vista lateral de un automóvil que se asemeja a la de la mayoría de los anuncios, permitirá que los algoritmos de imagen inversa hagan su magia.

Por último, Google reconoció lo que era el remolque gris (remolque de viaje / caravana), pero sus «imágenes visualmente similares» estaban lejos de eso.

Scorecard: Yandex 2/3; Bing 0/3; Google 1/3

Cebu

Yandex fue técnicamente capaz de identificar el paisaje urbano como el de Cebu en Filipinas, pero quizás solo por accidente. El cuarto resultado en la primera fila y el cuarto resultado en la segunda fila son de Cebú, pero solo la segunda fotografía muestra cualquiera de los mismos edificios que en la imagen de origen. Muchos de los resultados fueron también del sudeste asiático (especialmente Tailandia, que es un destino popular para los turistas rusos), notando estilos arquitectónicos similares, pero ninguno es de la misma perspectiva que la fuente.

De los dos edificios aislados de la búsqueda (el Padgett Palace y el Waterfront Hotel), Yandex pudo identificar este último, pero no el primero. El edificio del Palacio Padgett es un edificio de gran altura relativamente poco notable lleno de condominios, mientras que el Hotel frente al mar también tiene un casino en su interior, lo que lleva a una gran variedad de fotografías turísticas que muestran su arquitectura más distintiva.

Bing no tuvo ningún resultado que estuviera en el sudeste asiático al buscar el paisaje urbano de Cebú, mostrando una limitación geográfica severa a sus resultados indexados.

Al igual que Yandex, Bing no pudo identificar el edificio en la parte izquierda de la imagen de origen.

Bing no pudo encontrar el Hotel frente al mar, tanto al usar la función de recorte de Bing (trayendo solo fotografías de baja resolución) como al recortar manualmente y aumentar la resolución del edificio desde la imagen de origen. Vale la pena señalar que los resultados de estas dos versiones de la imagen, que eran idénticos fuera de la resolución, trajeron resultados dramáticamente diferentes.

Como con Yandex, Google trajo una fotografía de Cebú en sus resultados, pero sin un gran parecido a la imagen de origen. Si bien Cebú no estaba en las miniaturas de los resultados iniciales, siguiendo con «Imágenes visualmente similares» obtendrá una imagen del horizonte de Cebú como el undécimo resultado (tercera imagen en la segunda fila de abajo).

Al igual que con Yandex y Bing, Google no pudo identificar el edificio de apartamentos de gran altura en la parte izquierda de la imagen de origen. Google tampoco tuvo éxito con la imagen del hotel frente al mar.

Tarjeta de puntuación: Yandex 4/6; Bing 0/6; Google 2/6

Estudiante de Bloomberg 2020

Yandex encontró la imagen de origen de este anuncio de campaña de Bloomberg — a Foto de stock de Getty Images. Junto con esto, Yandex también encontró versiones de la fotografía con filtros aplicados (segundo resultado, primera fila) y fotografías adicionales de la misma serie de fotos de archivo. También, por alguna razón, porno, como se ve en los resultados borrosos a continuación.

Al aislar solo la cara del modelo de foto de archivo, Yandex trajo un puñado de otras fotos del mismo tipo (ver la última imagen en la primera fila), además de imágenes de la misma foto de archivo en el aula (ver la cuarta imagen en la primera fila).

Bing tuvo un resultado de búsqueda interesante: encontró la coincidencia exacta de la fotografía de archivo, y luego trajo «imágenes similares» de otros hombres en camisas azules. La pestaña «Páginas con esto» del resultado proporciona una lista práctica de versiones duplicadas de esta misma imagen en la web.

Centrarse solo en la cara del modelo de foto de archivo no devuelve ningún resultado útil ni proporciona la imagen de origen de la que se tomó.

Google reconoce que la imagen utilizada por la campaña de Bloomberg es una foto de archivo, lo que devuelve un resultado exacto. Google también proporcionará otras fotos de archivo de personas con camisas azules en clase.

Al aislar al estudiante, Google volverá a devolver la fuente de la foto de archivo, pero sus imágenes visualmente similares no muestran el modelo de la foto de archivo, sino una variedad de otros hombres con vello facial similar. Contaremos esto como una media victoria para encontrar la imagen original, pero sin mostrar ninguna información sobre el modelo específico, como hizo Yandex.

Tarjeta de puntuación: Yandex 6/8; Bing 1/8; Google 3.5/8

Brazilian Street View

Yandex no pudo darse cuenta de que esta imagen se rompió en Brasil, en lugar de centrarse en paisajes urbanos en Rusia.

Para Toca do Açaí, por alguna razón, Yandex trajo principalmente porno como resultado. Estas imágenes estaban borrosas, y puede hacer clic aquí para ver los resultados. Sin embargo, a pesar de la obscenidad borrosa, dos de los resultados identificaron correctamente el logotipo.

Para la señal de estacionamiento, Yandex ni siquiera se acercó.

Bing no sabía que esta imagen de street view fue tomada en Brasil.

…tampoco Bing reconocer la señal de estacionamiento…

…o la Toca do Açaí logotipo.

A pesar de que la imagen se tomó directamente de Street View de Google, la búsqueda inversa de imágenes de Google no reconoció una fotografía cargada en su propio servicio.

Al igual que Bing y Yandex, Google no pudo reconocer la señal de estacionamiento portuguesa.

Por último, Google no se acercó a identificar el logotipo Toca do Açaí, sino que se centró en varios tipos de paneles de madera, mostrando cómo se enfocaba en el fondo de la imagen en lugar del logotipo y las palabras.

Tarjeta de puntuación: Yandex 7/11; Bing 1/11; Google 3.5/11

Amsterdam Canal

Yandex sabía exactamente donde esta fotografía fue tomada en Amsterdam, encontrando otras fotografías tomadas en el centro de Ámsterdam, e incluso incluyendo aquellos con diversos tipos de aves en el marco.

Yandex identificó correctamente a un ave en el primer plano de la fotografía como una garza gris (серая цапля), también trayendo una serie de imágenes de garzas grises en una posición y postura similares a la imagen de origen.

Sin embargo, Yandex reprobó la prueba de identificación de la bandera holandesa colgada en el fondo de la fotografía. Al girar la imagen 90 grados en el sentido de las agujas del reloj para presentar la bandera en su patrón normal, Yandex pudo descubrir que era una bandera, pero no devolvió ninguna bandera holandesa en sus resultados.

Bing sólo reconoció que esta imagen muestra un paisaje urbano con agua, sin resultados de Amsterdam.

Aunque Bing tuvo problemas para identificar un paisaje urbano, identificó correctamente al pájaro como una garza real, incluido un resultado especializado de» Apariencia » que iba a una página que describía al pájaro.

Sin embargo, al igual que con Yandex, la bandera holandesa era demasiado confusa para Bing, tanto en su forma original como rotada.

Google notó que había un reflejo en el canal de la imagen, pero no fue más allá de esto, centrándose en varios caminos pavimentados en ciudades y nada de Ámsterdam.

Google estuvo cerca en el ejercicio de identificación de aves, pero apenas se lo perdió — es una garza gris, no azul.

Google también fue incapaz de identificar la bandera holandesa. Aunque Yandex parecía reconocer que la imagen es una bandera, el algoritmo de Google se centró en el alféizar de la ventana que enmarca la imagen e identificó erróneamente la bandera como cortinas.

Tarjeta de puntuación final: Yandex 9/14; Bing 2/14; Google 3.5/14

Búsqueda creativa

Incluso con las deficiencias descritas en esta guía, hay un puñado de métodos para maximizar su proceso de búsqueda y jugar con los algoritmos de búsqueda.

Sitios especializados

Para uno de ellos, puedes usar otros motores de búsqueda más especializados además de los tres que se detallan en esta guía. La aplicación Merlin Bird ID de Cornell Lab, por ejemplo, es extremadamente precisa para identificar el tipo de aves en una fotografía o para ofrecer posibles opciones. Además, aunque no es una aplicación y no te permite buscar una fotografía en sentido inverso, FlagID.org le permitirá introducir manualmente información sobre una bandera para averiguar de dónde proviene. Por ejemplo, con la bandera holandesa con la que incluso Yandex luchó, FlagID no tiene ningún problema. Después de elegir una bandera tricolor horizontal, colocamos los colores visibles en la imagen, luego recibimos una serie de opciones que incluyen los Países Bajos (junto con otras banderas de aspecto similar, como la bandera de Luxemburgo).

Reconocimiento de idiomas

Si está buscando un idioma extranjero con una ortografía que no reconoce, intente usar OCR o Google Translate para facilitarle la vida. Puedes usar la herramienta de escritura a mano de Google Translate para detectar el idioma* de una letra que escribes a mano, o elegir un idioma (si ya lo conoces) y luego escribirlo tú mismo para la palabra. A continuación, el nombre de un café («Erizo en la niebla») está escrito con la herramienta de escritura a mano de Google Translate, dando la versión mecanografiada de la palabra (жЖик) que se puede buscar.

*Tenga en cuenta que Google Translate no es muy bueno para reconocer letras si aún no conoce el idioma, aunque si se desplaza a través de suficientes resultados, puede encontrar su carta manuscrita eventualmente.

Pixelación y desenfoque

Como se detalla en un breve hilo de Twitter, puede pixelar o desenfocar elementos de una fotografía para engañar al motor de búsqueda para que se enfoque directamente en el fondo. En esta fotografía de la portavoz de Rudy Giuliani, subir la imagen exacta no traerá resultados que muestren dónde fue tomada.

sin Embargo, si vamos a desenfocar/pixelizar la mujer en el medio de la imagen, va a permitir Yandex (y otros motores de búsqueda) para trabajar su magia en la coincidencia de todos los otros elementos de la imagen: las sillas, cuadros, candelabros, alfombras de pared y de los patrones, y así sucesivamente.

Después de realizar esta pixelación, Yandex sabe exactamente dónde se tomó la imagen: un hotel popular en Viena.

Conclusión

la imagen Inversa de motores de búsqueda han progresado notablemente en la última década, sin final a la vista. Junto con la creciente cantidad de material indexado, varios gigantes de la búsqueda han atraído a sus usuarios a registrarse en servicios de alojamiento de imágenes, como Google Photos, lo que les da a estos algoritmos de búsqueda una cantidad infinita de material para el aprendizaje automático. Además de esto, la IA de reconocimiento facial está entrando en el espacio de consumo con productos como FindClone y ya se puede usar en algunos algoritmos de búsqueda, concretamente con Yandex. Instagram Facebook No hay programas de reconocimiento facial disponibles públicamente que utilicen ninguna red social occidental, como Facebook o Instagram, pero tal vez sea solo cuestión de tiempo hasta que algo como esto surja, lo que asestará un golpe importante a la privacidad en línea y al mismo tiempo (a ese gran costo) aumentará la funcionalidad de la investigación digital.

Si se ha saltado la mayor parte del artículo y solo está buscando el resultado final, aquí hay algunos consejos fáciles de digerir para la búsqueda inversa de imágenes:

  • Use Yandex primero, segundo y tercero, y luego pruebe Bing y Google si aún no puede encontrar el resultado deseado.
  • Si está trabajando con imágenes de origen que no provienen de un país occidental o ex soviético, es posible que no tenga mucha suerte. Estos motores de búsqueda están hiperenfocados en estas áreas y luchan por obtener fotografías tomadas en América del Sur, América Central/Caribe, África y gran parte de Asia.
  • Aumente la resolución de su imagen de origen, incluso si solo significa duplicar o triplicar la resolución hasta que sea un desorden pixelado. Ninguno de estos motores de búsqueda puede hacer mucho con una imagen que esté por debajo de 200×200.
  • trata de cortar los elementos de la imagen, o la pixelación de ellos si los viajes de sus resultados. La mayoría de estos motores de búsqueda se enfocarán en las personas y sus rostros como un misil que busca calor, por lo que los pixelará para centrarse en los elementos de fondo.
  • Si todo lo demás falla, conseguir realmente creativo: refleja tu imagen horizontalmente, agrega algunos filtros de color o usa la herramienta de clonación del editor de imágenes para rellenar elementos de la imagen que interrumpan las búsquedas.