Comment Google Lens fait progresser la recherche visuelle

Lors de la conférence “Search On », Google a partagé comment il se rapproche de la création d’expériences de recherche qui reflètent la façon dont il donne un sens au monde, grâce aux progrès de l’apprentissage automatique (machine learning).

Comment Google fait progresser la recherche visuelle

Grâce à une compréhension plus approfondie de l’information sous ses nombreuses formes – du langage aux images, en passant par les choses du monde réel – Google dit être en mesure de débloquer des moyens entièrement nouveaux d’aider les gens à recueillir et à explorer l’information.

 

Aujourd’hui, lors de Search On, nous avons discuté de la façon dont Google fait progresser la recherche visuelle pour qu’elle soit beaucoup plus naturelle que jamais, et nous aidons les gens à naviguer dans les informations de manière plus intuitive.

Voici un aperçu de ce que nous avons partagé…. https://blog.google/products/search/search-on-2022-announcements/

Google a donc décidé de faire progresser la recherche visuelle pour qu’elle soit beaucoup plus naturelle que jamais, et il aide les utilisateurs à naviguer dans les informations de manière plus intuitive. Voici un examen plus approfondi.

Vous aider à rechercher en dehors de la box

Avec Google Lens, vous pouvez rechercher le monde qui vous entoure avec votre appareil photo ou une image. Les gens l’utilisent maintenant pour répondre à plus de 8 milliards de questions chaque mois !

Plus tôt cette année, nous avons rendu la recherche visuelle encore plus naturelle avec l’introduction de Multisearch (recherche multiple), une étape majeure dans la façon dont vous pouvez rechercher des informations.

Avec Google Multisearch, vous pouvez prendre une photo ou utiliser une capture d’écran, puis y ajouter du texte – de la même manière que vous pourriez naturellement pointer vers quelque chose et poser une question à ce sujet.

Multisearch est disponible en anglais dans le monde entier et sera disponible dans plus de 70 langues au cours des prochains mois.

Lors de Google I/O, Google a prévisualisé la façon dont il surcharge cette fonctionnalité avec « Multisearch near me », vous permettant de prendre une photo ou de prendre une capture d’écran d’un plat ou d’un article, puis de le trouver instantanément à proximité.

 

Lors de Google I/O, Google a prévisualisé la façon dont il surcharge cette fonctionnalité avec « Multisearch near me », vous permettant de prendre une photo ou de prendre une capture d’écran d’un plat ou d’un article, puis de le trouver instantanément à proximité.

 

Cette nouvelle façon de rechercher vous aidera à trouver et à vous connecter avec des entreprises locales, que vous cherchiez à soutenir votre magasin de quartier ou que vous ayez simplement besoin de quelque chose en ce moment. « Multisearch near me » ou « Multisearch à proximité » commencera à être déployé en anglais aux États-Unis plus tard cet automne.

L’un des aspects les plus puissants de la compréhension visuelle est sa capacité à briser les barrières linguistiques. Avec Google Lens, Google dit être déjà allés au-delà de la traduction de texte pour traduire des images. En fait, chaque mois, les gens utilisent Google pour traduire du texte en images plus de 1 milliard de fois, dans plus de 100 langues.

 

Avec Google Lens, Google dit être déjà allés au-delà de la traduction de texte pour traduire des images.

 

Grâce aux avancées majeures de l’apprentissage automatique, Google est désormais en mesure de fusionner du texte traduit en images complexes, de sorte qu’il semble et se sent beaucoup plus naturel.

Google a même optimisé ses modèles de machine learning afin de pouvoir faire tout cela en seulement 100 millisecondes, soit moins qu’un clin d’œil. Cela utilise des réseaux antagonistes génératifs (également connus sous le nom de modèles GAN), ce qui contribue à alimenter la technologie derrière Magic Eraser on Pixel. Cette expérience améliorée sera lancée plus tard cette année.

 

Google a même optimisé ses modèles de machine learning afin de pouvoir faire tout cela en seulement 100 millisecondes

 

Avec la nouvelle mise à jour de traduction de Lens, vous pouvez pointer votre appareil photo vers une affiche dans une autre langue, par exemple, et vous verrez maintenant du texte traduit superposé de manière réaliste sur les images ci-dessous.

Et maintenant,Google met certains de ses outils les plus utiles directement à portée de main, à commencer par l’application Google pour iOS.

À partir d’aujourd’hui, vous verrez des raccourcis juste sous la barre de recherche pour acheter vos captures d’écran, traduire du texte avec votre appareil photo, fredonner pour rechercher et plus encore.

 

De nouvelles façons d’explorer l’information

Alors que Google redéfinit la façon dont les gens recherchent et interagissent avec l’information, il s’efforce de faire en sorte que vous puissiez poser des questions avec moins de mots – voire pas du tout – et que Google comprenne toujours exactement ce que vous voulez dire, ou faire ressortir des choses que vous pourriez trouver utiles.

Et vous pouvez explorer des informations organisées d’une manière qui a du sens pour vous, qu’il s’agisse d’approfondir un sujet au fur et à mesure qu’il se déroule ou de découvrir de nouveaux points de vue qui élargissent votre perspective.

 

Et vous pouvez explorer des informations organisées d’une manière qui a du sens pour vous, qu’il s’agisse d’approfondir un sujet au fur et à mesure qu’il se déroule ou de découvrir de nouveaux points de vue qui élargissent votre perspective.

 

Une partie importante de cela est d’être en mesure de trouver rapidement les résultats que vous recherchez.

Ainsi, dans les mois à venir, Google va déployer un moyen encore plus rapide de trouver ce dont vous avez besoin. Lorsque vous commencez à taper une question, Google peut vous fournir un contenu pertinent immédiatement, avant même que vous ayez fini de taper.

Mais parfois, vous ne savez pas quel angle vous voulez explorer jusqu’à ce que vous le voyiez. Google introduit donc de nouvelles expériences de recherche pour vous aider à explorer plus naturellement les sujets qui vous intéressent lorsque vous venez sur Google.

 

Et vous pouvez explorer des informations organisées d’une manière qui a du sens pour vous, qu’il s’agisse d’approfondir un sujet au fur et à mesure qu’il se déroule ou de découvrir de nouveaux points de vue qui élargissent votre perspective.

Disons que vous cherchez une destination au Mexique. Google vous aidera à préciser votre question – par exemple, « les meilleures villes du Mexique pour les familles » – afin que vous puissiez naviguer vers des résultats plus pertinents pour vous.

 

Et vous pouvez explorer des informations organisées d’une manière qui a du sens pour vous, qu’il s’agisse d’approfondir un sujet au fur et à mesure qu’il se déroule ou de découvrir de nouveaux points de vue qui élargissent votre perspective.

 

Peut-être que vous n’aviez pas envisagé Oaxaca, mais cela ressemble à un endroit idéal à visiter avec les enfants. Et au fur et à mesure que vous apprenez sur un sujet, comme une nouvelle ville, vous pourriez vous demander à quoi elle ressemblera.

Google facilite donc également l’exploration d’un sujet en mettant en évidence les informations les plus pertinentes et les plus utiles, y compris le contenu des créateurs sur le Web ouvert.

Pour des sujets tels que les villes, vous pouvez voir des histoires visuelles et de courtes vidéos de personnes qui ont visité, des conseils sur la façon d’explorer la ville, les choses à faire, comment s’y rendre et d’autres aspects importants que vous voudrez peut-être connaître lorsque vous planifiez vos voyages.

 

Google facilite donc également l’exploration d’un sujet en mettant en évidence les informations les plus pertinentes et les plus utiles, y compris le contenu des créateurs sur le Web ouvert.

 

De plus, grâce à la compréhension approfondie de Google de la façon dont les gens recherchent, il vous montrera bientôt des sujets pour vous aider à aller plus loin ou à trouver une nouvelle direction sur un sujet.

Et vous pouvez ajouter ou supprimer des sujets lorsque vous souhaitez effectuer un zoom avant et arrière. La meilleure partie est que cela peut vous aider à découvrir des choses auxquelles vous n’auriez peut-être pas pensé. Par exemple, vous ne saviez peut-être pas que les plages d’Oaxacan étaient l’un des secrets les mieux gardés du Mexique.

Google dit réinventer également la façon dont il affiche les résultats pour mieux refléter la façon dont les gens explorent les sujets. Vous verrez le contenu le plus pertinent, provenant de diverses sources, quel que soit le format de l’information, qu’il s’agisse de texte, d’images ou de vidéos.

Et en continuant à faire défiler, vous verrez une nouvelle façon de vous inspirer des sujets liés à votre recherche. Par exemple, vous n’avez peut-être jamais pensé à visiter les sites historiques d’Oaxaca ou à trouver de la musique live pendant que vous y êtes.

 

Et en continuant à faire défiler, vous verrez une nouvelle façon de vous inspirer des sujets liés à votre recherche.

 

Ces nouvelles façons d’explorer l’information seront disponibles dans les mois à venir, pour vous aider partout où votre curiosité vous mènera.

Source : Google