Voici comment Facebook a utilisé les photos et les hashtags Instagram pour entraîner son IA de reconnaissance d'images
La deuxième journée de la conférence des développeurs F8 de Facebook a été consacrée à ses travaux dans les domaines de l'IA, de l'AR, de la VR et de la connectivité, entre autres. Une session marquante a été le travail de Facebook sur un système d'IA de reconnaissance d'image formé à l'aide de photos et de hashtags Instagram.
Facebook appelle ce processus une « formation à l'IA faiblement supervisée », qui consiste à apprendre à un système d'IA à reconnaître non seulement une image, mais également les différents objets représentés dans une image avec des marqueurs linguistiques pour l'identification. Mais le nouveau système développé par Facebook ne repose pas sur des saisies manuelles, mais apprend des images Instagram et des hashtags publiés par les utilisateurs.
Les modèles d’apprentissage profond nécessitent des ensembles de données massifs étiquetés par des formateurs humains, ce qui prend du temps. Mais Facebook disposait d'un énorme ensemble de données de hashtags, qui fonctionnent non seulement comme des légendes, mais indiquent également parfois une réponse émotionnelle.
L'équipe de Facebook a utilisé le ensemble de données d'environ 3,5 milliards d'images et 17 000 hashtags publiés par les utilisateurs sur Instagram pour entraîner son IA à la reconnaissance d’images. L'objectif était de former le système d'IA en utilisant des hashtags accessibles au public plutôt qu'en étiquetant manuellement chaque photo.
Pour étudier l’efficacité de cette approche, l’équipe a formé un système de vision par ordinateur avec un ensemble de données d’un milliard d’images et 1500 hashtags. Lors du test, le système a obtenu un précision de reconnaissance d'image de 85,4 sur Image.Net, ce qui est le score le plus élevé obtenu par un tel système sur l'outil d'analyse comparative populaire. Lorsqu'il est testé sur le défi de détection d'objet COCO, Les hashtags améliorent la précision de la reconnaissance des images de plus de 2%.
Encouragée par les résultats positifs, l'équipe IA de Facebook souhaite désormais ouvrir les modèles de reconnaissance d'images afin que les développeurs et la communauté des chercheurs puissent profiter de cette approche innovante pour d'autres applications.
