Un développeur pirate l'iPhone pour donner des yeux à ChatGPT - les résultats sont fous

Un développeur d’IA a piraté son iPhone pour devenir les yeux de GPT-4, transformant son iPhone en un assistant alimenté par l’IA qui voit tout.

Mckay Wrigley s’est rendu sur Twitter cette semaine pour révéler comment il avait créé un assistant IA capable de voir à l’aide de son iPhone.

Wrigley a utilisé une combinaison sauvage de logiciels, YoloV8 pour la détection d’objets, un modèle de vision, GPT-4 pour l’IA, OpenAI Whisper pour la voix, Google Custom Search Engine et Python, piratés ensemble « de manière amusante ». Il dit que c’était « 100 fois plus facile » qu’il n’y paraît à créer et que « c’est à ça que le monde ressemblera bientôt ».

GPT-4 avec des yeux

J’ai utilisé mon iPhone pour donner des yeux GPT-4. Mon assistant de vision AI : – a appris ce qu’est un régime Keto – a identifié les aliments Keto dans mon réfrigérateur – a cherché sur Internet – a trouvé une recette avec les ingrédients L’avenir est là ! pic.twitter.com/bOMhJfWRP02 mai 2023

Alors, à quoi ressemble ce monde, exactement ? Comme vous pouvez le voir sur sa vidéo, GPT-4 peut regarder autour de lui et identifier des objets à l’aide de la caméra de son iPhone. Wrigley dit qu’il a utilisé l’assistant de vision pour apprendre ce qu’est un régime Keto, identifier les aliments Keto dans son réfrigérateur et rechercher sur Internet une recette avec des ingrédients.

Wrigley précise qu’il utilise un Mac pour exécuter le modèle de vision, qui montre le flux vidéo, car l’iPhone ne peut pas tout à fait gérer le gros du travail. Mais cela pourrait être un aperçu de ce à quoi pourrait ressembler un avenir alimenté par l’IA utilisant Apple VR. Apple devrait dévoiler son nouveau casque Reality Pro à la WWDC 2023, un casque de réalité mixte pour les jeux, la collaboration, le fitness, etc.

Ce qui est vraiment excitant, c’est comment un outil comme celui-ci pourrait un jour être utilisé pour l’accessibilité, aidant les utilisateurs d’iPhone aveugles et malvoyants à identifier les objets dans leur maison à l’aide de l’IA, transformant éventuellement la façon dont ils interagissent avec les choses autour de la maison. Il y a probablement de la place ici pour les outils capables de lire à voix haute des choses comme les étiquettes des aliments ou les instructions sur les emballages. Qui sait, l’accessibilité pourrait bien être une surprise dormante de la révolution de l’IA.