Une nouvelle étape a été franchie dans le domaine de la vision par ordinateur grâce à une puce photonique intelligente capable de traiter, transmettre et reconstruire des images en quelques nanosecondes. Cette innovation pourrait transformer les applications de vision industrielle, notamment pour la conduite autonome, l’inspection industrielle et la vision robotique.
Les chercheurs ont développé une puce photonique intelligente de détection et de calcul, capable de traiter, transmettre et reconstruire les images d’une scène en quelques nanosecondes. Cette avancée ouvre la voie à un traitement d’image extrêmement rapide, bénéfique pour une intelligence de pointe dans les applications de vision industrielle telles que la conduite autonome, l’inspection industrielle et la vision robotique.
L’informatique de pointe, qui effectue des tâches de calcul intensives telles que le traitement et l’analyse d’images sur des appareils locaux, évolue vers l’intelligence de pointe en ajoutant une analyse et une prise de décision basées sur l’intelligence artificielle (IA).
Des performances inégalées
« La capture, le traitement et l’analyse d’images pour des tâches basées sur la périphérie, telles que la conduite autonome, sont actuellement limités à des vitesses de l’ordre de la milliseconde en raison de la nécessité de conversions optique-électronique. “, a déclaré Lu Fang, chef de l’équipe de recherche à l’Université Tsinghua en Chine. ” Notre nouvelle puce peut effectuer tous ces processus en quelques nanosecondes en les gardant dans le domaine optique. Cela pourrait être utilisé pour améliorer considérablement, voire remplacer, l’architecture traditionnelle d’acquisition de capteurs suivie d’un post-traitement de l’IA. »
Les chercheurs décrivent la nouvelle puce, qu’ils appellent puce de réseau informatique parallèle optique (OPCA). Ils montrent que l’OPCA dispose d’une bande passante de traitement allant jusqu’à cent milliards de pixels et d’un temps de réponse de seulement 6 nanosecondes, soit environ six ordres de grandeur plus rapide que les méthodes actuelles. Ils ont également utilisé la puce pour créer un réseau de neurones optiques intégrant la perception, le calcul et la reconstruction d’images.
Élimine les conversions optique-électronique
La vision par ordinateur, qui utilise des caméras, des capteurs d’images, des lumières et des algorithmes informatiques pour capturer, traiter et analyser des images pour des tâches spécifiques, implique traditionnellement la conversion d’informations optiques en signaux électriques numériques à l’aide de capteurs. Ces signaux sont ensuite transmis via des fibres optiques pour la transmission de données longue distance et les tâches en aval. Cependant, la conversion fréquente entre les signaux optiques et électriques, ainsi que les progrès limités des processeurs électroniques, sont devenus une restriction majeure pour améliorer la vitesse et la capacité de traitement de la vision par ordinateur.
« Le monde entre dans l’ère de l’IA, mais l’IA est très gourmande en temps et en énergie. » a ajouté Lu Fang. ” Parallèlement, la croissance des appareils de pointe, tels que les smartphones, les voitures intelligentes et les ordinateurs portables, a entraîné une croissance explosive des données d’image à traiter, à transmettre et à afficher. Nous travaillons à faire progresser la vision par ordinateur en intégrant la détection et l’informatique dans le domaine optique, ce qui est particulièrement important pour l’informatique de pointe et en permettant des applications d’IA plus durables. »
Créer une connexion entrée-sortie entièrement optique
L’architecture de la puce a permis aux chercheurs de créer un réseau neuronal optique multi-longueurs d’onde de bout en bout pour coupler la lumière modulée sur la puce dans un guide d’ondes optique à large bande, où la lumière modulée est additionnée spectralement. Les sorties optiques multispectrales peuvent ensuite être utilisées pour des tâches de classification ou pour créer une reconstruction entièrement optique de l’image.
« Étant donné que chaque élément de calcul et de détection de cette puce est reconfigurable, ils peuvent chacun fonctionner comme un neurone programmable qui génère une sortie de modulation de lumière basée sur l’entrée et le poids. Répéta Lu Fang. ” Le réseau neuronal connecte tous les neurones informatiques de détection avec un seul guide d’ondes, facilitant une connexion entièrement optique entre les informations d’entrée et la sortie. »
Vers des applications pratiques
Pour démontrer les capacités de la puce OPCA, les chercheurs ont montré qu’elle pouvait être utilisée pour classer une image manuscrite et effectuer une convolution d’image, un processus qui applique un filtre à une image pour en extraire des caractéristiques. Les résultats ont montré que l’architecture de la puce peut compléter efficacement la compression des informations et la reconstruction de scènes, ce qui indique son potentiel pour des applications généralisées.
Les chercheurs travaillent actuellement à l’amélioration de la puce de calcul de détection OPCA afin d’améliorer encore les performances informatiques tout en étant davantage alignée sur les scénarios du monde réel et optimisée pour les applications informatiques de pointe. Ils soutiennent que pour une utilisation pratique, la capacité de traitement du réseau neuronal optique devrait être augmentée pour gérer efficacement des tâches intelligentes de plus en plus complexes et réalistes. La taille de la puce OPCA et sa forme globale doivent également être minimisées.
« Nous espérons que la vision par ordinateur sera progressivement améliorée pour être plus rapide et plus économe en énergie en utilisant la lumière pour effectuer à la fois la détection et le calcul. » Conclut Lu Fang. ” Même s’il est peu probable que l’approche actuelle soit complètement remplacée, nous nous attendons à ce que la méthode de calcul sensoriel trouve sa place dans l’informatique de pointe, où elle peut conduire à un large éventail d’applications prometteuses. »
Les chercheurs ont développé une nouvelle puce de détection photonique et de calcul intelligente capable de traiter, de transmettre et de reconstruire les images d’une scène en nanosecondes. Crédit : Wei Wu, Université Tsinghua
Article : W. Wu, T. Zhou, L. Fang, « Puce photonique parallèle pour le traitement, la transmission et la reconstruction d’images de bout en bout en nanosecondes », 11, 6, 831-837 (2024). DOI : doi.org/10.1364/OPTICA.516241
