Raspberry Pi AI Camera, l’œil intelligent développé par Sony

Le Raspberry Pi dispose désormais d’un œil amélioré par l’IA. Si le célèbre micro-PC bénéficie déjà de nombreux modules caméra classiques, la division semi-conducteurs de Sony (SSS) vient d’annoncer le lancement d’un module intégrant un capteur légèrement différent.

Publicité, votre contenu continue ci-dessous

Baptisé IMX500, ce capteur 12 Mpx lancé en 2020 représentait une énorme nouveauté : il intégrait non seulement de la mémoire (capteur empilé) mais aussi et surtout un processeur capable de réaliser des opérations d’inférence. Dans le jargon traditionnel, cela s’appelle un processeur IA, un DSP ou un accélérateur (oui, c’est généralement la même chose).

Et cela arrive à point nommé pour le Raspberry Pi, puisqu’il n’en est pas équipé. Et que son CPU et CPU (intégrés à son SoC) n’offrent pas de très bonnes performances dans les usages IA.

S’il a eu une première vie en tant que composant achetable à l’unité, cet IMX500 est donc intégré dans un module complet comprenant non seulement une optique, mais également le microcontrôleur maison de la fondation Raspberry Pi, le RP2040. Mais alors, est-ce un produit Sony ou Raspberry ? Les deux.

Si Sony s’implique autant dans un produit qui sera vendu sous la bannière officielle de « Raspberry Pi AI Camera », c’est parce que la firme japonaise détient désormais des parts minoritaires dans Raspberry Pi Ltd, la branche commerciale soutenue par la fondation qui porte le projet. . Sony fabriquait déjà le Raspberry Pi dans ses usines – celle du Pays de Galles pour le marché européen – et les Japonais sont désormais deuxièmes en termes de développement.

Publicité, votre contenu continue ci-dessous

Une solution complète

Concrètement, la caméra Raspberry Pi AI se compose d’une optique couvrant 76° de champ de vision (en gros : un 28 mm), du capteur IMX500 (12 Mpx) avec son accélérateur neuronal et sa mémoire ainsi qu’un RP2040 qui permet de gérer le chargement/modification du firmware du capteur.

Mais non seulement Sony a intégré son capteur dans un produit fini, mais il développe également depuis quatre ans des outils de développement et de contrôle de puces IA – une plateforme appelée AITRIOS. Après avoir lancé son capteur comme plateforme de développement, Sony Semiconductor Solutions dispose désormais d’un produit de masse capable de tirer parti de ses composants.

La question est évidemment de savoir à quoi peut servir un tel capteur ? À beaucoup de choses. D’un point de vue technologique, la puce intégrée au capteur peut effectuer la classification d’images, la détection d’objets ou de poses, ainsi que la segmentation sémantique (découpage d’une image en ciel, sujet, maison, etc. en temps réel). Tout cela, sans surcharger le processeur chargé de le contrôler – ici le Raspberry Pi.

En termes d’usages, on peut citer la robotique, la surveillance, le pilotage autonome de petits véhicules, etc. Un projet pilote a été lancé à Rome, où des caméras détectent en temps réel les places de stationnement gratuites.

Ce type de capteur présente de nombreux avantages tant en termes d’énergie que de décharge réseau : pas besoin de sortir les images bitmap du capteur pour les analyser. Seul un petit volume de données déjà traitées en sort, ce qui libère de la bande passante sur un réseau. En plus d’un avantage potentiel en matière de latence, ce type de capteur peut également offrir un avantage en matière de confidentialité.

S’il est configuré pour ne pas transmettre d’images pixellisées, il peut exécuter des algorithmes de reconnaissance de position (un corps qui tombe et reste inerte par exemple) et transmettre une alerte sans jamais partager d’image compromettante, choquante, etc.

La Raspberry Pi AI Camera est d’ores et déjà disponible chez les revendeurs officiels à 80,40 € TTC.

Publicité, votre contenu continue ci-dessous