MtoM Mag - Le journal de l'MtoM.

Le consortium du projet Tulipp (Towards Ubiquitous Low-power Image Processing Platforms) a annoncé que le projet européen de trois ans avait été mené à bien. À compter de janvier 2016, le projet Tulipp visait l’amélioration du développement de systèmes à hautes performances et à haut rendement énergétique pour la gamme croissante d’applications de traitement d’images complexes et basées sur la vision. Le projet Tulipp a été financé à hauteur de près de 4 millions d’euros par Horizon 2020, le plus important programme de recherche et d’innovation de l’Union européenne à ce jour.

La conclusion du projet Tulipp voit la publication d’une plate-forme de référence complète pour les concepteurs de systèmes intégrés basés sur la vision, permettant aux concepteurs de produits de vision par ordinateur de relever plus facilement les défis combinés de la faible consommation, de la faible latence, des performances élevées et des contraintes de conception du traitement des images en temps réel.

La plate-forme de référence Tulipp comprend un kit de développement complet, avec une carte de calcul basée sur un circuit multicœur et FPGA, un système d’exploitation temps réel et parallèle et une chaîne d’outils de développement avec des lignes directrices, ainsi que des cas d’utilisation « de la vie réelle » axés sur diverses applications telles que l’imagerie médicale rayons x, l’assistance à la conduite et les drones autonomes avec l’évitement d’obstacles. L’écosystème complet de Tulipp a été présenté plus tôt dans l’année aux concepteurs de systèmes basés sur la vision dans une série de tutoriels.

"Le projet Tulipp a atteint tous ses objectifs", a déclaré Philippe Millet de Thales et coordinateur du projet Tulipp. « En prenant un large spectre de domaines d’applications pour définir une plate-forme de traitement de référence capturant le caractère commun d’applications de traitement d’images et de vision haute performance et temps réel, cela nous a permis de relever avec succès les défis fondamentaux auxquels sont confrontés les concepteurs de systèmes de vision embarqués actuels. "

Développé par Sundance Multiprocessor Technology, chaque instance de la plate-forme de traitement Tulipp mesure 40 mm x 50 mm et est conforme à au standard de carte processeur PC / 104. La plate-forme matérielle utilise le puissant processeur multicœur Xilinx Zynq Ultrascale+ MPSoC, qui contient, avec le Xilinx FinFET+ FPGA, un processeur quad-core ARM Cortex-A53, une unité de traitement graphique (GPU) ARM Mali-400 MP2, et une unité de traitement temps-réel (RPU) contenant un processeur temps réel 32 bits ARM Cortex-R5 double cœur basé sur l’architecture ARM-v7R. Un module d’extension séparé (VITA57.1 FMC) permet de créer des cartes spécifiques à l’application avec différents types d’interfaces d’entrées sorties tout en maintenant la cohérence des interfaces avec le module de traitement.

Couplé à la plate-forme matérielle Tulipp, un système d’exploitation temps réel embarqué parallèle à faible temps de latence a été spécialement développé par Hipperos pour gérer de manière prévisible les applications intégrées multithreads complexes. Une parfaite coordination en temps réel garantit une cadence élevée sans enfreindre les délais et sans perte de données. En outre, afin de faciliter le développement efficace d’applications de traitement d’images sur le matériel Tulipp et d’aider les concepteurs de systèmes basés sur la vision à comprendre l’impact de leurs choix de placement et de séquencement fonctionnel sur les ressources disponibles, la plate-forme de référence Tulipp a été étendue par Norges Teknisk-Naturvitenskapelige Universitet (NTNU) et Technische Universität Dresden (TUD) avec des fonctions de mesure de la puissance consommée et d’analyse des performances qui ont été mises en œuvre dans la chaîne d’outils STHEM de Tulipp.

Les connaissances des experts du consortium Tulipp ont également été rassemblées dans un ensemble de directives comprenant des conseils pratiques, des meilleures pratiques d’approche et des méthodes recommandées pour la mise en œuvre afin d’aider les concepteurs de systèmes basés sur la vision à choisir la stratégie de mise en œuvre optimale pour leurs propres applications. Ces connaissances seront rassemblées dans un livre devant être publié par Springer d’ici à la fin de 2019 et appuyé par le soutien de l’écosystème croissant de développeurs qui testent actuellement le concept.

Pour démontrer la possibilité de définir une plate-forme de traitement de référence commune comprenant le matériel, le système d’exploitation et un environnement de programmation, Tulipp a également développé trois applications réelles dans des domaines d’application très différents : imagerie médicale à rayons X, systèmes ADAS (Advanced Driver Assistance Systems) d’assistance à la conduite et véhicules aériens sans pilote (UAV), reflétant les caractéristiques communes en temps réel et hautes performances du traitement d’images et de la vision.

L’application d’imagerie médicale par rayons X de Tulipp, présente des algorithmes avancés d’amélioration d’image pour les images à rayons X fonctionnant à une cadence élevée. Il se concentre sur l’amélioration des performances des arceaux mobiles compacts pour l’imagerie chirurgicale par rayons X, qui fournissent une vue interne du corps d’un patient en temps réel tout au long d’une opération afin d’accroître l’efficacité et la précision des chirurgiens avec des tailles minimales d’incision, une récupération plus rapide des patients, et qui réduit les risques de maladies nosocomiales. Ces améliorations permettent de réduire de 75% les doses de rayonnement auxquelles les patients et le personnel sont exposés.

L’adoption de l’ADAS est dépendante de la mise en œuvre de systèmes de vision ou de combinaisons de vision et de radar. Les algorithmes doivent de plus pouvoir être intégrés dans une petite unité de contrôle électronique (ECU) économe en énergie. Un algorithme ADAS doit être à minima capable de traiter un flux d’images vidéo avec une taille d’image de 640x480 à 30Hz à demi-débit. Le cas d’utilisation ADAS de Tulipp illustre la reconnaissance des piétons en temps réel sur la base de l’algorithme Viola & Jones. À l’aide de la plate-forme de référence Tulipp, le cas d’utilisation ADAS réalise un temps de traitement par image de 66 ms, ce qui signifie que l’algorithme atteint son objectif, à savoir une image sur deux lorsque la caméra fonctionne à 30Hz.

Le cas d’utilisation de Tulipp pour les UAV illustre un système d’évitement d’obstacles en temps réel basé sur une configuration de caméra stéréo avec des caméras orientées dans la direction du vol. Même si nous parlons de drones autonomes, la plupart des systèmes actuels sont encore pilotés à distance par des personnes. Le cas d’utilisation repose sur des cartes de disparité, calculées à partir des images des caméras, pour localiser les obstacles sur la trajectoire de vol et pour diriger automatiquement le drone entre les obstacles qui l’entourent. C’est la clé nécessaire vers des drones totalement autonomes.

« Alors que les applications de traitement d’images et de vision grandissent en complexité et en diversité et deviennent de plus en plus intégrées, les concepteurs de systèmes basés sur la vision doivent savoir qu’ils peuvent facilement et simplement résoudre les problèmes de contraintes de conception liés à la faible consommation, au faible temps de latence et aux performances élevées et un traitement d’image fiable et temps réel qui leur font face », a conclu Philippe Millet. « Le projet européen Tulipp a bien rempli ses objectifs. En outre, l’écosystème d’acteurs du domaine que nous avons créé tout au long du projet assurera sa continuité dans le futur. Tulipp laissera vraiment un héritage. "

http://www.tulipp.eu/