MtoM Mag - Le journal de l'MtoM.

L’expertise du secteur et l’IA générative permettent de relever le « défi des imperfections »

Zebra Technologies Corporation (NASDAQ : ZBRA), leader mondial de la digitalisation et de l’automatisation des workflows au service des opérations intelligentes, dévoile aujourd’hui la manière dont les équipes de recherche IA de Zebra ont utilisé l’IA et la physique pour combler l’écart entre les données de simulation et celles des conditions réelles lors de l’entraînement de modèles de vision industrielle destinés au stockage sur étagères en entrepôt, à la préparation au sol et sur palettes ainsi qu’au chargement des camions.

En simulant de manière réaliste les dommages physiques, l’encombrement et le désordre propres à ces environnements réels, le jeu de données STRIPES (Sim-to-Real Industrial Perception for Warehouse Scenes) de Zebra permet aux modèles de vision industrielle d’atteindre des niveaux de précision supérieurs à ceux obtenus en utilisant uniquement des images réelles ou des jeux de données synthétiques traditionnels.

« En mettant à disposition le jeu de données STRIPES, nous fournissons aux communautés académiques et industrielles, ainsi qu’aux partenaires et clients de Zebra, un nouvel outil puissant pour accélérer le développement de la prochaine génération d’automatisation intelligente », explique Andrea Mirabile, directeur senior de la recherche en IA chez Zebra Technologies.

Le framework sur lequel repose STRIPES génère des scènes qui reproduisent la complexité d’un entrepôt réel. Les chercheurs ont développé un pipeline sophistiqué reposant sur trois innovations clés :

 Génération d’images par IA : au lieu d’utiliser des modèles 3D statiques, l’équipe de recherche a exploité l’IA générative pour créer une bibliothèque diversifiée de 30 000 images comprenant 3 000 textures et géométries de cartons uniques, ainsi qu’un million d’objets annotés.
 Simulation de l’usure et des dommages : les chercheurs ont appliqué des dégradations structurelles réalistes, telles que l’écrasement, les bosses, la poussière en surface et le film plastique, afin de reproduire la détérioration des cartons lors de leur manutention et de leur expédition.
 Encombrement simulé grâce à la physique : l’équipe a simulé la gravité afin d’empiler les cartons selon des configurations physiquement plausibles et souvent désordonnées. Cette approche a permis de reproduire naturellement les configurations denses, inclinées et imbriquées qui ont été observées lors de trois phases opérationnelles distinctes : le stockage sur étagère, la préparation au sol et le chargement des camions.

Le jeu de données a été évalué à l’aide de modèles compacts de vision industrielle basés sur l’IA et à la pointe de la technologie, optimisés pour un déploiement en temps réel sur des appareils Edge destinés aux applications d’entrepôt.

L’entraînement avec STRIPES, associé à un ajustement à partir de données réelles, a permis d’améliorer de manière constante la précision de détection des objets par rapport à l’utilisation exclusive de données réelles ou de données synthétiques, avec un gain allant jusqu’à 4,9 % en précision moyenne. À l’avenir, les applications de STRIPES pourraient être étendues à la manipulation robotique, à la préhension et à la modélisation 3D du monde réel.

« Nos recherches et nos solutions réduisent l’écart entre les couches physiques, de données, d’intelligence et d’exécution », poursuit Andrea Mirabile. « Nous démontrons comment l’IA destinée aux équipes terrain peut améliorer la visibilité des actifs et intégrer l’intelligence au cœur des workflows. »

Ces travaux de recherche ont été présentés lors de la 19e Conférence européenne sur la vision par ordinateur (ECCV), qui s’est tenue du 8 au 12 septembre à Malmö, en Suède, et qui compte parmi les principales conférences mondiales consacrées à la vision par ordinateur. Andrea Mirabile et son équipe avaient précédemment décroché la deuxième place parmi 650 équipes lors du prestigieux atelier RetailVision de la conférence Computer Vision and Pattern Recognition (CVPR).