English / Français
drozBot, le robot portraitiste
drozBot est un robot qui dessine avec des gestes rapides et fluides proches de ceux d'un·e artiste. A partir d'une photo, il tire le portrait de la personne en traçant une série de traits à l'encre de Chine sur une feuille de papier.
Guidé par l’intelligence artificielle et un modèle de mouvements inspirés de l'écriture humaine, il peut transformer une image en dessin abstrait. Le résultat est surprenant : des traits expressifs, dynamiques et naturels, qui donnent l’impression que le robot sait dessiner plutôt que d'exécuter une série de commandes.
drozBot utilise des technologies développées par le groupe Robot Learning & Interaction de l'Idiap. Le but est de générer des portraits rapidement avec trois objectifs principaux :
- Pouvoir reconnaître la personne qui a été dessinée
- Pouvoir reconnaître le style distinctif défini par l'artiste
- Pouvoir reconnaître la qualité des tracés dynamiques sur la base du portrait finalisé
Le dernier objectif est obtenu en combinant des approches de plusieurs disciplines scientifiques, mêlant robotique, contrôle optimal et sciences du mouvement. Comme pour de la calligraphie, même si une personne ne regarde que le portrait final (aperçu figé), une esquisse réussie doit refléter la fluidité et l'habileté du mouvement qui a permis la réalisation du portrait.
Cet aspect de génération de mouvement est au coeur du travail de recherche du groupe Robot Learning & Interaction de l'Idiap. Le groupe se concentre sur la collaboration homme-robot et sur la représentation de mouvements pour faciliter le transfert de tâches de manipulation, pour diverses applications allant de l'industrie à l'assistance de personnes.
Collaboration Internationale : Entre Art, Science & Technologie
En collaboration avec divers chercheurs internationaux venant de l'Université de Londres, Goldsmiths College (Daniel Berio et Frederic Fol Leymarie) ou de l'Université de Constance (Michael Stroh et Oliver Deussen), dans le cadre de projets tels que EACVA (Embodied Agents in Contemporary Visual Art), le groupe Robot Learning & Interaction de l'Idiap explore comment étendre la collaboration homme-robot à des domaines touchant à l'art et à la créativité. Le robot est ici vu comme un nouvel outil pour les artistes, en étudiant de nouvelles méthodes de création.
De la même manière qu'un·e artiste décide des pinceaux, stylos ou crayons utilisés, ainsi que de guides supplémentaires comme l'utilisation d'une règle pour tracer des traits plus droits ou d'un compas pour tracer des arcs de cercle réguliers, le robot peut être utilisé comme un nouveau type de guide et d'assistance.
Pour réaliser ceci, nos travaux de recherche explorent quelles interfaces peuvent permettre d'enseigner facilement à un robot l'assistance souhaitée par l'artiste. Par exemple, sous forme d'un style qu'on montre au robot (apprentissage par la démonstration), que ce dernier doit ensuite répéter pour de nouveaux contenus ou sur de nouvelles parties du canvas.
Dans cette vision de recherche, notre groupe s'intéresse au développement de technologies intuitives pour qu'un robot puisse apprendre par imitation, combiné avec des interfaces pour pouvoir re-programmer facilement ces machines, sans faire appel à des connaissances en robotique ou en langage informatique (approche "no-code").
Collaboration Interdisciplinaire à l'Idiap
drozBot s'articule autour de thèmes de recherche variés à l'Idiap sur l'intelligence artificielle, s'inspirant par exemple des résultats de recherche sur l'interaction sociale homme-robot (Emmanuel Senft), sur la biométrie (Sébastien Marcel), sur la perception (Jean-Marc Odobez), ou sur les représentations sémantiques et symboliques pour des modèles de réseaux de neurones (André Freitas, Paola Merlo).
Mouvements et Gestes Fluides
Dans le domaine artistique, les approches de deep learning, avec des modèles génératifs, ont démocratisé (pour le meilleur ou pour le pire) la génération d'images à partir de descriptions textuelles. Ces modèles d'IA génèrent des images sous forme de pixels. Un robot génère au contraire des tracés et des trajectoires, avec un contrôle au niveau de ses articulations. De plus, au contraire de l'art numérique, le robot doit faire face au monde réel, avec des contraintes géométriques et physiques, devant par exemple compenser les effets de la gravité lorsqu'il déplace son bras tenant un pinceau imbibé d'encre.
Le défi scientifique est de définir des représentations mathématiques pour imiter les capacités du mouvement humain, avec des gestes fluides et rapides pour un rendu esthétique des tracés à l'encre de Chine. Pour ceci, le mouvement à générer est un aspect crucial, en contrôlant à la fois l'orientation et la trajectoire du pinceau, ainsi que la pression appliquée sur le papier.
IA et Robotique
Pour aider le robot à planifer les séries de traits qu'il doit générer, d'autres outils d'IA sont utilisés pour détecter automatiquement, à partir de l'image provenant d'une caméra, quelle est la pose de la personne sur l'image, et où se situent les éléments les plus importants du visage tels que les yeux, la bouche et le nez. Les autres éléments de l'image tels que l'arrière-plan, les cheveux ou les lunettes sont détectés d'une manière similaire. Ces informations sont utiles au robot pour déterminer quelle concentration et précision de traits sont requises dans le portrait, en se concentrant sur les éléments les plus importants et en gardant une esquisse plus rapide pour des informations moins importantes.
Les tracés planifiés par le robot doivent ensuite être transformés en mouvements fluides pour mimiquer les gestes de l'artiste, en manipulant le pinceau de manière habile et en utilisant un encrier de manière adroite pour maintenir la quantité idéale d'encre.
Publications Scientifiques :
Contact :
Sylvain Calinon, Senior Research Scientist à l'Idiap, responsable du groupe Robot Learning & Interaction. Email : sylvain.calinon@idiap.ch
drozBot est le fruit d'une collaboration entre Guillaume Clivaz, Jérémy Maceiras, Tobias Löw, Daniel Berio, et Sylvain Calinon.
Ce projet est soutenu par le Fonds national suisse (FNS) dans le cadre d'un projet Agora avec Phänomena.