Brain Roads : visualisation et exploration du cerveau

Brain Roads est un projet interdisciplinaire franco-allemand qui a pour objet la visualisation et l’exploration interactive du cerveau. Il réunit des designers graphiques & numériques, des ingénieurs et des chercheurs en neurochirurgie et en sciences sociales. Son ambition est de développer des représentations visuelles et des outils interactifs d’exploration de la matière blanche du cerveau humain, dans le cadre de la recherche en neurochirurgie.

Collection de représentations du cerveau et de la neuroplasticité [extrait]. Groupe de travail Brain Roads.

Objectifs scientifiques

Les pratiques neurochirurgicales sont progressivement guidées par les technologies de tomographie avec de plus en plus de détails anatomiques, comme l’imagerie par résonance magnétique (IRM). Ces technologies d’imagerie tomographique permettent l’analyse et la planification préchirurgicales, ainsi que la navigation chirurgicale. Cependant, un nombre croissant de paramètres et de données sont à la disposition du chirurgien afin de planifier sa chirurgie, d’élargir le processus et d’exiger une perception complexe. La perception du chirurgien repose en grande partie sur les processus d’imagerie, qui doivent être soutenus par le développement de nouvelles interfaces conçues pour faciliter la navigation dans les données et la consolidation de nombreuses entrées, par exemple des antécédents médicaux des patients aux architectures structurelles du cerveau. Pour faire progresser ces représentations numériques, nous développons des modèles fonctionnels et des prototypes qui introduisent de nouveaux paradigmes à la fois dans la visualisation et l’analyse d’images dans un cadre interdisciplinaire, composé de conception graphique, de conception de logiciels, d’anthropologie cognitive, de génie logiciel et de neurochirurgie. Ces explorations interdisciplinaires mènent à de nouvelles perspectives sur la tâche neurochirurgicale et à de nouveaux types de connaissances qui sont transférées par ces outils.

Le contexte de ce projet, et en particulier les nécessités et les restrictions des environnements cliniques neurochirurgicaux, ont été analysés dans un projet précédent du Cluster interdisciplinaire d’Excellence Image, Knowledge, Gestaltung, à l’Université Humboldt de Berlin.

Le projet de recherche Brain Roads regroupe des concepts interdisciplinaires et vise à développer de nouvelles approches en design, sciences humaines, sciences des matériaux et médecine. En tant que groupe de recherche, il s’appuie sur des rencontres fructueuses entre sciences, sciences humaines, art et design autour d’une nouvelle approche de la matière et des matériaux, objets et techniques, basée sur la notion de matérialité et d’activité du numérique et du cerveau. Afin de fournir des visualisations imaginables des caractéristiques anatomiques, aidant ainsi les utilisateurs à mieux interpréter les détails diagnostiques pertinents dans un contexte neuroanatomique, de nouvelles approches pour reformater les multiples surfaces des données d’image sont à explorer.

Pour permettre l’analyse et la mise en œuvre de grands ensembles de données en temps réel, il est nécessaire de développer un filtrage innovant des données. Le Programme de Visualisation de Données, développé par le département de Design Graphique et Numérique de l’ESAD de Reims avec les ingénieurs informaticiens du département JIN (jeux vidéo et interactions numériques) de Télécom SudParis (TSP), aborde une série de défis graphiques et numériques liés à la transformation numérique contemporaine. En effet, la réalité sous-jacente des technologies numériques est de moins en moins perçue et comprise par ses utilisateurs, en raison de la complexité croissante de la technologie. Ce programme de recherche rend visibles et sensibles les algorithmes BigData et les algorithmes de calcul d’arrière-plan qui traitent et agissent sur nos environnements socio-techniques. L’équipe conjointe de concepteurs et d’ingénieurs propose des concepts visuels efficaces et ouverts et des prototypes d’interfaces basés sur des interfaces de pointe, telles que la réalité virtuelle, la réalité augmentée, la réalité mixte ou les interfaces multimodales pour permettre de nouvelles interactions.

Ensemble, l’équipe de recherche internationale nouvellement constituée développera et comparera plusieurs logiciels alternatifs d’analyse d’images et concevra de nouvelles interfaces logicielles pour l’analyse et la manipulation d’images neurochirurgicales avancées, sous la forme de prototypes expérimentaux réalisés par des étudiants français en maîtrise en conception et ingénierie. De plus, les technologies d’affichage et de visualisation seront étudiées dans le but de fusionner spatialement les formes virtuelles et physiques de l’action humaine dans la planification neurochirurgicale. Ainsi, ces modèles intégreront des données avancées de suivi des fibres (délimitation probabiliste de la substance blanche humaine, basée sur l’IRM de diffusion) ainsi que des données connectomes (réseau cérébral structural-fonctionnel). De nouveaux modes d’interaction, basés sur une analyse interdisciplinaire des concepts historiques et contemporains de visualisation de données d’imagerie et de divers gestes techniques, conduiront à un changement de paradigme dans l’analyse d’images préchirurgicales et donc à une meilleure planification préchirurgicale. De plus, l’exploration des techniques de cartographie individuelle des neurochirurgiens, leur utilisation de modèles mentaux et de repères visuels, nous permettra de mieux comprendre l’observation des images et la façon dont les connaissances complexes sont transférées.

Objectifs du projet

1. Changement de paradigme dans la visualisation et l’analyse des images médicales
De nombreux formulaires, y compris des modèles et des prototypes, des artefacts de conception et des scénarios seront pris en compte pour développer de nouveaux outils d’analyse d’images médicales. Différentes entrées de données provenant de divers outils et modalités d’imagerie seront combinées. Les concepteurs, les ingénieurs en logiciel et les chercheurs développeront leurs travaux autour de la notion de Gestaltung et des processus de don de formulaires, en étroite collaboration avec les travaux des scientifiques et chercheurs à HU, Charité, ESAD, TSP et ENSSIB. Modèles fonctionnels et prototypes qui repensent à la fois la visualisation et l’analyse d’images médicales dans un cadre interdisciplinaire, comprenant la conception graphique, le génie logiciel et la neurochirurgie.

2. Combinaison d’images multimodales
Il existe actuellement de nombreux programmes différents pour différentes applications, tels que la tractographie des fibres (dérivée des données d’IRM de diffusion), l’analyse du connectome (différentes modalités d’IRM), la segmentation des tissus, etc. L’un de nos principaux objectifs est de rassembler ces multiples outils, de repenser et de reconstruire la visualisation des images médicales afin de rendre la planification préopératoire plus efficace. À partir de projets antérieurs explorant la visualisation et l’analyse d’images, nous étudierons les technologies d’affichage, d’interaction et de visualisation dans le but de fusionner spatialement des formes virtuelles et physiques d’action humaine et de neuroanatomie.

3. Personnalisation de modèles complexes en fonction de la facilité d’utilisation générale
Visant également à faciliter la compréhension d’un environnement médical par un public non spécialisé, les prototypes seront le résultat d’un mélange de méthodes centrées sur l’utilisateur et d’enquêtes psychologiques et anthropologiques. L’objectif ici est de développer de nouveaux modèles numériques renforçant la compréhension visuelle du câblage cérébral pour les publics non experts.

4. Outil open source
Les développements et prototypes en génie logiciel seront publiés publiquement et fournis sous forme de logiciel libre.

Partenaires du projet Brain Roads

Chapitres du projet de recherche

Brain Roads se déploie en chapitres successifs pour aborder la recherche selon des angles différents : l’emploi de la couleur, les représentations de la matière, les dynamiques neuroplastiques, les modalités comparées de représentation, …