Brain Roads — ColorsProgramme Datavisualisation / ÉSAD de Reims × Cluster Matters of Activity / Humboldt Universität zu Berlin × Télécom SudParis / IMT-IP Paris, Hugo Alvarez, Alice Auger, Jeanne Bortolussi, Alice Cazenave, Maëlys Didion, Léa Gastaldi, Manon Houdard, Louise Malcles, Auriane Marx, Design graphique & numérique, 2020

Le workshop de lancement a réuni tous les participants du projet à Berlin. Une première phase d’analyse à eu lieu durant cette rencontre et le groupe de travail rentre à l’ÉSAD avec des questions et des hypothèses à explorer. Nous avons analysé ensemble le processus de formativité des images actuelles qui sont destinées à informer l’équipe de neurochirurgie sur la localisation de tumeurs à proximité de réseaux fonctionnels d’importance critique pour les patients. Il ressort de cette première phase plusieurs questions visuelles.

• Actuellement, le modèle semble très affirmatif et précis alors que la réalité est beaucoup plus complexe à interpréter. Comment représenter les degrés d’incertitudes du modèle ? Comment accroître légitimement la confiance des médecins dans l’imagerie ?
• Comment délivrer toutes les informations critiques durant les 10 à 15 minutes les plus importantes de l’intervention chirurgicale ?
• Actuellement, chaque échelle pratique des conventions différentes. Comment construire un langage visuel intuitif, informatif et cohérent à chaque échelle de représentation, du voxel sub-millimétrique à la cartographie macroscopique ?
• La couleur est actuellement utilisée pour situer dans l’espace les directions des réseaux fonctionnels. La praticabilité et l’habitabilité du système – et sa mise en œuvre actuelle – sont en question. Comment l’améliorer ?
• Est-il possible de proposer des changements radicaux d’esthétique pour ces images, en convoquant d’autres références culturelles, tout en respectant les conventions en usage actuellement ? Quelle acceptabilité pour de nouvelles images ?
• Peut-on proposer des formes plus abstraites pour représenter le cerveau et ses fonctions ?

Premières explorations graphiques

L’usage de la couleur dans les représentations de tractographies

Les images de tractographies – qui représentent une estimation probabiliste d’orientation et de mobilisation des fibres fonctionnelles de la matière blanche du cerveau – frappent par leur aspect extrêmement coloré. À quoi peuvent bien renvoyer ces couleurs en terme de signes ? Les couleurs sont utilisées ici comme des variables graphiques pour s’orienter dans l’espace tri-dimensionnel.

Lorsque l’on consulte des tractographies ou des IRM, il est fréquent de zoomer, se déplacer, effectuer des rotations dans l’espace qui rendent difficile la compréhension du point de vue dans ce système complexe. La couleur est envisagée comme une aide à la compréhension des images en ce qu’elle permet d’affecter une couleur donnée à une orientation spaciale en mixant les couleurs primaires RVB. Charge à l’observateur de « décoder » les couleurs secondaires pour identifier les couleurs primaires des axes X, Y, Z dont elles sont issues. C’est donc un usage très ambition de al couleur qui est proposé. Ambitieux et difficile à utiliser au plan pratique car nous n’avons pas une bonne connaissance intuitive du système de synthèse additive des couleurs.

Nous proposons donc de substituer les couleurs primaires RVB par les couleurs primaires CMJ de la synthèse soustractive pour retrouver un environnement plus intuitif dans son décodage des couleurs secondaires.

Prototype

Pour expérimenter cette rotation des axes couleurs, les étudiants ingénieurs de TSP analyse les logiciels open source utilisés pour produire les tractographies et développent des branches autonome du code.

Le travail de développement informatique a été axé sur l’amélioration de la bibliothèque logicielle Mrtrix, et plus précisément de mrview, un outil utilisé pour visualiser les données IRM. Comme nous avons effectué un fork du projet original sur GitHub, il est possible de consulter, télécharger et utiliser le code que nous avons écrit via le lien précédent. Cela s’inscrit dans la continuité de Mrtrix et Mrview, deux projets open source.

Publication du code

Le code du prototype est accessible en accès libre sur GitHub. Deux branches ont été réalisées.

Install notes:

Within the readme, you have to follow the “quick install” part. Then you only have to follow these instructions :

Before launching mrview
export MRTRIX_IMAGE=xxxxx/out2.bmp
This is the link to the image, it can be anywhere but after a clean clone, it should be in your mrtrix3 directory root.
And it could be added to .bashrc/.zshrc to keep the variable when restarting the terminal.

How to use the software
The position helper is always available, provided visual data is being displayed on screen.
The new color set is available when visualizing tractography data (Display panel in the upper right hand corner). This applies to all .tck files.

To access an available branch
Execute the command “git checkout NAME” in the repository, then the command “./build” (as the readme explains). You need git command to do this.

---

Participants du projet et du workshop à Berlin

---

Tous les chapitres du projet de recherche Brain Roads