Tod Machover et Dan Ellsey jouent une nouvelle musique

La première idée que j'aimerais présenter est que nous aimons tous beaucoup la musique. Ça signifie beaucoup pour nous. Mais la musique a encore plus de pouvoir quand on ne fait pas que l'écouter et qu'on en joue. Voilà ma première idée. Et on connait tous l'effet Mozart -- cette idée qui existe depuis une dizaine d'années -- le simple fait d'écouter ou de faire écouter de la musique à un bébé in vitro augmente le QI de 10%, 20%, 30%.

Super idée, mais ça marche pas du tout. On ne peut pas juste écouter de la musique, il faut en jouer. Et j'ajouterais que ça ne concerne pas que jouer, mais que tout le monde, chacun d'entre nous, dans le monde entier, peut créer de la musique et participer activement, et c'est l'un des principaux axes de mon travail. Et depuis déjà quelques temps, avec le MIT Media Lab, on s'est lancé dans un domaine appelé la musique active. Quelles sont toutes les possibilités qu'on peut imaginer pour plonger les gens dans une expérience musicale, pas seulement par l'écoute mais en jouant de la musique?

Et on a commencé par fabriquer des instruments pour certains des plus grands artistes -- on les appelle des "hyper instruments" -- pour Yo-Yo Ma, Peter Gabriel, Prince, des orchestres, des groupes de rock. Des instruments bourrés de capteurs pour que l'instrument sache comment il est joué. Et juste en changeant l'interprétation et l'émotion, Je peux transformer mon violoncelle en une voix, un orchestre, ou quelque chose jamais entendu avant.

Quand on a commencé à les faire, je me suis dit pourquoi ne pas en construire pour tout le monde, pour les gens qui ne s'appellent pas Yo-Yo Ma ou Prince? Donc on a produit une série complète d'instruments. L'une des plus grandes collections s'appelle le Brain Opera. C'est un orchestre complet d'une centaine d'instruments, tous conçus pour que n'importe qui puisse en jouer naturellement. Vous pouvez jouer à un jeu vidéo, conduire à travers un morceau, gesticuler pour contrôler d'énormes masses sonores, jouer des mélodies sur une surface spéciale, utiliser votre voix pour créer une atmosphère. Et quand on joue le Brain Opera, on invite le public à nous rejoindre pour essayer ces instruments et participer avec nous à chaque représentation du Brain Opera. Il a longtemps tourné. Il est maintenant en permanence à Vienne où on a construit un musée tout autour.

Et ça nous a mené à quelque chose que vous connaissez surement. Guitar Hero est sorti de notre labo, et mes 2 filles et la plupart des étudiants du MIT Media Lab sont la preuve vivante que si on créé le bon type d'interface, les gens sont très intéressés d'être au centre de la musique et de jouer encore et encore.

Le modèle marche, mais c'est seulement la partie visible de l'iceberg parce que ma deuxième idée est que ça ne suffit pas de vouloir seulement jouer de la musique dans un truc comme Guitar Hero. La musique c'est amusant, mais aussi elle nous métamorphose. C'est très, très important. La musique peut changer votre vie, plus que n'importe quoi d'autre. Ça peut changer votre façon de communiquer avec les autres, Ça peut changer votre corps, votre esprit. On essaye de passer à l'étape suivante en développant sur la base de Guitar Hero. On est très impliqué dans l'éducation. On a un projet à long terme appelé Toy Symphony avec toutes sortes d'instruments qui créent en plus une dépendance, mais pour les enfants, pour qu'ils tombent amoureux de la musique, veuillent passer leur temps à en jouer, et ensuite demandent comment ça marche, comment en faire d'autres, comment créer. Du coup on fait des instruments qui se pressent, comme ces Music Shapers qui mesurent l'électricité dans vos doigts, Beat Bugs pour taper un rythme -- ils enregistrent le rythme, et comme un ballon vous passez le rythme à vos amis qui doivent imiter ou répondre à ce que vous faites -- et un logiciel Hyperscore, qui permet à n'importe qui de faire de la musique assez sophistiquée avec des lignes et des couleurs. Extrêmement facile à utiliser, et quand on commence on peut vraiment approfondir -- tous les styles de musique. Et en pressant un bouton, ça génère une partition pour que des musiciens puissent jouer vos morceaux.

On a eu un super retour avec les enfants dans le monde entier et maintenant avec des gens de tous âges qui utilisent Hyperscore. Donc, on s'est intéressé de plus en plus à utiliser ce genre d'activités créatives dans un contexte plus large, pour tous les gens qui n'ont pas d'habitude l'opportunité de faire de la musique. L'un des domaines en expansion sur lequel on travaille en ce moment au Media Lab est la musique, l'esprit et la santé. Pas mal d'entre vous ont probablement lu le superbe livre d'Oliver Sacks intitulé "Musicophilia". Il est disponible en librairie. C'est un bon livre. Si vous l'avez pas encore lu, ça vaut le coup. Il est lui même pianiste, et il raconte sa carrière passée à regarder et observer le pouvoir incroyable que la musique a sur la vie des gens dans des situations inhabituelles.

On sait par exemple que la musique est presque toujours la dernière chose à laquelle les gens atteints d'Alzheimer réagissent toujours. Certains d'entre vous l'ont peut être remarqué avec des êtres chers, on peut trouver des gens qui ne reconnaissent pas leur visage dans le miroir, ou les gens de leur famille, mais on arrive toujours à trouver un air de musique qui va les faire sauter de leur fauteuil et se mettre à chanter. Avec ça les gens peuvent se rappeler des souvenirs et leur propre caractère. La musique est la meilleure façon de rendre la parole à des gens qui l'avaient perdue suite à une attaque, de rendre la motricité aux gens atteints de Parkinson. C'est très puissant contre la dépression, la schizophrénie et plein plein de choses.

On cherche donc à comprendre les principes sous-jacents et développer des activités qui vont permettre à la musique d'améliorer la santé. Et on fait ça de plusieurs façons. On travaille avec de nombreux hôpitaux. L'un d'eux est l'hôpital de Tewksbury, près de Boston. C'est un hôpital fédéral où on a commencé, il y a plusieurs années, à travailler avec Hyperscore et des patients handicapés physiques ou mentaux. C'est devenu une pièce centrale du traitement à Tewksbury, et tout le monde là bas insiste qu'ils travaillent sur des activités musicales. C'est l'activité qui semble accélérer le plus le traitement. Et en plus ça rassemble tout l'hôpital en une sorte de communauté musicale. Je voudrais vous montrer une courte vidéo sur ces travaux avant de continuer. Vidéo: Ils manipulent le rythme des autres. C'est une véritable expérience, pas seulement pour apprendre et écouter des rythmes, mais aussi pour entraîner votre mémoire musicale et jouer en groupe. Pour toucher la musique et la modeler soi-même, la changer, expérimenter avec, faire votre propre musique. Et Hyperscore vous permet de faire tout ça très rapidement. Tout le monde peut ressentir profondément la musique, il faut juste inventer de nouveaux outils.

La troisième idée que je veux partager avec vous est que, paradoxalement, la musique, encore plus que les mots je pense, est l'un des meilleurs moyens que nous avons pour nous montrer réellement. J'adore faire des conférences, bien que bizarrement ça me stresse plus que de jouer de la musique. Si je jouais du violoncelle là, ou du synthé, ou si je parlais de ma musique avec vous je pourrais vous montrer des choses sur moi que je suis incapable de dire avec des mots, des choses plus personnelles, plus profondes peut être.

Je pense que c'est vrai pour beaucoup d'entre nous, et je veux vous donner 2 exemples montrant que la musique est l'une des plus puissantes interfaces entre nous et le monde extérieur. Le premier est un projet vraiment fou qu'on met en place en ce moment qui s'appelle Death and the Powers. C'est un grand opéra, l'un des plus gros projets d'opéra au monde en ce moment. Ça parle d'un homme, riche, puissant, qui a réussi et qui veut vivre éternellement. Et il trouve un moyen de se transfèrer dans son environnement, dans une série de livres en fait. Donc ce gars veut vivre pour toujours, se transfère dans son environnement. Le chanteur principal disparaît au début de l'opéra et la scène entière devient le personnage principal. Elle devient son héritage.

Et l'opéra parle de ce qu'on peut partager, de ce qu'on peut transmettre aux autres, aux gens qu'on aime, et ce qu'on ne peut pas. Chaque objet dans l'opéra prend vie et devient un gigantesque instrument, comme ce lustre. Il prend toute la scène. Ça ressemble à un lustre mais c'est en fait un instrument de musique robotisé. Vous pouvez voir sur ce prototype d'énormes cordes à piano, chaque corde est contrôlée par un petit robot -- des petits marteaux qui frappent les cordes, des hélices qui les chatouillent, des signaux acoustiques qui les font vibrer. Il y a aussi une armée de robots sur scène. Ces robots sont en gros l'intermédiaire entre le personnage principal, Simon Powers, et sa famille. Il y en a tout plein, un peu comme des chœurs. Ils observent l'action. On a conçu ces robots carrés, appelés OperaBots, qu'on teste en ce moment au MIT. Ces OperaBots suivent la musique. Ils suivent les personnages. Ils sont assez intelligents, enfin on espère, pour ne pas se rentrer dedans. Ils se promènent librement. Et en claquant des doigts ils s'alignent exactement comme on veut. Ce ne sont que des cubes, mais ils ont beaucoup de personnalité.

Le plus gros élément dans l'opéra s'appelle "The System". C'est une bibliothèque. Tous les livres sont motorisés, bougent et produisent du son, et quand on les met tous ensemble on obtient ces murs qui ont les mouvements et la personnalité de Simon Powers. Il a disparu mais tout l'environnement physique l'incarne. C'est comme ça qu'il a choisi d'être représenté. Ces livres ont des LEDs sur la tranche. Ça fait un grand écran. Et voici James Maddalena, excellent baryton, au moment où il entre dans le système. C'est une avant-première. La première a lieu à Monaco en Septembre 2009. Si vous ne pouvez pas y assister, voici une autre idée sur ce projet. On a ce gars qui construit son héritage à travers une forme inhabituelle, la musique et son environnement. Mais on fait aussi en sorte que ce soit disponible en ligne et dans les espaces publics pour que chacun puisse créer son héritage, ou celui d'un être cher, avec des photos personnelles et de la musique. Au lieu d'être un grand opéra, ça devient une version personnelle en fonction de ce qu'on pense.

Et si on peut avoir un opéra personnalisé, pourquoi pas des instruments personnalisés? Tout ce que je vous ai montré jusqu'à maintenant -- le violoncelle de Yo-Yo Ma ou les jouets pour enfants -- ces instruments sont identiques et utilisables par certains groupes de personnes, virtuoses ou enfants. Et si je pouvais construire un instrument que je peux adapter à mon comportement, mes mains, à ce pour quoi je suis habile ou pas? Je crois que c'est le futur de l'interface, de la musique, des instruments.

Et j'aimerais inviter sur scène 2 personnes très spéciales, pour que je puisse vous montrer à quoi ressemblent les instruments personnalisés. Je vous demande d'applaudir Adam Boulanger, étudiant en thèse au MIT Media Lab, et Dan Ellsey. Dan, grâce à TED et Bombardier Flexjet, Dan a fait le chemin jusqu'ici depuis Tewksbury. C'est un patient à l'hôpital de Tewksbury. C'est sûrement le plus loin qu'il soit jamais allé, je peux vous le dire, parce qu'il est motivé de vous rencontrer et vous faire écouter sa musique. Et tout d'abord, Dan, tu veux dire bonjour à tout le monde et te présenter?

Dan Ellsey: Bonjour. Je m'appelle Dan Ellsey. J'ai 34 ans et je suis atteint d'infirmité motrice cérébrale. J'ai toujours adoré la musique et je suis heureux de pouvoir diriger ma propre musique grâce à ce logiciel.

Tod Machover: Et on est tous très heureux que tu sois là Dan. (Applaudissements)

On a rencontré Dan, il y a environ 3 ans et demi, quand on a commencé à travailler à Tewksbury. Tous les gens qu'on a rencontrés là-bas sont fantastiques, font de la super musique. Dan n'en avait jamais jouée avant et il se trouve qu'il est très doué. C'est un compositeur né. Il est très timide aussi. C'est en fait un compositeur de talent et il a continuellement collaboré avec nous ces dernières années. Il a écrit plein, plein de morceaux. Il fait ses propres CDs. En fait, il est très connu dans la région de Boston, encadre des gens à l'hôpital et des enfants du coin, leur apprend la musique. Je vais laisser Adam vous en parler. Adam est un étudiant en thèse au MIT, expert en technologie musicale et médecine. Et Adam et Dan sont devenus de proches collaborateurs. Ces dernier temps Adam a travaillé non seulement sur comment permettre à Dan d'écrire facilement ses chansons, mais aussi comment l'aider à les jouer avec un instrument personnalisé. Vous voulez parler un petit peu de comment vous travaillez tous les deux?

Adam Boulanger: Oui. Tod et moi avons eu une discussion suite au travail à Tewksbury et on a surtout parlé de Dan, qui est très expressif, intelligent et créatif. Ça se voit sur son visage, dans ses yeux, ça s'entend dans sa respiration. Comment ça se fait qu'il ne puisse pas jouer ses morceaux? C'est de notre responsabilité et ça n'a pas de sens.

Donc on a développé une technologie qui lui permet, malgré son handicap, d'être capable de jouer sa musique avec contrôle, précision et nuances. Donc le processus et la technologie, en gros, on a d'abord besoin d'une solution technique. On a une caméra FireWire qui observe un pointeur infrarouge. On a choisi les mouvements auxquels il est déjà habitué avec son synthétiseur vocal. En fait c'était la partie la moins intéressante du projet, toute cette conception. On a besoin d'une entrée, d'un système de capture. Et le logiciel regarde les gestes qu'il fait.

Mais par la suite, le travail est devenu vraiment intéressant quand on s'est penché sur l'épaule de Dan à l'hôpital pour comprendre précisément comment il bouge. Quels mouvements utilise-t-il pour s'exprimer? Comment symbolise-t-il l'interprétation? Quelles sont les choses qu'il trouve important de contrôler et véhiculer dans un morceau? Toute la partie technique, l'ajustement des paramètres, a été fait précisément pour Dan. Et je crois que c'est un changement de perspective. Notre technologie nous donne accès, nous permet d'être créatif. Et l'expression dans tout ça? Le moment où l'artiste interprète son travail? La technologie nous permet-elle de s'exprimer? Nous donne-t-elle un cadre pour ça? Vous savez, c'est la relation personnelle avec l'expression qui manque à la sphère technologique. Avec Dan on a besoin d'une nouvelle conception, d'une solution technique pour découvrir ses mouvements et sa voie vers l'expression qui lui permet de jouer. Et c'est ce que nous allons faire aujourd'hui.

TM: allons-y. Dan, tu veux dire à tout le monde ce que tu vas nous jouer maintenant?

DE: Ça s'appelle "My Eagle Song." TM: Donc Dan va nous jouer un de ses morceaux appelé "My Eagle Song". En fait, voilà la partition du morceau, entièrement composé par Dan à l'aide de Hyperscore. Il peut utiliser son système de capture infrarouge pour agir directement sur Hyperscore. D'ailleurs il est très doué pour ça, bien plus que moi.

(rires)

TM: Il est très modeste aussi. Donc il peut ouvrir Hyperscore. On commence par créer des mélodies et des rythmes. Il peut les positionner exactement où il veut. Chacun a sa propre couleur, Il retourne dans la fenêtre de composition, dessine des lignes, place tout comme il veut. En regardant Hyperscore, vous le voyez aussi, on voit bien les différentes sections, quelque chose continue un peu, change, devient complètement fou et se termine avec un gros boum.

Donc voilà comment il a composé son morceau, et comme l'a dit Adam, on a ensuite déterminé la meilleure façon pour lui de le jouer. Cette caméra va le regarder, analyser ses mouvements, et ça va permettre à Dan d'exprimer les différents aspects de sa musique comme il le veut. Et vous allez aussi voir une animation sur l'écran. On a demandé à un de nos étudiants de regarder ce que la caméra mesure. Mais au lieu de faire ça littéralement et de vous montrer exactement ce que la caméra voit, on transforme ça en un graphique qui vous montre les mouvements basiques, et montre comment ils sont analysés.

Je crois que ça explique bien comment on détecte les mouvements dans ce que Dan fait, mais je crois que ça va aussi vous montrer, si vous regardez bien les mouvements quand Dan joue, qu'ils sont pleins de sens, très précis et disciplinés, et aussi très jolis. Et comme je l'ai dit plus tôt, le plus important à l'écoute de son morceau c'est que la musique est bonne, et que ça vous montre qui est Dan. Adam, tout est prêt?

AB: Ouais.

TM: OK, maintenant Dan va vous jouer son morceau "My Eagle Song". (Applaudissements)

TM: Bravo. (Applaudissements)