Sam Harris
3,341,742 views • 14:27

Je vais vous parler d'une erreur de jugement que beaucoup d'entre nous font. Il s'agit de l'incapacité à détecter un certain type de danger. Je vais décrire un scénario que je pense à la fois terrifiant et pourtant susceptible d'arriver, et ce genre de combinaison n'est pas une bonne chose. Pourtant, au lieu d'avoir peur, la plupart d'entre vous penseront que c'est plutôt cool.

Je vais décrire comment les avancées que nous faisons dans l'intelligence artificielle pourraient finir par nous détruire. Il semble difficile de voir comment cela pourrait ne pas nous détruire ou nous aider à nous détruire. Pourtant, si vous me ressemblez un peu, vous allez trouver amusant de réfléchir à ces choses-là. Et cette façon de voir les choses est une partie du problème. Ce sentiment devrait vous inquiéter. Et si je devais vous convaincre, avec cette présentation, que nous allons probablement souffrir d'une famine généralisée, soit à cause du climat ou de toute autre catastrophe, et que vos petits-enfants, ou leurs petits-enfants, ont de grandes chances de vivre ainsi, vous ne penseriez pas : « Intéressant. Cool, ce TED. » La famine, ce n'est pas amusant. La mort en science-fiction, en revanche, est un concept amusant et ce qui m'inquiète le plus à propos du développement de l'IA en ce moment est le fait que nous semblons incapables de nous faire une idée des dangers qui nous attendent. Je n'ai pas de réponse, alors que je suis ici, à vous en parler.

C'est comme si nous étions face à deux portes. Derrière la porte n°1, nous arrêtons nos progrès dans le développement de nos machines. Hardware et software stagnent, pour une raison ou pour une autre. Essayez d'imaginer ce qui pourrait arrêter ce développement. Étant donnée l'importance de l'intelligence et de l'automatisation nous allons continuer à améliorer notre technologie si nous le pouvons. Qu'est-ce qui nous en empêcherait ? Une guerre nucléaire mondiale ? Une pandémie globale ? Un impact d'astéroïde ? Justin Bieber président des États-Unis ?

(Rires)

Il faudrait que la civilisation telle que nous la connaissons soit détruite. Il faudrait vraiment imaginer quelque chose de terrible pour que nous arrêtions de développer notre technologie totalement, génération après génération. Par définition, ce serait la pire chose qui serait jamais arrivée à l'humanité.

Donc la seule alternative, et c'est ce qui se trouve derrière la porte n°2, est que nous continuions d'améliorer l'intelligence de nos machines année après année. À un moment, nous allons construire des machines plus intelligentes que nous, et ces machines plus intelligentes que nous vont commencer à s'améliorer elles-mêmes. Il y a le risque, théorisé par le mathématicien I.J. Good, d'une « explosion d'intelligence », un processus qui pourrait nous échapper.

Ce phénomène est souvent caricaturé, comme ici, avec des armées de robots malveillants qui nous attaqueraient. Mais ce n'est pas le scénario le plus probable. Nos machines ne vont probablement pas devenir spontanément malveillantes. Le risque est que nous construisions des machines tellement plus compétentes que nous que la moindre divergence d'intérêt entre elles et nous pourrait nous détruire.

Pensez aux fourmis. Nous ne les haïssons pas. Nous ne cherchons pas à les écraser. Nous faisons même parfois l'effort de les éviter. Nous les enjambons. Mais dès que leur présence nous gêne vraiment, par exemple si nous voulons construire un bâtiment, nous les exterminons sans scrupule. Le risque est que nous construisions un jour des machines qui, conscientes ou non, nous traiteraient avec la même indifférence.

Cela peut vous sembler capillotracté. Je parie que certains d'entre vous doutent qu'une super IA soit possible, et encore moins inévitable. Mais dans ce cas vous devez réfuter une des hypothèses suivantes. Et il n'y en a que trois.

L'intelligence est le traitement de l'information dans un système physique. En fait, c'est un peu plus qu'une simple hypothèse. Nous avons déjà construit des machines vaguement intelligentes, et nombre d'entre elles font déjà preuve d'une intelligence surhumaine. Et nous savons que la matière peut produire « l'intelligence générale », la capacité de réfléchir de manière croisée, parce que nos cerveaux y sont parvenus, n'est-ce pas ? Après tout, il n'y a que des atomes là-dedans, et tant que nous continuerons à construire des systèmes d'atomes qui feront montre de plus en plus d'intelligence, nous parviendrons, à moins d'être interrompus, nous parviendrons à implanter une « intelligence générale » au cœur de nos machines.

Il est crucial de comprendre que la vitesse n'est pas le problème, car n'importe quelle vitesse est suffisante pour aller au bout. Nous n'avons pas besoin de la loi de Moore ni d'un progrès exponentiel. Il suffit de continuer à avancer.

La deuxième hypothèse est que nous allons continuer. Nous continuerons d'améliorer nos machines intelligentes. Et, vue la valeur de l'intelligence — l'intelligence est la source de tout ce qui compte ou alors elle doit protéger tout ce qui compte. C'est notre plus importante ressource. Donc nous allons continuer. Nous avons des problèmes que nous devons absolument résoudre. Nous voulons vaincre les maladies comme Alzheimer ou le cancer. Nous voulons comprendre l'économie. Nous voulons améliorer le climat. Donc nous allons continuer, si nous le pouvons. Le train a déjà quitté la gare et il n'y a pas de frein.

Et enfin, l'humain ne se trouve pas au sommet de l'intelligence, nous en sommes même très loin. Et c'est vraiment le point crucial. C'est ce qui rend notre situation si précaire et ce qui fait que notre compréhension des risques n'est pas fiable.

Prenons l'humain le plus intelligent qui ait jamais vécu. Beaucoup de gens penseraient à John von Neumann. L'impression que von Neumann laissait aux gens, y compris les plus brillants mathématiciens et physiciens de son temps, est plutôt bien documentée. Si ne serait-ce que la moitié de ce que l'on dit sur lui est à moitié vraie, il n'y a aucun doute qu'il soit l'un des plus brillants esprits qui aient existé. Considérons le spectre de l'intelligence. Voici John von Neumann. Et nous, nous sommes ici. Et là nous avons un poulet.

(Rires)

Pardon, un poulet.

(Rires)

Pas besoin de rendre cette présentation plus déprimante qu'elle ne l'est déjà.

(Rires)

Il semble néanmoins plus que probable que le spectre de l'intelligence s'étende beaucoup plus loin que nous ne pouvons le concevoir, Si nous construisons des machines plus intelligentes que nous, elles vont très probablement explorer ce spectre, plus que nous ne pouvons l'imaginer, et elles nous surpasseront, plus que nous ne pouvons l'imaginer.

Il est important de noter que c'est vrai par la seule vertu de la vitesse. Imaginez que nous construisions une IA super intelligente qui ne soit pas plus intelligente qu'une équipe moyenne de chercheurs de Stanford ou du MIT. L'électronique va environ un million de fois plus vite que la biochimie, de sorte que cette machine penserait un million de fois plus vite que les humains qui l'auraient créée. En une semaine, cette machine réaliserait le même travail qu'une équipe d'humains en 20 000 ans, semaine après semaine. Comment pourrions-nous comprendre, et encore moins limiter, un esprit qui irait à une telle vitesse ?

L'autre chose inquiétante, franchement, est la suivante : imaginez le meilleur des cas. Imaginez que nous concevions une IA super intelligente qui ne soit pas dangereuse. Nous trouvons la parfaite solution du premier coup. Comme si nous avions un oracle à disposition se comportant exactement comme prévu. Cette machine nous éviterait toute forme de travail. Elle concevrait la machine qui ferait la machine qui pourrait faire n'importe quoi, alimentée par le soleil, plus ou moins pour le seul coût des matières premières. On parle là de la fin de la pénibilité humaine. Nous parlons aussi de la fin du travail intellectuel.

Que feraient des singes comme nous dans une pareille situation ? Nous serions libres de jouer au frisbee et de nous faire des massages. Avec un peu de LSD et quelques fringues douteuses, le monde entier serait comme le Burning Man.

(Rires)

Bon, tout ça peut sembler plutôt sympa, mais demandez-vous ce qui arriverait avec notre système politique et économique actuel ? Nous serions les témoins d'une inégalité des richesses et d'un taux de chômage encore jamais vus. Sans la volonté de mettre ces nouvelles richesses au service de toute l'humanité, quelques milliardaires feraient les couvertures des revues commerciales alors que le reste du monde mourrait de faim.

Et que feraient les Russes ou les Chinois s'ils apprenaient qu'une société de la Silicon Valley était sur le point de créer une IA super intelligente ? Cette machine serait capable de faire la guerre, qu'elle soit physique ou numérique, avec une puissance jamais vue. Le vainqueur emporterait toute la mise. Avoir six mois d'avance dans une telle compétition revient à avoir 500 000 ans d'avance, au minimum. Il est donc possible que la moindre rumeur de ce type de percée pourrait tous nous rendre totalement dingues.

L'une des choses les plus effrayantes, de mon point de vue, sont les choses que les chercheurs en IA disent quand ils veulent nous rassurer. On nous dit généralement que nous avons encore le temps. C'est pour plus tard, vous pensez bien. C'est probablement pour dans 50 ou 100 ans. Un chercheur a dit : « S'inquiéter de l'IA, c'est comme s'inquiéter de la surpopulation sur Mars. » La Silicon Valley sait parfois se montrer condescendante.

(Rires)

Personne ne semble se rendre compte que dire qu'on a le temps est totalement fallacieux dans ce contexte. Si l'intelligence n'est que le traitement de l'information et si l'on continue d'améliorer nos machines, alors nous produirons une forme de super intelligence. Et nous n'avons pas la moindre idée du temps qu'il nous faudra pour trouver comment le faire sans risques. Je vais me répéter. Nous n'avons pas la moindre idée du temps qu'il nous faudra pour trouver comment le faire sans risques.

Au cas où vous n'auriez pas remarqué, 50 ans, ce n'est pas grand chose. Voici 50 ans, en mois. Voici l'existence de l'iPhone. Voici la durée couverte par « Les Simpsons ». Cinquante ans, cela ne laisse guère de temps pour se préparer à l'un des plus grands défis de tous les temps. Une fois encore, nous semblons incapables de nous préparer à ce qui, selon toute probabilité, va arriver.

L'informaticien Stuart Russel propose une belle analogie à ce sujet. Il dit : « Imaginez que nous recevions un message des aliens qui dirait : ' Habitants de la Terre, nous arriverons chez vous dans 50 ans. Soyez prêts. ' Et on ne ferait que regarder le compte à rebours ? Non, nous nous sentirions un peu plus concernés que ça. »

Une autre raison de ne pas s'inquiéter serait que ces machines partageraient notre sens des valeurs parce qu'elles seraient des extensions de nous-mêmes. Elles seraient greffées sur nos cerveaux, nous serions leur système limbique. Réfléchissez un peu que le moyen le plus sûr, recommandé, serait de brancher cette technologie directement sur nos cerveaux. Cela peut sembler être la meilleure option, mais généralement, on essaie d'être sûr de son coup avant de s'enfoncer quelque chose dans le cerveau.

(Rires)

Le vrai problème est que simplement concevoir une IA super intelligente semble plus facile que de concevoir une IA super intelligente tout en maîtrisant les neurosciences pour connecter cette IA à nos cerveaux. Si l'on tient compte du fait que les entreprises et gouvernements se sentent probablement en concurrence, et, puisque remporter cette course revient à conquérir le monde, pourvu que vous ne le détruisiez pas juste après, il semble probable que l'on commence par le plus facile.

Malheureusement, je n'ai pas la solution de ce problème, à part recommander que nous soyons plus nombreux à y réfléchir. Il nous faudrait une sorte de Projet Manhattan à propos de l'intelligence artificielle. Pas pour la concevoir, car nous y parviendrons, mais pour réfléchir à comment éviter une course aux armements et pour la concevoir d'une façon en accord avec nos intérêts. Quand vous parlez d'une IA super intelligente qui pourrait se modifier elle-même, il semblerait que nous n'ayons qu'une seule chance de faire les choses bien et encore, il nous faudra gérer les conséquences politiques et économiques.

Mais à partir du moment où nous admettons que le traitement de l'information est la source de l'intelligence, qu'un système de calcul est la base de l'intelligence, et que nous admettons que nous allons continuer d'améliorer ce type de système et que nous admettons que l'horizon de l'intelligence dépasse totalement ce que nous savons aujourd'hui, nous devons admettre que nous sommes engagés dans la conception d'un pseudo-dieu. Il nous faut donc vérifier que c'est un dieu compatible avec notre survie.

Merci beaucoup.

(Applaudissements)