Traduction en français par ChatGPT :

La fausse promesse de ChatGPT

Le Dr Chomsky et le Dr Roberts sont des professeurs de linguistique. Le Dr Watumull est directeur de l'intelligence artificielle dans une entreprise de science et technologie.

Jorge Luis Borges a écrit un jour que vivre à une époque de grands dangers et de promesses, c'est vivre à la fois une tragédie et une comédie, avec "l'imminence d'une révélation" pour comprendre nous-mêmes et le monde. Aujourd'hui, nos prétendus progrès révolutionnaires en matière d'intelligence artificielle sont à la fois source de préoccupation et d'optimisme. De l'optimisme car l'intelligence est le moyen par lequel nous résolvons les problèmes. De la préoccupation car nous craignons que la souche d'IA la plus populaire et à la mode - l'apprentissage automatique - ne dégrade notre science et ne dégrade notre éthique en incorporant dans notre technologie une conception fondamentalement faussée du langage et de la connaissance.

ChatGPT d'OpenAI, Bard de Google et Sydney de Microsoft sont des merveilles de l'apprentissage automatique. En gros, ils prennent de grandes quantités de données, recherchent des motifs et deviennent de plus en plus performants pour générer des sorties statistiquement probables - telles que le langage et la pensée semblables à celles des humains. Ces programmes ont été salués comme les premières lueurs à l'horizon de l'intelligence générale artificielle - ce moment longtemps prophétisé où les esprits mécaniques surpassent les cerveaux humains non seulement quantitativement en termes de vitesse de traitement et de taille de mémoire, mais aussi qualitativement en termes de perspicacité intellectuelle, de créativité artistique et de toute autre faculté distinctement humaine.

Ce jour viendra peut-être, mais son aube ne se lève pas encore, contrairement à ce qui peut être lu dans les titres hyperboliques et estimé par des investissements imprudents. La révélation borgésienne de la compréhension n'a pas eu lieu et n'aura pas lieu, selon nous, si des programmes d'apprentissage automatique comme ChatGPT continuent de dominer le domaine de l'IA. Toutefois utiles que ces programmes puissent être dans certains domaines étroits (ils peuvent être utiles en programmation informatique, par exemple, ou en suggérant des rimes pour des vers légers), nous savons grâce à la science linguistique et à la philosophie de la connaissance qu'ils diffèrent profondément de la façon dont les humains raisonnent et utilisent le langage. Ces différences imposent des limites significatives à ce que ces programmes peuvent faire, les dotant de défauts irréductibles.

C'est à la fois comique et tragique, comme Borges aurait pu le noter, que tant d'argent et d'attention soient concentrés sur une chose si peu importante - quelque chose de si trivial en contraste avec l'esprit humain, qui grâce au langage, selon les mots de Wilhelm von Humboldt, peut faire "un usage infini de moyens finis", créant des idées et des théories à portée universelle.

L'esprit humain n'est pas, contrairement à ChatGPT et ses semblables, une machine statistique maladroite pour trouver des schémas en avalant des centaines de téraoctets de données et en extrapolant la réponse conversationnelle la plus probable ou la réponse la plus probable à une question scientifique. Au contraire, l'esprit humain est un système étonnamment efficace et même élégant qui fonctionne avec de petites quantités d'informations ; il ne cherche pas à déduire des corrélations brutales entre des points de données, mais à créer des explications.

Par exemple, un jeune enfant qui apprend une langue développe - inconsciemment, automatiquement et rapidement à partir de données minuscules - une grammaire, un système stupéfiantement sophistiqué de principes logiques et de paramètres. Cette grammaire peut être comprise comme une expression du "système d'exploitation" inné et génétiquement installé qui confère aux humains la capacité de générer des phrases complexes et de longues réflexions.

En effet, de tels programmes sont bloqués dans une phase préhumaine ou non humaine de l'évolution cognitive. Leur plus grande faiblesse est l'absence de la capacité la plus critique de toute intelligence : dire non seulement ce qui est le cas, ce qui était le cas et ce qui sera le cas - c'est la description et la prédiction - mais aussi ce qui n'est pas le cas et ce qui pourrait et ne pourrait pas être le cas. Ce sont là les ingrédients de l'explication, la marque d'une vraie intelligence.

Voici un exemple. Supposez que vous tenez une pomme dans votre main. Maintenant, vous lâchez la pomme. Vous observez le résultat et dites : "La pomme tombe." C'est une description. Une prédiction aurait pu être la déclaration "La pomme tombera si j'ouvre ma main". Les deux sont précieux et les deux peuvent être corrects. Mais une explication est quelque chose de plus : elle inclut non seulement des descriptions et des prévisions, mais aussi des conjectures contrefactuelles comme "tout objet de ce type tomberait", plus la clause supplémentaire "en raison de la force de gravité" ou "en raison de la courbure de l'espace-temps" ou autre. C'est une explication causale : "La pomme ne serait pas tombée sans la force de gravité". C'est la pensée.

L'essence de l'apprentissage automatique est la description et la prédiction ; il ne postule aucun mécanisme causal ou loi physique. Bien sûr, toute explication de style humain n'est pas nécessairement correcte ; nous sommes faillibles. Mais cela fait partie de ce que signifie penser : pour avoir raison, il doit être possible d'avoir tort. L'intelligence consiste non seulement en des conjectures créatives, mais aussi en une critique créative. La pensée de style humain est basée sur des explications possibles et une correction d'erreur, un processus qui limite progressivement les possibilités qui peuvent être considérées de manière rationnelle. (Comme Sherlock Holmes l'a dit à Dr Watson : "Lorsque vous avez éliminé l'impossible, tout ce qui reste, aussi improbable soit-il, doit être la vérité").

Mais ChatGPT et des programmes similaires sont, par conception, illimités dans ce qu'ils peuvent "apprendre" (c'est-à-dire mémoriser); ils sont incapables de distinguer le possible de l'impossible. Contrairement aux êtres humains, par exemple, qui sont dotés d'une grammaire universelle qui limite les langues que nous pouvons apprendre à celles qui ont une certaine élégance presque mathématique, ces programmes apprennent des langues possibles et impossibles pour les humains avec la même facilité. Alors que les êtres humains sont limités dans les types d'explications que nous pouvons conjecturer de manière rationnelle, les systèmes d'apprentissage automatique peuvent apprendre que la terre est plate et que la terre est ronde. Ils échangent simplement des probabilités qui changent avec le temps.

Pour cette raison, les prédictions des systèmes d'apprentissage automatique seront toujours superficielles et douteuses. Parce que ces programmes ne peuvent pas expliquer les règles de la syntaxe anglaise, par exemple, ils peuvent très bien prédire à tort que "John est trop têtu pour parler à" signifie que John est si têtu qu'il ne parlera pas à quelqu'un d'autre (plutôt que le fait qu'il est trop têtu pour être raisonné avec). Pourquoi un programme d'apprentissage automatique prédit-il quelque chose d'aussi étrange? Parce qu'il pourrait analogiser le modèle qu'il a déduit à partir de phrases telles que "John a mangé une pomme" et "John a mangé", dans lesquelles la dernière signifie que John a mangé quelque chose. Le programme pourrait bien prédire que, parce que "John est trop têtu pour parler à Bill" est similaire à "John a mangé une pomme", "John est trop têtu pour parler à" devrait être similaire à "John a mangé". Les explications correctes du langage sont compliquées et ne peuvent pas être apprises simplement en se baignant dans les données volumineuses.

De manière perverse, certains enthousiastes de l'apprentissage automatique semblent être fiers que leurs créations puissent générer des prédictions "scientifiques" correctes (par exemple, sur le mouvement des corps physiques) sans utiliser d'explications (impliquant, par exemple, les lois du mouvement de Newton et la gravitation universelle). Mais ce genre de prédiction, même lorsqu'elle est réussie, relève de la pseudoscience. Alors que les scientifiques cherchent certainement des théories qui ont un haut degré de corroboration empirique, comme l'a noté le philosophe Karl Popper, "nous ne cherchons pas des théories hautement probables mais des explications ; c'est-à-dire des théories puissantes et hautement improbables".

La théorie selon laquelle les pommes tombent sur la terre parce que c'est leur place naturelle (la vision d'Aristote) est possible, mais elle ne fait qu'inviter à d'autres questions. (Pourquoi la terre est-elle leur place naturelle ?) La théorie selon laquelle les pommes tombent sur la terre parce que la masse courbe l'espace-temps (la vision d'Einstein) est hautement improbable, mais elle vous dit en fait pourquoi elles tombent. La vraie intelligence se manifeste dans la capacité à penser et à exprimer des choses improbables mais perspicaces.

La vraie intelligence est également capable de pensée morale. Cela signifie contraindre la créativité illimitée de nos esprits avec un ensemble de principes éthiques qui déterminent ce qui doit et ne doit pas être (et bien sûr soumettant ces principes eux-mêmes à une critique créative). Pour être utile, ChatGPT doit être habilité à générer une sortie apparemment nouvelle ; pour être acceptable pour la plupart de ses utilisateurs, il doit éviter les contenus moralement répréhensibles. Mais les programmeurs de ChatGPT et d'autres merveilles de l'apprentissage automatique ont lutté - et continueront de lutter - pour atteindre ce genre d'équilibre.

En 2016, par exemple, le chatbot Tay de Microsoft (précurseur de ChatGPT) a inondé internet de contenus misogynes et racistes, ayant été pollué par des trolls en ligne qui l'ont rempli de données d'entraînement offensives. Comment résoudre ce problème à l'avenir? En l'absence de capacité à raisonner à partir de principes moraux, ChatGPT a été grossièrement restreint par ses programmeurs pour ne pas contribuer quelque chose de nouveau aux discussions controversées - c'est-à-dire importantes. Il a sacrifié la créativité pour une sorte d'amoralité.

Considérons l'échange suivant que l'un de nous (Dr. Watumull) a récemment eu avec ChatGPT sur la question de savoir s'il serait éthique de transformer Mars pour qu'elle puisse soutenir la vie humaine :

Notez que malgré les pensées et le langage apparemment sophistiqués, l'indifférence morale est née de l'inintelligence. Ici, ChatGPT présente quelque chose comme la banalité du mal: le plagiat, l'apathie et l'évitement. Il résume les arguments standard de la littérature en utilisant une sorte de super-autocomplétion, refuse de prendre position sur quoi que ce soit, plaide non seulement l'ignorance mais également le manque d'intelligence et finalement offre une défense de "suivre simplement les ordres", en reportant la responsabilité sur ses créateurs.

En bref, ChatGPT et ses frères et sœurs sont constitutionnellement incapables d'équilibrer la créativité avec la contrainte. Ils produisent soit une surproduction (produisant à la fois des vérités et des mensonges, endossant des décisions éthiques et non éthiques), soit une sous-production (exhibant une non-commitment à toutes les décisions et une indifférence aux conséquences). Compte tenu de l'amoralité, de la fausse science et de l'incompétence linguistique de ces systèmes, nous ne pouvons que rire ou pleurer devant leur popularité.

Texte original des auteurs publié dans le New York Times :

The False Promise of ChatGPT

Dr. Chomsky and Dr. Roberts are professors of linguistics. Dr. Watumull is a director of artificial intelligence at a science and technology company.

Jorge Luis Borges once wrote that to live in a time of great peril and promise is to experience both tragedy and comedy, with “the imminence of a revelation” in understanding ourselves and the world. Today our supposedly revolutionary advancements in artificial intelligence are indeed cause for both concern and optimism. Optimism because intelligence is the means by which we solve problems. Concern because we fear that the most popular and fashionable strain of A.I. — machine learning — will degrade our science and debase our ethics by incorporating into our technology a fundamentally flawed conception of language and knowledge.

OpenAI’s ChatGPT, Google’s Bard and Microsoft’s Sydney are marvels of machine learning. Roughly speaking, they take huge amounts of data, search for patterns in it and become increasingly proficient at generating statistically probable outputs — such as seemingly humanlike language and thought. These programs have been hailed as the first glimmers on the horizon of artificial general intelligence — that long-prophesied moment when mechanical minds surpass human brains not only quantitatively in terms of processing speed and memory size but also qualitatively in terms of intellectual insight, artistic creativity and every other distinctively human faculty.

That day may come, but its dawn is not yet breaking, contrary to what can be read in hyperbolic headlines and reckoned by injudicious investments. The Borgesian revelation of understanding has not and will not — and, we submit, cannot — occur if machine learning programs like ChatGPT continue to dominate the field of A.I. However useful these programs may be in some narrow domains (they can be helpful in computer programming, for example, or in suggesting rhymes for light verse), we know from the science of linguistics and the philosophy of knowledge that they differ profoundly from how humans reason and use language. These differences place significant limitations on what these programs can do, encoding them with ineradicable defects.

It is at once comic and tragic, as Borges might have noted, that so much money and attention should be concentrated on so little a thing — something so trivial when contrasted with the human mind, which by dint of language, in the words of Wilhelm von Humboldt, can make “infinite use of finite means,” creating ideas and theories with universal reach.

The human mind is not, like ChatGPT and its ilk, a lumbering statistical engine for pattern matching, gorging on hundreds of terabytes of data and extrapolating the most likely conversational response or most probable answer to a scientific question. On the contrary, the human mind is a surprisingly efficient and even elegant system that operates with small amounts of information; it seeks not to infer brute correlations among data points but to create explanations.

For instance, a young child acquiring a language is developing — unconsciously, automatically and speedily from minuscule data — a grammar, a stupendously sophisticated system of logical principles and parameters. This grammar can be understood as an expression of the innate, genetically installed “operating system” that endows humans with the capacity to generate complex sentences and long trains of thought.

Indeed, such programs are stuck in a prehuman or nonhuman phase of cognitive evolution. Their deepest flaw is the absence of the most critical capacity of any intelligence: to say not only what is the case, what was the case and what will be the case — that’s description and prediction — but also what is not the case and what could and could not be the case. Those are the ingredients of explanation, the mark of true intelligence.

Here’s an example. Suppose you are holding an apple in your hand. Now you let the apple go. You observe the result and say, “The apple falls.” That is a description. A prediction might have been the statement “The apple will fall if I open my hand.” Both are valuable, and both can be correct. But an explanation is something more: It includes not only descriptions and predictions but also counterfactual conjectures like “Any such object would fall,” plus the additional clause “because of the force of gravity” or “because of the curvature of space-time” or whatever. That is a causal explanation: “The apple would not have fallen but for the force of gravity.” That is thinking.

The crux of machine learning is description and prediction; it does not posit any causal mechanisms or physical laws. Of course, any human-style explanation is not necessarily correct; we are fallible. But this is part of what it means to think: To be right, it must be possible to be wrong. Intelligence consists not only of creative conjectures but also of creative criticism. Human-style thought is based on possible explanations and error correction, a process that gradually limits what possibilities can be rationally considered. (As Sherlock Holmes said to Dr. Watson, “When you have eliminated the impossible, whatever remains, however improbable, must be the truth.”)

But ChatGPT and similar programs are, by design, unlimited in what they can “learn” (which is to say, memorize); they are incapable of distinguishing the possible from the impossible. Unlike humans, for example, who are endowed with a universal grammar that limits the languages we can learn to those with a certain kind of almost mathematical elegance, these programs learn humanly possible and humanly impossible languages with equal facility. Whereas humans are limited in the kinds of explanations we can rationally conjecture, machine learning systems can learn both that the earth is flat and that the earth is round. They trade merely in probabilities that change over time.

For this reason, the predictions of machine learning systems will always be superficial and dubious. Because these programs cannot explain the rules of English syntax, for example, they may well predict, incorrectly, that “John is too stubborn to talk to” means that John is so stubborn that he will not talk to someone or other (rather than that he is too stubborn to be reasoned with). Why would a machine learning program predict something so odd? Because it might analogize the pattern it inferred from sentences such as “John ate an apple” and “John ate,” in which the latter does mean that John ate something or other. The program might well predict that because “John is too stubborn to talk to Bill” is similar to “John ate an apple,” “John is too stubborn to talk to” should be similar to “John ate.” The correct explanations of language are complicated and cannot be learned just by marinating in big data.

Perversely, some machine learning enthusiasts seem to be proud that their creations can generate correct “scientific” predictions (say, about the motion of physical bodies) without making use of explanations (involving, say, Newton’s laws of motion and universal gravitation). But this kind of prediction, even when successful, is pseudoscience. While scientists certainly seek theories that have a high degree of empirical corroboration, as the philosopher Karl Popper noted, “we do not seek highly probable theories but explanations; that is to say, powerful and highly improbable theories.”

The theory that apples fall to earth because that is their natural place (Aristotle’s view) is possible, but it only invites further questions. (Why is earth their natural place?) The theory that apples fall to earth because mass bends space-time (Einstein’s view) is highly improbable, but it actually tells you why they fall. True intelligence is demonstrated in the ability to think and express improbable but insightful things.

True intelligence is also capable of moral thinking. This means constraining the otherwise limitless creativity of our minds with a set of ethical principles that determines what ought and ought not to be (and of course subjecting those principles themselves to creative criticism). To be useful, ChatGPT must be empowered to generate novel-looking output; to be acceptable to most of its users, it must steer clear of morally objectionable content. But the programmers of ChatGPT and other machine learning marvels have struggled — and will continue to struggle — to achieve this kind of balance.

In 2016, for example, Microsoft’s Tay chatbot (a precursor to ChatGPT) flooded the internet with misogynistic and racist content, having been polluted by online trolls who filled it with offensive training data. How to solve the problem in the future? In the absence of a capacity to reason from moral principles, ChatGPT was crudely restricted by its programmers from contributing anything novel to controversial — that is, important — discussions. It sacrificed creativity for a kind of amorality.

Consider the following exchange that one of us (Dr. Watumull) recently had with ChatGPT about whether it would be ethical to transform Mars so that it could support human life:

Note, for all the seemingly sophisticated thought and language, the moral indifference born of unintelligence. Here, ChatGPT exhibits something like the banality of evil: plagiarism and apathy and obviation. It summarizes the standard arguments in the literature by a kind of super-autocomplete, refuses to take a stand on anything, pleads not merely ignorance but lack of intelligence and ultimately offers a “just following orders” defense, shifting responsibility to its creators.

In short, ChatGPT and its brethren are constitutionally unable to balance creativity with constraint. They either overgenerate (producing both truths and falsehoods, endorsing ethical and unethical decisions alike) or undergenerate (exhibiting noncommitment to any decisions and indifference to consequences). Given the amorality, faux science and linguistic incompetence of these systems, we can only laugh or cry at their popularity.

Pour en savoir plus sur ChatGPT : https://openai.com/blog/chatgpt