Exposé philosophique sur les modèles de langage naturel

Récemment, les performances des grands modèles de langage représentés par chatGPT ont été incroyables. "In Context Learning", "Instruct" ¹ , et la capacité de raisonnement, il est difficile de ne pas nous laisser envisager le développement de l'intelligence artificielle dans le futur, et en même temps réfléchir sereinement à la raison pour laquelle le modèle du langage naturel peut faire de grands progrès. progrès.

Comment pensons-nous ? Quelles activités les humains font-ils sans ouvrir la bouche ? En d'autres termes, parmi nos activités de pensée complexes, lesquelles sont innées et lesquelles sont apprises ? Comment fonctionne exactement la pensée ? Qu'est-ce que la langue ?

1 Videz votre cerveau et repartez de 0

Essayez de vider votre esprit, ne pensez à rien et considérez cela comme l'état 0 (état initial) de la pensée. À ce moment, vous remarquerez inconsciemment des changements aussi discrets que la lumière, le son et les plis des vêtements. Même dans un endroit complètement sombre et calme, vous pouvez toujours sentir votre rythme cardiaque et votre respiration. L'état dit vide peut être compris comme le cerveau est dans un état de négligence inerte de l'entrée du capteur (organe sensoriel), c'est-à-dire "pas le cerveau".

Dans cet état, aucune lettre ou mot ne "saute" hors de l'œil de l'esprit. Si le contrôle n'est pas bon, il peut simplement apparaître des mots associés très intuitifs, tels que des mots tels que "chaud" et "éblouissant". En ce moment, nous sommes fondamentalement indiscernables des vertébrés ordinaires. L'activité neuronale correspondant au ressenti le plus intuitif du milieu environnant aurait dû évoluer plus tôt chez les animaux, remontant même aux insectes de la période triasique. Commençons par la comparaison des organismes unicellulaires primitifs.

Au collège, je savais que les organismes unicellulaires peuvent avoir des différences physiques et chimiques dues aux différences de température et de lumière des deux côtés du milieu de culture, et les flagelles se dévieront, se permettant de nager vers des endroits plus chauds. Mais cette activité n'est pas une activité neuronale, mais un instinct issu de la sélection naturelle (les individus qui ne peuvent pas dévier les flagelles sont éliminés). Cette structure physique et chimique est déterminée par l'ADN et l'ARN qui contrôlent la synthèse des protéines, et elle continue de s'améliorer avec l'itération de la vie.

(La photo vient d'Internet) L'
évolution qui repose sur la mutation peut être très rapide pour les organismes unicellulaires et même les virus. Par exemple, dans le cas d'une utilisation excessive d'antibiotiques, les superbactéries peuvent n'être produites que pendant une courte période. Mais pour les organismes plus complexes, cela peut être plus lent. Il s'agit en fait d'un simple problème de probabilité. Lorsque les espèces deviennent de plus en plus avancées le long de la carte évolutive, elles deviennent de plus en plus complexes.On peut comprendre que plus il y a de modules qui composent le système, plus le couplage entre modules est élevé. Ce n'est que lorsque la mutation ne détruit pas la fonction d'origine, mais n'apporte que des avantages, que l'individu peut survivre. Mais sans variation directionnelle, il est très difficile pour une variation qui répond "juste" aux besoins de la sélection naturelle d'apparaître, ou il faut une échelle de temps plus longue pour s'accumuler.

Pour en revenir aux organismes unicellulaires, nous pouvons comprendre que le comportement des activités individuelles changeantes provoquées par la perception d'un certain paramètre physique et chimique est fixe et défini.

La capacité des organismes unicellulaires à s'adapter à l'environnement dépend de la synthèse dirigée par l'ADN des propriétés spécifiques des protéines. Si nous implémentons cette petite cellule avec un Raspberry Pi, cela devrait ressembler à ceci :

Écrivez une fonction, entrez quatre valeurs photosensibles et affichez le nombre de pas gauche et droit du moteur pas à pas. Nous confions cette tâche au C savoir de Yuanruyi (GPT2):

QUESTION:
我的树莓派小车连接了4个感光传感器，每个传感器会返回一个亮度值。
这个亮度值范围是0到64，0表示完全没有光，64表示非常亮的光。
四个传感器分别安装在东南西北四个方向。
小车的活动是靠左右轮子来控制的，两个步进电机可以控制轮子正传、反转。
步进电机输出值是一个整数，取值只能是-1,0,1中的一个。取值-1时，反转10度；取值为0时，电机停止；取值为1时，电机正传10度。
控制程序每秒会调用一个函数F, F的输入值为四个传感器的亮度，分别为 l1,l2,l3,l4; 函数输出为左右两个电机的步进，取值为 n1,n2.请帮我实现这个F函数，使得小车能够朝着光最亮的地方行走。

C connaît la réponse :

#这个问题是一个编程问题，可以直接回答。
#可以通过比较四个传感器返回的亮度值来确定光最亮的方向，然后控制左右轮子的运动方向使得小车朝向光最亮的地方行走。
#具体实现方法如下：
#1.读取四个传感器的亮度值l1,l2,l3,l4。
#2.比较四个亮度值，找出最大值所对应的方向dir，比如如果l1是最大值，那么dir为东方向。如果最大值不止一个，可以随机选择一个方向。
#3.根据方向dir计算左右两个电机的步进值n1,n2：
#如果dir为东方向，那么右轮向前转，左轮向后转。此时n1为1，n2为-1。
#如果dir为南方向，那么左轮向前转，右轮向后转。此时n1为-1，n2为1。
#如果dir为西方向，那么左轮向前转，右轮向后转。此时n1为-1，n2为1。
#如果dir为北方向，那么右轮向前转，左轮向后转。此时n1为1，n2为-1。
#4.返回计算出的左右电机步进值n1,n2。
#代码实现如下：

def F(l1, l2, l3, l4):
    dir = ['east', 'south', 'west', 'north'][[l1, l2, l3, l4].index(max(l1, l2, l3, l4))]
    if dir == 'east':
        n1, n2 = 1, -1
    elif dir == 'south':
        n1, n2 = -1, 1
    elif dir == 'west':
        n1, n2 = -1, 1
    else:
        n1, n2 = 1, -1
    return n1, n2

Bien que ce code ne soit pas une solution optimale, par exemple, quatre valeurs peuvent être utilisées pour l'interpolation afin de déterminer la direction la plus lumineuse du champ lumineux, puis de la contrôler. Cependant, il s'agit essentiellement d'une programmation logique.

L'ADN de la vie unicellulaire contrôlera la génération d'une structure protéique spéciale, qui a exactement le même effet que le code ci-dessus. Cette structure est déterminée par la sélection naturelle et n'est pas un type d'intelligence. En fait, nous pouvons également fabriquer un tel contrôleur différentiel en utilisant des dispositifs analogiques tels que des transistors, des condensateurs, des résistances et des inductances. La réalisation de cette fonction ne nécessite pas la participation de circuits numériques et d'ordinateurs.

2 activité neuronale simple

Les organismes multicellulaires primitifs étaient plus complexes, trouvant des proies avec un odorat et un toucher primitifs. Ils sont largement incapables d'apprendre à l'échelle individuelle. Leur capacité à s'adapter à la nature est obtenue par sélection naturelle et mutation génétique, qui peuvent s'étendre sur plusieurs générations d'individus. Mais les organismes multicellulaires ont développé des activités neuronales primitives, telles que le suivi précis et la capture de proies grâce à une certaine perception et à un certain stress. Par exemple, un simple coelentéré peut utiliser des cellules olfactives et tactiles (qui n'ont pas encore formé d'organes complexes tels que les yeux) pour localiser une petite crevette qui flotte et remuer son corps pour l'aspirer.

Ce comportement global de stress dans plusieurs cellules nécessite une conduction nerveuse. Bien que ces créatures n'aient pas de cerveau, elles ont des ganglions et forment de simples réseaux de neurones. Le principe de ce réseau est le suivant :

On suppose que les cellules tactiles de ce coelentéré sont situées autour des pièces buccales et peuvent détecter la concentration de molécules de crevettes dans 16 directions ; lorsque la concentration de crevettes atteint le seuil, la longueur de 16 groupes de fibres musculaires dans le corps est contrôlée, afin que les pièces buccales puissent rapidement suivre et toucher les crevettes. Les paramètres ressentis par le capteur sont composés d'auto-mouvements et de stimuli environnementaux.Ce système de rétroaction simple permet aux tentacules de s'approcher en permanence de la proie.

Il s'agit d'un problème typique d'automatisme mécanique. A l'aide d'un système hydraulique et d'un capteur à ultrasons, cette structure de commande peut être reproduite de manière plus réaliste. Le code pour contrôler le système hydraulique n'a pas besoin d'utiliser un réseau de neurones, mais peut utiliser la théorie de contrôle traditionnelle pour les calculs mathématiques. Ce qu'il faut expliquer, c'est que la science n'a pas encore conclu de manière concluante s'il existe une "mémoire" dans cette structure. Mais d'après le bon sens et les professeurs de biologie générale, les coelentérés n'ont aucune mémoire. Avec la même méduse, il n'y a aucun moyen d'apprendre de l'échec. Par exemple, les tentacules d'une méduse ont été coupées par un verre tranchant, mais les autres tentacules n'éviteraient pas le verre.

Il convient également de noter ici que le calmar n'est pas un coelentéré, mais un mollusque, il possède un cerveau ou un multicœur distribué.

3 Découplage de la perception et de l'action

Si vous réfléchissez attentivement à la façon dont les deux activités ci-dessus diffèrent de celles des organismes supérieurs, la différence la plus évidente est la forte corrélation entre la perception et l'action . Pour les créatures inférieures :

• Les données (ou signaux neuronaux) obtenues en percevant l'environnement déterminent directement l'action. Cette décision est immédiate, sans (faible) mémoire, intuitive et directe.
• Ce type de stress est instantané et ne peut pas s'adapter à la loi à long terme des choses qui évoluent avec le temps.

Lorsque les organismes continuent d'évoluer et ont des ganglions ou des cerveaux primitifs dédiés à des activités neuronales complexes, le couplage entre perception et action est réduit. Cette complexité a conduit à une avancée importante, la génération de "l'expérience". Cette capacité permet d'utiliser l'expérience accumulée dans le passé pour orienter les activités ultérieures.

Une expérience de pensée typique. Si vous préparez deux types d'aliments pour poissons d'apparence et de couleur différentes, l'un est très savoureux à pêcher et l'autre n'est pas bon à manger, après une alimentation aléatoire répétée, le poisson choisira de manger la couleur ou la forme délicieuse à l'avance.

不严谨的说，此刻鱼形成了一种概念，比如方形红色的鱼食很够劲，圆形绿色的不好吃。为了记忆这个知识，鱼在神经系统的记忆部分会记录形状、色彩这些概念，并与好吃、不好吃形成上下文联系。

有了这种记忆和关联能力，更大的脑容量、更复杂的概念和高维度的关联，就会形成极为有效的经验。比如如果科学家按照白天、晚上投喂时间的不同（环境光照不同），来决定好吃和形状的搭配，则聪明鱼学习到了如下经验：

从上述思维过程来说，人思维活动中简单的经验和鱼没有什么区别。比如经过训练，我看到某种包装的瓜子，就知道它是假货还是真货。与鱼相比，人只是观察的角度更多，但本质没有区别。

4 概念的连接与推理

想象一只猎豹在逆风处准备燃烧宝贵的能量发起对羚羊的冲刺，它仔细的观察、聆听、嗅闻，评估捕捉哪一只成功率最高。注意，下面的图是站在会说话的人类的角度来绘制的。猎豹对于味道、毛色的概念，与会说话的人类完全不同。极有可能这种概念是视觉记忆区域的回放，或者其他简化的指代。

如果猎豹是一个妈妈，可能会引入更多的决策概念

猎豹的大脑中，应该已经具备了很多经验与概念。比如最基础的对物体的大小、味道、材质的概念，对猎物呼吸的评估（时间的概念）、对孩子食量大小的估计。思维的过程就是对这些概念的先后顺序、联系进行调整，套用经验得到最有可能获利的决策。

其实对于人来说，大部分时间都在进行类似的思维决策。

我们即使不开口说话，思维活动的绝大多数是由一个个概念串起来的。如果一个物种不会说话，它也会形成概念。但各个物种利用概念的能力、方式可能是不同的。

5. 单词是概念的索引

猎豹建立的概念可能是一个具象化的浮影。现在试图假设自己完全不会说话，去思考一个事情。比如组成一盘黄瓜炒蛋的要素。你会发现，自己的面前浮出和一个黄瓜的影子，和圆不溜秋的鸡蛋，可能还有油盐酱醋等味道。这种概念是从大脑视觉、味觉等感知区域调取的传感器的历史记录。调取这样的记录，像是从机械硬盘里检索一份冗长的数据，非常耗时。

如果一个生物不会为各种概念建立索引，那它的思维过程就非常痛苦。想象我们在编程的时候，对100个数据块进行处理，显然更希望通过一个ID来标识每个数据，而不是用数据的全貌来区分。高等生物对一些复杂概念形成的索引，就是单词。

概念与概念之间的联系和组合关系是多层、交织的。他们既有包含关系，又有跨层次的联系。大胆的猜测，不会说话的生物也有类似单词这种用于指代具象化事物的“ID”。这种“ID”用于个体大脑内部的思考，但现有的科学手段无法感知研究。

这种“ID”，或者说单词，应该是使用少量神经节的状态就能表达的一种物理化学结构，而不是需要支持回放的视觉、味觉这种复杂的向量。这样对于思考的效率、能量比如葡萄糖的消耗都是有利的。

6 语言是概念的接口

对于社会性动物，跨个体的信息交流是一种巨大的优势。这种信息交流能够跨越个体传递经验。对于传递概念，有两种进化路线。

一种是传递指代压缩符号。对使用低频声波的物种，比如大部分会叫的动物，还有人类，受限于交流的时间成本，倾向于用简单的符号指代传递信息。以狐猴或者小型的啮齿动物为例，即使它们不会像人类一样说话，也能用长短高低不同的叫声，来互相提醒老鹰等掠食者的到来。但三长两短这种叫声为什么代表老鹰，恐怕大有可能要有同伴的扑街来示范，也就是现场教育警示，把三长两短和老鹰来袭关联起来。这是因为狐猴的语言系统不能表达足够多的概念，以便在洞里就把老鹰这茬子事情说清楚。

另一种是直接传递数据本身。对掌握高频声波的物种，比如海豚、蝙蝠，极有可能除了上述抽象的语言，还可以直接回放脉冲多普勒神经系统的浮影来进行具象化交流。也就是没有经过压缩编码的原汁原味的传感器信号。这样在家里的孩子就能学到妈妈捕猎时的录像（大有可能和B超的图像类似），兴许还能结合第一种语言，大致描述一下沙丁鱼和剑鱼的区别。

抽象波形接口	具象波形接口

对上述两种交流方式，我觉得第二种非常酷。但是，第一种具备一个非常大的优势——可以描述自然界不存在的东西。

• 冷热、明暗，苦辣、色彩形状，这些基于感觉器官收集的原始概念组合成的概念簇，是直接的、具象化的概念。无论组合多复杂，都可以细细拆解为各个感觉器官的直观感受。
• 懒惰、勤劳、善良、灵活、明天、昨天，这种对事物规律的总结、对决定事物运动的深层次原因的描述，是无法使用具体的感觉神经系统来回放的。

复杂的神经系统能够根据浅表的具象化的概念，生成非常深层次的抽象概念，使得个体能够站在历史的、时间的、辩证的角度思考问题。同时，通过语言系统对这些概念进行不厌其烦的描述，进而跨越个体和时间（隔代）继承知识。

人类语言的复杂性使得我们通过简单的单词、句子的组合、修饰（一些语言比如粘着语略有不同），在长达几个小时甚至几天的时间内，按部就班叙述并教授一个复杂的概念。同时能够设置场景，在“假如”的前提下，把剑齿虎来袭这种事情说清楚。这种能力使得人类不用现场示范，就能教授很多知识。

想象一下我们是如何从小时候只知道吃辣条，到现在会用微积分和FFT设计工业产品的。我们经历的教育，就是在不断建立概念、关联概念。这种建立、关联过程如此痛苦，很多人直到30岁还在学校读书。

7 自然语言模型高度接近人类思维

从本文上面的探讨，就能感觉到，自然语言模型强调对上下文的关联、推理，这一点与人类思维的原理是非常接近的。虽然计算机不知道“冷”是啥意思，但是我们思考的时候，也不会去仔细品味“冷”的感觉，而是一笔带过。

“天冷了，穿衣服”

大部分人在上述六个字的思考、交流过程中，不会刻意的思考自己在冷库里瑟瑟发抖这种“冷”的具体意义，而是直接套用了这个经验。换句话说，我们完全可以在计算机里建立“冷”的概念模型.

自然语言模型不需要能够感受到冷，也能通过学习人类的语言著作，把这些概念建立起来。

GPT的训练是以生成正确的文本为目标的，显然与人类思维的目标不同。但人类思维的目标，比如吃得饱、穿得暖，玩得嗨，本身也可以用语言来描述，从而变成GPT训练的目标。从这个意义上说，语言是思维的符号化表示，只要能够在语言层面得到正确的结果，那这个思维黑箱和大脑就没有本质的不同。

8 IA avec la capacité de penser et d'agir

L'IA capable de penser et d'agir peut utiliser un modèle de langage naturel comme moteur de réflexion, utiliser un modèle de perception tel que CNN comme moteur de capteur et utiliser un modèle dédié au contrôle automatique pour guider le module de mouvement. À en juger par le niveau actuel de la technologie, il n'est pas loin de créer une intelligence artificielle bionique ou une conscience artificielle.

Afin d'éviter les problèmes de sécurité potentiels, l'essentiel est de comprendre comment pré-entraîner le modèle. Le cerveau du nouveau-né est-il vide ? Évidemment pas. Après des centaines de millions d'années d'évolution, notre ADN a solidifié certaines choses fondamentales et essentielles dans le diagramme de la structure biologique. Il est très important de comprendre la structure et le poids de cette partie formée par la sélection naturelle. Cette structure détermine de nombreuses propriétés pré-câblées et solidifiées dans le cerveau, telles que la garantie de survie de base et la solidification de concepts de base, tels que la douleur, la douleur et la douceur.

En tant qu'IA, le processus de pré-formation correspond à la réalisation de cette partie. Si vous souhaitez réaliser un humain biochimique, certains concepts de la partie pré-formation sont particulièrement importants.

• Inerte : Tendance à dormir lorsqu'il n'y a pas d'entrée stressante.
• Douleur : La caractéristique qui doit être évitée doit être définie comme douleur, qui est la pénalité dans l'algorithme.
• Objectifs : les fonctionnalités qui doivent être conçues, définies comme des objectifs, comme un robot qui prend soin des patients, et la récompense est que les patients soient heureux.

Dans le même temps, le modèle de pré-formation couvre également la formation rapide de l'étape d'apprentissage acquise, comme l'association des concepts de base et l'établissement de la logique de base. Pour les robots équipés de capteurs, des concepts tels que le rouge et les bords peuvent être connectés à des tranches et des seuils CNN spécifiques pour former une perception réelle. Lorsque la personne bionique commence à travailler (comme entrer dans une maison de retraite), elle peut optimiser en permanence sa stratégie de service grâce à l'intervention de capteurs, de systèmes de mouvement et de médecins.

---

1. La route vers l'AGI : L'essentiel des techniques du modèle LLM (Large Language Model) ↩︎