20 MOTS DE L’IA FORMATIVE, LE PETIT TEMNA EXPLIQUE
L’apprentissage profond fait référence au modèle de réseau de neurones artificiels.
Comme dans chaque modèle, il s’agit de faire varier les coefficients jusqu’à obtenir un résultat acceptable.
Comment ça marche ?
Warren McCulloch et Walter Pitts ont créé le premier neurone artificiel en 1943, mais qui n’était pas apprenant faute d’avoir des coefficients variables, l’apprentissage est dans la variation.
Le premier modèle apprenant est donc le Perceptron, modèle inventé en 1957 par le psychologue Frank Rosenbatt. Chaque modèle est composé de neurones d’input et de neurones d’output. On attribue un coefficient à chaque neurone, le coefficient neuronal, ainsi qu’à chaque connexion, le coefficient synaptique, pour déterminer une fonction d’activation, qui elle-même à un coefficient appeler le biais. Soit le neurone d’output est proche de 1, le neurone s’active, soit proche de 0, il ne s’active pas.
Le Perceptron était capable de reconnaître les lettres de l’alphabet, et lorsqu’il commettait des erreurs et d’apprendre de ses erreurs en réajustant l’ensemble des coefficients jusqu’à obtenir un taux de reconnaissance avec une erreur acceptable. Frank Rosenblatt considérait alors qu’il s’agissait de la première machine à penser comme un homme.
Le perceptron simple a une seule couche d’entrée et de sortie, le deep learning fait travailler plusieurs couche ensemble et rajoute en plus entre les inputs et les outputs des « couches cachées » pour favoriser des calcul plus sophistiquer, mais toujours sur le même principe.
L’apprentissage profond a fait son entrée dans le monde professionnel en 2012 lors d’un classement d’image où AlexNet dès sa première utilisation ramène le taux d’erreur de 26 % à 16 % distançant tous ses concurrents (https://image-net.org/challenges/LSVRC/2012/results.html ). La machine pouvait reconnaître des images à hauteur de 16 % de risque d’erreur.
On résume souvent le deep learning en une fonction de récompense, la récompense étant la réduction des erreurs entre ce que la machine prédit et ce qui est attendu. Si l’on veut identifier un chat sur la photo, la machine prédit que c’est un chat ou non et par supervision on s’aperçoit qu’elle s’est trompée ou non.
Pourquoi le Deep learning s’est imposé ?
Grâce à la fonction de descente de gradient, une fonction pour réduire le risque d’erreur entre la prédictibilité et l’attendu. L’apprentissage consiste à faire varier les coefficients, mais dans quel sens, faut-il les augmenter ou les diminuer ? Il suffit de calculer la dérivée première et seconde de la fonction de perte. La descente de gradient permet ainsi de maximiser la performance.
Si le deep learning est une question de couches cachées, jusqu’à combien peut-on aller ?
Plus les réseaux de neurones sont profonds, meilleurs sont les performances. Les chercheurs ont multiplié les couches pour développer le very deep leearning. Mais les chercheurs s’apercevaient qu’il existait une limite à cette profondeur à cause du phénomène d’évanescence du gradient, la descente de gradient perd de son efficacité et cela nécessite des retraitements importants.
En 2016, un article proposait la possibilité d’obtenir une profondeur de 1 200 couches, et même au-delà (https://link.springer.com/chapter/10.1007/978-3-319-46493-0_39).
Si l’on garde la comparaison avec le cerveau humain, ce dernier n’aurait une profondeur que de 6 couches, mais cela n’a que peu de sens.
L’apprentissage neuronal artificiel est comme son nom l’indique une analogie à l’apprentissage humain ou du moins à ce qui en est connu.
Et cela est souvent source d’inspiration comme le montre l’exemple du sommeil artificiel.
L’homme a besoin du sommeil pour apprendre, Maxim Bazhenov a expérimenté un simulacre de sommeil sur l’IA (Université de San Diego, 2022) pour améliorer ses performances, ce fut un succès. Ce simulacre de sommeil est un appauvrissement de la fonction de sommeil de l’homme, mais elle permet de développer un savoir nouveau, et ironie de la situation, permet d’améliorer le sommeil de l’homme.
Fait à Paris, le 17 octobre 2024
@StephaneDIEB pour vos commentaires sur X
