NTT et l'Université de Tokyo développent la première intelligence artificielle informatique optique au monde à l'aide d'un algorithme inspiré du cerveau humain

La collaboration fait progresser l'application pratique de l'IA à faible consommation d'énergie et à grande vitesse basée sur l'informatique optique

TOKYO– (BUSINESS WIRE) -#TechforGood-NTT Corporation (Président et PDG : Akira Shimada, « NTT ») et le Université de Tokyo (Bunkyo-ku, Tokyo, Président : Teruo Fujii) ont mis au point un nouvel algorithme d'apprentissage inspiré du traitement de l'information du cerveau qui convient aux réseaux de neurones artificiels multicouches (DNN) utilisant des opérations analogiques. Cette percée entraînera une réduction de la consommation d'énergie et du temps de calcul pour l'IA. Les résultats de ce développement ont été publiés dans la revue scientifique britannique Communications Nature En décembre 26^th.

Les chercheurs ont réalisé la première démonstration au monde d'un apprentissage DNN optique exécuté efficacement en appliquant l'algorithme à un DNN qui utilise un calcul analogique optique, qui devrait permettre des dispositifs d'apprentissage automatique à grande vitesse et à faible puissance. De plus, ils ont atteint les performances les plus élevées au monde d'un réseau de neurones artificiels multicouches qui utilise des opérations analogiques.

Dans le passé, les calculs d'apprentissage à forte charge étaient effectués par des calculs numériques, mais ce résultat prouve qu'il est possible d'améliorer l'efficacité de la partie apprentissage en utilisant des calculs analogiques. Dans la technologie Deep Neural Network (DNN), un réseau neuronal récurrent appelé calcul de réservoir profond est calculé en supposant une impulsion optique en tant que neurone et un anneau optique non linéaire en tant que réseau neuronal avec des connexions récursives. En réinjectant le signal de sortie dans le même circuit optique, le réseau est artificiellement approfondi.

La technologie DNN permet une intelligence artificielle (IA) avancée telle que la traduction automatique, la conduite autonome et la robotique. Actuellement, la puissance et le temps de calcul requis augmentent à un rythme qui dépasse la croissance des performances des ordinateurs numériques. La technologie DNN, qui utilise des calculs de signaux analogiques (opérations analogiques), devrait être une méthode de réalisation de calculs à haute efficacité et à grande vitesse similaires au réseau neuronal du cerveau. La collaboration entre NTT et l'Université de Tokyo a développé un nouvel algorithme adapté à une opération analogique DNN qui ne suppose pas la compréhension des paramètres d'apprentissage inclus dans le DNN.

La méthode proposée apprend en modifiant les paramètres d'apprentissage en fonction de la couche finale du réseau et de la transformation aléatoire non linéaire de l'erreur du signal de sortie souhaité (signal d'erreur). Ce calcul facilite la mise en œuvre de calculs analogiques dans des éléments tels que les circuits optiques. Il peut également être utilisé non seulement comme modèle pour la mise en œuvre physique, mais également comme modèle de pointe utilisé dans des applications telles que la traduction automatique et divers modèles d'IA, y compris le modèle DNN. Cette recherche devrait contribuer à résoudre les problèmes émergents associés à l'informatique IA, notamment la consommation d'énergie et l'augmentation du temps de calcul.

En plus d'examiner l'applicabilité de la méthode proposée dans cet article à des problèmes spécifiques, NTT favorisera également l'intégration à grande et à petite échelle de matériel optique, dans le but d'établir une plate-forme de calcul optique à haut débit et à faible consommation pour les futurs systèmes optiques. réseaux.

Soutien à cette recherche :

JST/CREST a soutenu une partie de ces résultats de recherche.

Parution dans la revue :

Magazine: Communications Nature (Version en ligne：26 décembre)

Titre de l'article : Apprentissage physique en profondeur avec une méthode d'entraînement d'inspiration biologique : approche sans gradient pour le matériel physique

Auteurs：Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto et Kohei Nakajima

Explication de la terminologie :

1. Circuit optique : Un circuit dans lequel des guides d'ondes optiques en silicium ou en quartz sont intégrés sur une plaquette de silicium en utilisant la technologie de fabrication de circuits électroniques. En communication, la ramification et la fusion des voies de communication optiques sont réalisées par interférence optique, multiplexage/démultiplexage en longueur d'onde, et similaire.
2. Méthode de rétropropagation (BP) : L'algorithme d'apprentissage le plus couramment utilisé dans l'apprentissage en profondeur. Des gradients de poids (paramètres) dans le réseau sont obtenus tout en propageant le signal d'erreur vers l'arrière, et les poids sont mis à jour de sorte que l'erreur devienne plus petite. Le processus de rétropropagation nécessitant une transposition de la matrice de poids du modèle de réseau et une différenciation non linéaire, il est difficile à mettre en œuvre sur des circuits analogiques, notamment le cerveau d'un organisme vivant.
3. L'informatique analogique : un ordinateur qui exprime des valeurs réelles utilisant des grandeurs physiques telles que l'intensité et la phase de la lumière et la direction et l'intensité des spins magnétiques et effectue des calculs en modifiant ces grandeurs physiques selon les lois de la physique.
4. Méthode d'alignement par rétroaction directe (DFA) : méthode de pseudo-calcul du signal d'erreur de chaque couche en effectuant une transformation aléatoire non linéaire sur le signal d'erreur de la couche finale. Comme il ne nécessite pas d'informations différentielles du modèle de réseau et ne peut être calculé que par transformation aléatoire parallèle, il est compatible avec le calcul analogique.
5. Calcul de réservoir : Un type de réseau neuronal récurrent avec des connexions récurrentes dans la couche cachée. Elle se caractérise par la fixation aléatoire de connexions dans une couche intermédiaire dite couche réservoir. Dans l'informatique de réservoir profond, le traitement de l'information est effectué en connectant des couches de réservoir en plusieurs couches.

NTT et le logo NTT sont des marques déposées ou des marques commerciales de NIPPON TELEGRAPH AND TELEPHONE CORPORATION et / ou de ses filiales. Tous les autres noms de produits référencés sont des marques commerciales de leurs propriétaires respectifs. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Contacts

Stephen Russel

Communications filaires®

Pour NTT

+1-804-362-7484

[email protected]