L'éthique de l'IA aux prises avec le coup de poing fougueux des deux systèmes d'armes autonomes basés sur l'IA et l'exploitation de systèmes autonomes pilotés par l'IA qui sont diaboliquement militarisés

Ces incroyables robots dansants à quatre pattes.

Je suis sûr que vous avez vu ces vidéos virales des systèmes robotiques à quatre pattes qui dansent et caracolent de manière apparemment délicieuse et bien-aimée comme un chien. Nous semblons apprécier de voir ces robots pilotés par l'IA alors qu'ils escaladent des obstacles et semblent prendre un pied délicat lorsqu'ils sont perchés sur des boîtes ou après avoir été placés de manière précaire sur des armoires ivres. Leurs maîtres humains piqueront ou pousseront parfois les robots à quatre pattes gambader, ce qui semble exaspérant et injuste et peut facilement augmenter votre colère contre le traitement bratty par ces humanoïdes cerveaux.

Je me demande cependant si vous avez vu les vidéos pas si virales d'un tout autre calibre.

Prépare toi.

Il existe de nombreuses vidéos publiées montrant le même type de robots à quatre pattes qui ont été équipés d'armes prononcées d'un type ou d'un autre.

Par exemple, une mitrailleuse ou une arme à feu similaire est montée sur un robot dansant et caracolant autrement familier. Il existe une liaison électronique entre le robot à quatre pattes et le mécanisme de tir de l'arme. L'engin de marche informatique désormais armé est montré en train de marcher vers l'endroit où une cible de boudine a été placée, et la mitrailleuse est tirée violemment sur la cible. Après avoir cloué la cible partiellement détruite par la suite, le robot à quatre pattes danse et caracole autour des obstacles à proximité et s'aligne pour répéter la même action encore et encore sur d'autres nouvelles cibles.

Pas tout à fait ce à quoi vous vous attendiez à voir. Cela enlève certainement la légèreté et la joie relative de regarder franchement ces robots câlins à quatre pattes faire leur truc. Bienvenue dans la dure réalité d'apparemment inoffensif les systèmes autonomes étant convertis ou transformés en étant fortement militarisés. Avec peu d'efforts, vous pouvez du jour au lendemain avoir un système autonome considéré comme "non armé" modernisé pour contenir un armement complet.

C'est presque facile dans certaines circonstances.

Je vais discuter de ce sujet très controversé et couvrir les scrupules plutôt lourds de l'éthique de l'IA qui surgissent. Nous ferons un voyage dans les systèmes autonomes, l'IA, les véhicules autonomes, la militarisation et une multitude de problèmes liés à l'IA éthique. Pour ma couverture continue et étendue de l'éthique de l'IA et de l'IA éthique, voir le lien ici ainsi que le lien ici, Juste pour en nommer quelques-uns.

Commençons par quelques clés de voûte fondamentales.

Pour les besoins de la discussion, acceptez qu'il existe deux manières principales de catégoriser les systèmes autonomes qui ont été armés :

1) Systèmes d'armes autonomes (intentionnellement)

2) Systèmes autonomes militarisés (par après-coup)

Il existe une différence importante entre les deux catégories.

Dans un premier temps, nous définirons une système d'armement autonome être dès le départ une création informatisée qui est délibérément destinée à être une arme. Les développeurs avaient à l'esprit qu'ils voulaient concevoir une arme. Leur quête explicite est de produire une arme. Ils savaient qu'ils pouvaient combiner intégralement l'armement avec les dernières technologies de systèmes autonomes. C'est une arme qui surfe sur la vague de la haute technologie qui atteint un mouvement autonome et des actions autonomes (je développerai plus en détail, sous peu).

En revanche, dans un second temps, nous considérerons la question des systèmes autonomes qui n'ont aucune orientation particulière vers l'armement. Ce sont des systèmes autonomes en cours de développement à d'autres fins. Imaginez un véhicule autonome tel qu'une voiture autonome qui sera utilisé pour fournir une mobilité pour tous et aider à réduire les milliers de décès annuels qui surviennent en raison de la conduite humaine et des automobiles conduites par l'homme (voir ma couverture détaillée à le lien ici). Aucune arme ne semble être prise en considération pour ces efforts optimistes de renforcement de la société pour faire sortir les humains du volant et mettre l'IA dans le siège du conducteur à la place.

Mais ces systèmes autonomes inoffensifs peuvent être transformés en armes si les humains le souhaitent.

Je me réfère alors à cette deuxième catégorie comme systèmes autonomes militarisés. Le système autonome a été conçu à l'origine et avec dévotion dans un but vraisemblablement non militaire. Malgré cela, l'espoir altruiste rêveur est bouleversé par quelqu'un quelque part qui a l'idée complice que cet artifice pourrait être transformé en arme. Tout à coup, le système autonome qui semblait câlin est devenu une arme mortelle en étiquetant une certaine forme de capacités d'armes (comme les robots à quatre pattes ressemblant à des chiens mentionnés précédemment qui ont une mitrailleuse ou une arme à feu similaire ajoutée à leurs caractéristiques) .

Malheureusement, les deux catégories se retrouvent un peu au même endroit, à savoir fournir une capacité d'utilisation de systèmes autonomes pour l'armement sur une base potentiellement mortelle.

Le processus pour arriver à ce point final sera probablement différent.

Pour les systèmes autonomes carrément armés qui étaient considérés comme des armes, les aspects liés à l'armement sont généralement au premier plan. Vous pourriez dire que les facettes du système autonome sont enroulées autour de la pierre angulaire de toute arme envisagée. Le processus de réflexion des développeurs va quelque peu dans le sens de la manière dont une arme peut exploiter l'avènement des systèmes autonomes.

L'autre point de vue n'est généralement pas du tout de cet état d'esprit. Les développeurs veulent dériver un système autonome à la pointe de la technologie, peut-être pour le bien de l'humanité. Ces développeurs ont mis tout leur cœur et leur âme dans la création du système autonome. C'est le cœur de leur invention. Ils pourraient ne pas imaginer que quiconque usurperait ou subvertirait leur dispositif miraculeusement bénéfique. Ils sont béatement amoureux des avantages sociétaux associés au système autonome en cours de formation et de production.

À un moment donné, disons que des tiers se rendent compte que le système autonome peut être remanié pour être militarisé. Peut-être qu'ils incitent les développeurs à leur laisser le système autonome à des fins soi-disant nobles. Derrière des portes closes, ces malfaiteurs choisissent d'ajouter sournoisement une capacité de militarisation au système autonome. Voilà, l'innocence s'est transformée en véritable arme.

Les choses n'ont pas à se dérouler de cette manière.

On a peut-être dit aux développeurs qu'ils développaient un système autonome innocent, mais ceux qui finançaient ou dirigeaient l'effort avaient d'autres objectifs en tête. Peut-être que l'effort du système autonome a en effet commencé innocemment, mais ensuite, lorsque les factures ont dû être payées, les dirigeants ont conclu un accord avec une source de financement qui veut les systèmes autonomes pour des raisons néfastes. Une autre possibilité est que les développeurs savaient qu'une utilisation ultérieure pourrait être pour la militarisation, mais qu'ils pensaient qu'ils traverseraient ce pont déchirant quand ou s'il se présentait. Etc.

Il y a beaucoup, beaucoup de chemins différents sur la façon dont tout cela se déroule.

Vous trouverez peut-être intéressant que j'ai décrit dans des colonnes précédentes qu'il y a une prise de conscience croissante de l'éthique de l'IA concernant le à double usage éléments de l'IA contemporaine, voir le lien ici. Permettez-moi de vous mettre brièvement au courant.

Un système d'IA qui est envisagé pour le bien peut parfois être au bord du mal, peut-être via quelques changements assez simples, et est par conséquent considéré comme étant de nature à double usage. Dans l'actualité récente, un système d'IA a été conçu pour découvrir des produits chimiques qui pourraient être mortels, pour lesquels les développeurs voulaient s'assurer que nous pouvions éviter ou nous méfier de tels produits chimiques mal conçus. Il s'avère que l'IA pourrait être quelque peu facilement modifiée pour découvrir avec dévouement ces produits chimiques tueurs et ainsi potentiellement permettre aux méchants de savoir quels types de produits chimiques ils peuvent potentiellement préparer pour leurs plans diaboliques abyssaux.

Les systèmes autonomes peuvent manifestement s'intégrer dans cet enveloppement à double usage.

Dans une certaine mesure, c'est pourquoi l'éthique de l'IA et l'IA éthique sont un sujet si crucial. Les préceptes de l'IA Ethics nous incitent à rester vigilants. Les technologues en IA peuvent parfois devenir préoccupés par la technologie, en particulier l'optimisation de la haute technologie. Ils ne tiennent pas nécessairement compte des ramifications sociétales plus larges. Avoir une mentalité d'éthique de l'IA et le faire intégralement pour le développement et la mise en service de l'IA est essentiel pour produire une IA appropriée, y compris (peut-être de manière surprenante ou ironique) l'évaluation de la façon dont l'éthique de l'IA est adoptée par les entreprises.

Outre l'utilisation des préceptes d'éthique de l'IA en général, il y a une question correspondante de savoir si nous devrions avoir des lois pour régir les diverses utilisations de l'IA. De nouvelles lois circulent aux niveaux fédéral, étatique et local concernant la portée et la nature de la conception de l'IA. L'effort pour rédiger et promulguer de telles lois est graduel. L'éthique de l'IA sert à tout le moins de solution provisoire envisagée et sera presque certainement, dans une certaine mesure, directement intégrée à ces nouvelles lois.

Sachez que certains soutiennent catégoriquement que nous n'avons pas besoin de nouvelles lois qui couvrent l'IA et que nos lois existantes sont suffisantes. En fait, ils préviennent que si nous promulguons certaines de ces lois sur l'IA, nous saperons la poule aux œufs d'or en réprimant les progrès de l'IA qui offrent d'immenses avantages sociétaux.

L'autonomie et l'arme comme deux préceptes

Il y a un slogan que certains utilisent pour mettre en garde contre les systèmes autonomes armés de toutes sortes, qui sont inventés collectivement comme abattoirs.

Cela soulève un aspect supplémentaire sur lequel nous devons réfléchir.

Un système d'armes autonome et/ou un système autonome qui a été militarisé doit-il être à prédominance de robots létaux ou tueurs ?

Certains diront que nous pouvons avoir décidément non mortel systèmes autonomes armés aussi. Ainsi, de ce point de vue, il semblerait profondément inapproprié d'utiliser des phrasés tels que robots massacreurs ou robots tueurs. Une variante non létale serait vraisemblablement capable de maîtriser ou de provoquer un mal qui n'a pas de résultat létal. Ces systèmes ne tuent pas, ils sont d'une moindre capacité à générer des blessures. N'exagérez pas les capacités, disent ceux qui insistent sur le fait que nous n'avons pas à nous préoccuper d'un trope pur et simple de machine à tuer.

Ainsi, nous pourrions avoir ceci :

• Systèmes d'armes létaux autonomes
• Des systèmes autonomes létaux qui ont été militarisés
• Systèmes d'armes autonomes non létaux
• Systèmes autonomes non létaux qui ont été militarisés

Bien sûr, le contre-argument est que tout système autonome qui a été militarisé semble avoir le potentiel de glisser dans le domaine de la létalité, même s'il n'est censé être utilisé que sur une base non létale. Le passage progressif en deux étapes du non létal au létal va être rapidement entrepris une fois que vous aurez déjà en main une arme au sein d'un système autonome. Vous auriez du mal à fournir une garantie à toute épreuve que le non-létal n'aura pas sauté dans l'arène létale (bien que certains essaient de le faire, sous un semblant mathématique).

Avant d'aller plus loin dans ce sujet général des systèmes autonomes et de la militarisation, il pourrait être utile de souligner autre chose qui, bien que peut-être évident, n'est pas nécessairement visible en tête.

C'est ici:

• Il y a un aspect IA qui fait partie intégrante du système autonome
• Il y a un aspect d'armement qui est le côté armement de cette équation
• L'IA pourrait également être interconnectée avec l'armement

Découvrons ça.

Nous supposerons que les systèmes autonomes d'aujourd'hui nécessitent l'IA comme moyen informatisé sous-jacent pour faire émerger les facettes autonomes. Je mentionne cela parce que vous pourriez essayer de faire valoir que nous pourrions utiliser des technologies et des techniques non liées à l'IA pour faire les systèmes autonomes, ce qui, bien que vrai, semblerait de moins en moins probable. Fondamentalement, l'IA a tendance à permettre des niveaux d'autonomie plus élevés, et la plupart tirent parti de la haute technologie de l'IA en conséquence.

D'accord, nous avons donc une capacité basée sur l'IA qui est infusée d'une manière ou d'une autre dans le système autonome et agit pour guider et contrôler le système autonome.

Gardez cela à portée de main en règle générale.

Il semble évident que nous avons également besoin d'une certaine forme d'armement, sinon pourquoi abordons-nous ici le sujet des systèmes autonomes ainsi que armes. Donc, oui, évidemment, il y a une arme d'un genre ou d'un autre.

Je ne vais pas m'étendre sur le type d'armement qui pourrait être utilisé. Vous pouvez simplement substituer n'importe quelle arme qui vous vient à l'esprit. Il pourrait y avoir des armes précises. Il pourrait y avoir des armes destructrices orientées vers la masse. Cela pourrait être quelque chose avec des balles ou des projectiles. Il peut s'agir de quelque chose qui contient des produits chimiques ou des composants volatils atomiques. La liste est interminable.

La considération supplémentaire est de savoir si l'IA est ou non interconnectée avec l'armement. L'IA pourrait simplement prendre l'armement pour un tour. Dans le cas du robot à quatre pattes qui tirait avec une arme à feu, peut-être que l'arme est tirée par un humain qui a une télécommande connectée au déclenchement de l'arme. Le robot ressemblant à un chien navigue dans une scène, puis c'est à un humain distant d'appuyer sur la gâchette.

D'un autre côté, l'IA pourrait être l'extracteur de gâchette, pour ainsi dire. L'IA a peut-être été conçue non seulement pour naviguer et manœuvrer, mais aussi pour activer l'arme. En ce sens, l'IA fait tout de A à Z. Il n'y a aucune dépendance à un humain distant pour effectuer le côté armement des choses. L'IA est programmée pour le faire à la place.

Pour clarifier alors dans ce cas d'utilisation particulier des systèmes autonomes qui sont militarisés, nous avons ce genre de possibilités :

• Système autonome: L'IA gère le système autonome entièrement par elle-même
• Système autonome: L'IA gère le système autonome, mais un humain dans la boucle peut également intervenir
• Armes: L'homme à distance gère l'armement (l'IA ne le fait pas)
• Armes: L'IA gère l'armement, mais un humain dans la boucle peut également intervenir
• Armes: L'IA gère l'armement entièrement par elle-même

J'ai déjà couvert les variations d'avoir un humain dans la boucle concernant les systèmes autonomes et les véhicules autonomes, voir le lien ici.

Lorsque vous regardez ces vidéos amusantes des robots à quatre pattes dansants et caracolants, ils sont généralement censés être des robots qui sont exclusivement gérés par l'IA (enfin, c'est l'étiquette personnalisée ou considérée comme appropriée parmi ceux qui sont profondément dans ces matières). C'est ce que vous pourriez également supposer à juste titre. Bien sûr, vous ne le savez pas avec certitude. Il se peut qu'un opérateur humain à distance guide les robots. Il est également possible que l'IA fasse une partie du guidage, et qu'un opérateur humain à distance le fasse également, aidant peut-être l'IA si le robot se retrouve dans une position difficile et ne peut pas calculer par ordinateur un moyen viable de se libérer.

L'essentiel ici est qu'il existe de nombreuses saveurs de la façon dont l'IA et les systèmes autonomes et la militarisation peuvent être mélangés. Certains ont une IA qui gère le système autonome mais ne gère pas l'armement. Un humain dirige peut-être l'armement à distance. Un autre angle est que l'armement est peut-être activé à l'avance, et le système autonome délivre l'arme activée, ainsi l'IA n'a pas participé directement au déclenchement de l'arme en soi et agissait plutôt comme un véhicule de livraison. Et il se pourrait que l'IA soit un touche-à-tout proverbial et fasse également toute la gamme des aspects du système autonome pour l'utilisation des armes.

Faites votre choix.

En attendant, sachez que l'humain dans la boucle est un facteur important lorsqu'il s'agit de débats sur ce sujet.

Une ligne de démarcation par certains est que si l'IA fait le ciblage et le tir (ou quoi que ce soit que l'arme implique), alors l'ensemble du kit et du caboodle est passé dans un terrain inconnu. Cela diffère apparemment des armes conventionnelles à tirer et à oublier qui ont une sélection pré-ciblée déterminée par l'homme, comme un drone de patrouille qui a un missile prêt à tirer sur une cible qui était déjà choisi par un humain.

Certains se demandent pourquoi les systèmes autonomes qui sont militarisés n'incluraient pas toujours un humain dans la boucle tout au long du processus du système autonome étant dans un statut activement en cours. Il semble que nous serions mieux lotis si une exigence stridente était que tous ces systèmes autonomes armés devaient avoir un humain dans la boucle, soit pour le fonctionnement du système autonome, soit pour le fonctionnement de l'armement (ou pour les deux) . Garder une main humaine supposée sûre et stable dans ce mélange d'IA peut sembler tout à fait astucieux.

Préparez-vous à une longue liste de raisons pour lesquelles ce n'est pas nécessairement faisable.

Considérez ces difficultés :

• Human-in-the-loop peut ne pas être assez rapide pour répondre en temps opportun
• Human-in-the-loop pourrait ne pas avoir suffisamment d'informations pour répondre consciencieusement
• Human-in-the-loop peut ne pas être disponible au moment voulu
• L'humain dans la boucle peut être indécis et n'agira pas en cas de besoin
• Human-in-the-loop pourrait prendre la "mauvaise" décision (relativement)
• Human-in-the-loop peut ne pas être accessible depuis le système au moment voulu
• Human-in-the-loop peut devenir confus et être dépassé
• Etc

Vous êtes sans aucun doute tenté de regarder cette liste de fragilités et de limites humaines, puis d'arriver à la conclusion solennelle qu'il est apparemment logique d'exciser l'humain dans la boucle et de toujours utiliser l'IA à la place. Cela pourrait soit exclure l'humain dans la boucle, soit permettre à l'IA de remplacer une conception enracinée de l'humain dans la boucle. Voir mon analyse de la façon dont les désaccords entre l'IA et un humain dans la boucle peuvent conduire à des situations précaires, couvert à le lien ici.

Souvent, une liste dérisoire de ces types d'inconvénients axés sur l'humain en temps réel est laissée d'elle-même et laisse une impression persistante que l'IA doit en quelque sorte être un choix beaucoup plus judicieux que d'avoir un humain dans la boucle . Ne tombez pas dans ce piège déloyal. Il y a des compromis qui donnent à réfléchir.

Considérez ces ramifications de l'IA :

• L'IA peut rencontrer une erreur qui la fait s'égarer
• L'IA peut être submergée et se bloquer sans répondre
• L'IA peut contenir des bogues de développement qui provoquent un comportement erratique
• L'IA pourrait être corrompue par un virus malveillant implanté
• L'IA pourrait être prise en charge par les cyberhackers en temps réel
• L'IA peut être considérée comme imprévisible en raison de sa complexité
• L'IA pourrait prendre la "mauvaise" décision par calcul (relativement)
• Etc

J'espère que vous pouvez voir qu'il existe des compromis entre l'utilisation d'un humain dans la boucle et le fait de dépendre uniquement de l'IA. Au cas où vous seriez tenté de suggérer que la solution immédiate consiste à utiliser les deux, je voudrais simplement souligner que vous pouvez obtenir le meilleur des deux mondes, mais vous pouvez également obtenir le pire des deux mondes. Ne présumez pas que ce sera toujours et assurément le meilleur des deux mondes.

Vous avez peut-être été quelque peu surpris par l'un des inconvénients de l'IA énumérés ci-dessus, en particulier le fait que l'IA pourrait être imprévisible. Nous sommes habitués à croire que l'IA est censée être strictement logique et mathématiquement précise. En tant que tel, vous pouvez également vous attendre à ce que l'IA soit entièrement prévisible. Nous sommes censés savoir exactement ce que l'IA fera. Période, fin de l'histoire.

Désolé d'éclater ce ballon, mais ce mythe de la prévisibilité est un terme impropre. La taille et la complexité de l'IA moderne sont souvent un bourbier qui défie d'être parfaitement prévisible. Cela se voit dans les tumultes de l'IA éthique concernant certaines utilisations de l'apprentissage automatique (ML) et de l'apprentissage en profondeur (DL) d'aujourd'hui. Je vais vous expliquer un peu plus momentanément.

En outre, vous voudrez peut-être jeter un œil à ma dernière analyse des tendances à venir pour essayer de garantir des systèmes d'IA vérifiables et mathématiquement corrects via les dernières nouveautés en matière de sécurité de l'IA, sur le lien ici.

Ruminer sur les règles de la route

J'avais mentionné la notion d'objectifs et de ciblage, qui est une terminologie assez chargée qui mérite une attention particulière.

On peut méditer ceci :

• Des cibles qui sont des humains
• Des cibles qui ne sont pas des humains mais des créatures vivantes
• Des cibles qui sont interprétées comme des biens

Supposons que nous ayons un système autonome qui a été militarisé. L'IA est utilisée pour guider le système autonome et utilisée pour l'armement. L'IA fait tout de A à Z. Il n'y a pas de disposition pour un humain dans la boucle. En termes de ciblage, l'IA choisira les cibles. Il n'y a pas de pré-ciblage qui a été établi par l'homme. Au lieu de cela, l'IA a été programmée pour déterminer de manière générale s'il y a des humains à cibler (peut-être en recherchant des actions hostiles, certains types d'uniformes, etc.).

Avec moi jusqu'à présent ?

Ce scénario est à peu près celui qui provoque le plus de tollé à propos des systèmes autonomes armés.

La préoccupation déclarée est que l'IA fait (au moins) trois choses qu'elle ne devrait pas être autorisée à faire :

• Cibler les humains comme cibles
• Ciblage sans l'utilisation d'un humain dans la boucle
• Action potentiellement imprévisiblely

Notez qu'il y a une mention pointue des inquiétudes concernant l'imprévisibilité de l'IA. Il se pourrait que bien que l'IA ait été programmée pour cibler certains types d'humains, la programmation de l'IA n'est pas ce que nous pensions qu'elle était, et l'IA finit par cibler les "amis" en plus de ceux que l'IA était censée interpréter comme "hostiles". » (ou, peut-être à la place de). En plus de cela, même si nous choisissons d'inclure une disposition sur l'humain dans la boucle, l'imprévisibilité de l'IA pourrait signifier que lorsque l'IA est censée s'entretenir avec l'humain dans la boucle, elle ne le fait pas. ainsi et agit sans aucune intervention humaine.

Vous trouverez peut-être intéressant que le Comité international de la Croix-Rouge (CICR) ait proposé une position globale en trois points sur les systèmes d'armes autonomes qui élabore sur ces types de préoccupations (selon le site Web du CICR) :

1. "Les systèmes d'armes autonomes imprévisibles devraient être expressément réglementés ande, notamment en raison de leurs effets indiscriminés. Le mieux serait d'y parvenir en interdisant les systèmes d'armes autonomes qui sont conçus ou utilisés de manière à ce que leurs effets ne puissent pas être suffisamment compris, prédits et expliqués.

2. « À la lumière des considérations éthiques visant à sauvegarder l'humanité et à faire respecter les règles du droit international humanitaire pour la protection des civils et des combattants hors de combat, l'utilisation de systèmes d'armes autonomes visant des êtres humains devrait être exclue. Le mieux serait d'y parvenir en interdisant les systèmes d'armes autonomes conçus ou utilisés pour appliquer la force contre des personnes.

3. « Afin de protéger les civils et les biens de caractère civil, de faire respecter les règles du droit international humanitaire et de sauvegarder l'humanité, la conception et l'utilisation de systèmes d'armes autonomes qui ne seraient pas interdits devraient être réglementées, notamment par une combinaison de : limites sur les types de cible, comme les limiter à des objets qui sont des objectifs militaires par nature ; limites sur la durée, la portée géographique et l'échelle d'utilisation, y compris pour permettre un jugement et un contrôle humains en relation avec une attaque spécifique ; limites des situations d'utilisation, comme les contraindre à des situations où des civils ou des biens de caractère civil ne sont pas présents ; rexigences pour l'interaction homme-machine, notamment pour assurer une supervision humaine efficace, une intervention et une désactivation en temps opportun.

Dans une perspective connexe, les Nations Unies (ONU) via la Convention sur certaines armes classiques (CCW) à Genève ont établi onze principes directeurs non contraignants sur les armes létales autonomes, selon le rapport officiel publié en ligne (comprenant des références aux Dispositions légales ou DIH) :

a) Le droit international humanitaire continue de s'appliquer pleinement à tous les systèmes d'armes, y compris la mise au point et l'utilisation potentielles de systèmes d'armes létaux autonomes ;

b) La responsabilité humaine des décisions relatives à l'utilisation des systèmes d'armes doit être conservée puisque la responsabilité ne peut être transférée aux machines. Cela devrait être pris en compte tout au long du cycle de vie du système d'armes ;

c) L'interaction homme-machine, qui peut prendre diverses formes et être mise en œuvre à divers stades du cycle de vie d'une arme, devrait garantir que l'utilisation potentielle de systèmes d'armes basés sur des technologies émergentes dans le domaine des systèmes d'armes létaux autonomes est en le respect du droit international applicable, en particulier du DIH. Pour déterminer la qualité et l'étendue de l'interaction homme-machine, une série de facteurs doivent être pris en compte, notamment le contexte opérationnel, ainsi que les caractéristiques et les capacités du système d'armes dans son ensemble ;

d) La responsabilité pour le développement, le déploiement et l'utilisation de tout système d'armes émergent dans le cadre de la CCAC doit être assurée conformément au droit international applicable, notamment par l'exploitation de ces systèmes au sein d'une chaîne responsable de commandement et de contrôle humain ;

e) Conformément aux obligations des États en vertu du droit international, lors de l'étude, de la mise au point, de l'acquisition ou de l'adoption d'une nouvelle arme, d'un nouveau moyen ou d'une nouvelle méthode de guerre, il faut déterminer si son emploi serait, dans certaines ou dans toutes les circonstances, interdit par le droit international;

f) Lors du développement ou de l'acquisition de nouveaux systèmes d'armes basés sur des technologies émergentes dans le domaine des systèmes d'armes létaux autonomes, de la sécurité physique, des garanties non physiques appropriées (y compris la cybersécurité contre le piratage ou l'usurpation de données), le risque d'acquisition par des groupes terroristes et le risque de prolifération doit être pris en compte ;

g) Les évaluations des risques et les mesures d'atténuation devraient faire partie du cycle de conception, de développement, d'essai et de déploiement des technologies émergentes dans tous les systèmes d'armes;

h) Il convient d'envisager l'utilisation de technologies émergentes dans le domaine des systèmes d'armes létales autonomes pour assurer le respect du DIH et des autres obligations juridiques internationales applicables ;

(i) Lors de l'élaboration de mesures politiques potentielles, les technologies émergentes dans le domaine des systèmes d'armes létales autonomes ne devraient pas être anthropomorphisées ;

(j) Les discussions et toutes les mesures politiques potentielles prises dans le cadre de la CCAC ne devraient pas entraver les progrès ou l'accès aux utilisations pacifiques des technologies autonomes intelligentes ;

k) La CCAC offre un cadre approprié pour traiter de la question des technologies émergentes dans le domaine des systèmes d'armes létales autonomes dans le contexte des objectifs et buts de la Convention, qui cherche à trouver un équilibre entre nécessité militaire et considérations humanitaires.

Le dilemme dans lequel nous nous trouvons

Ces diverses lois de la guerre, lois sur les conflits armés ou DIH (lois humanitaires internationales) servent de guide vital et toujours prometteur pour réfléchir à ce que nous pourrions essayer de faire face à l'avènement de systèmes autonomes militarisés, que ce soit par une conception clé de voûte ou par des méthodes a posteriori.

Nous pouvons sincèrement souhaiter qu'une interdiction des systèmes autonomes armés meurtriers soit strictement et docilement observée. Le problème est qu'une grande marge de manœuvre est inévitablement trouvée sournoisement dans l'une des interdictions les plus sincères. Comme on dit, les règles sont faites pour être enfreintes. Vous pouvez parier que là où les choses sont lâches, les racailles dénicheront des lacunes et essaieront de contourner les règles.

Voici quelques failles potentielles dignes de considération :

• Revendications non létales. Faire non mortel des systèmes d'armes autonomes (apparemment corrects puisqu'ils sont en dehors de la limite d'interdiction), que vous pouvez ensuite transformer en un rien de temps pour devenir mortels (vous ne serez au-delà de l'interdiction qu'à la dernière minute).
• Revendications du système autonome uniquement. Maintenez l'interdiction en ne créant pas de systèmes autonomes axés sur la létalité, en attendant, faites autant de progrès dans la conception de systèmes autonomes quotidiens qui ne sont pas (encore) militarisés, mais que vous pouvez sur un centime moderniser pour être militarisés.
• Allégations de non intégré comme un. Fabriquez des systèmes autonomes qui ne sont pas du tout militarisés et, le moment venu, une militarisation de sorte que vous puissiez tenter d'affirmer avec véhémence qu'il s'agit de deux éléments distincts et donc affirmer qu'ils ne relèvent pas de la rubrique tout-en-un. système d'arme autonome ou son cousin.
• Affirme qu'il n'est pas autonome. Faire un système d'arme qui ne semble pas avoir de capacités autonomes. Laissez de la place dans ce système présumé non autonome pour l'arrivée de l'autonomie basée sur l'IA. En cas de besoin, branchez l'autonomie et vous êtes prêt à rouler (jusque-là, apparemment, vous ne violiez pas l'interdiction).
• Autre

Il y a beaucoup d'autres difficultés exprimées à essayer d'interdire purement et simplement les systèmes d'armes létaux autonomes. Je vais en couvrir quelques autres.

Certains experts soutiennent qu'une interdiction n'est pas particulièrement utile et qu'il devrait plutôt y avoir des dispositions réglementaires. L'idée est que ces engins seront autorisés mais strictement contrôlés. Une litanie d'utilisations licites est présentée, ainsi que des méthodes de ciblage licites, des types de capacités licites, une proportionnalité licite, etc.

Selon eux, une interdiction pure et simple revient à se mettre la tête dans le sable et à prétendre que l'éléphant dans la pièce n'existe pas. Cette affirmation fait cependant bouillir le sang de ceux qui s'opposent à l'argument selon lequel en instituant une interdiction, vous êtes en mesure de réduire considérablement la tentation de poursuivre ce type de systèmes. Bien sûr, certains afficheront l'interdiction, mais au moins, espérons-le, la plupart ne le feront pas. Vous pouvez alors concentrer votre attention sur les flâneurs et ne pas avoir à vous concentrer sur tout le monde.

Tour et tour ces débats vont.

Une autre préoccupation souvent notée est que même si les bons respectent l'interdiction, les mauvais ne le feront pas. Cela met le bon dans une mauvaise posture. Les méchants auront ce genre de systèmes autonomes armés et les bons non. Une fois que les choses seront révélées que les mauvais les ont, il sera trop tard pour que les bons les rattrapent. Bref, la seule chose astucieuse à faire est de se préparer à combattre le feu par le feu.

Il y a aussi l'argument classique de la dissuasion. Si les bons choisissent de fabriquer des systèmes autonomes armés, cela peut être utilisé pour dissuader les mauvais de chercher à se battre. Soit les bons seront mieux armés et dissuaderont ainsi les mauvais, soit les bons seront prêts quand les mauvais dévoileront peut-être qu'ils ont subrepticement conçu ces systèmes depuis le début.

Un contre à ces contre est qu'en fabriquant des systèmes autonomes armés, vous faites une course aux armements. L'autre côté cherchera à avoir la même chose. Même s'ils sont technologiquement incapables de recréer de tels systèmes, ils pourront désormais voler les plans des "bons", désosser les entrailles de la haute technologie ou imiter tout ce qu'ils semblent considérer comme une solution éprouvée. moyen de faire le travail.

Aha, certains répliquent, tout cela pourrait conduire à une réduction des conflits par un semblant de mutuellement. Si le côté A sait que le côté B possède ces armes mortelles de systèmes autonomes, et que le côté B sait que le côté A les possède, ils pourraient rester tranquilles et ne pas en venir aux mains. Cela a cette aura distincte de vibrations de destruction mutuelle assurée (MAD).

Et ainsi de suite.

L'IA dans l'autonomie

Assurons-nous que nous sommes sur la même longueur d'onde sur la nature de l'IA d'aujourd'hui.

Il n'y a pas d'IA aujourd'hui qui soit sensible. Nous n'avons pas cela. Nous ne savons pas si l'IA sensible sera possible. Personne ne peut prédire avec justesse si nous atteindrons l'IA sensible, ni si l'IA sensible surgira d'une manière ou d'une autre miraculeusement spontanément sous une forme de supernova cognitive computationnelle (généralement appelée la singularité, voir ma couverture à le lien ici).

Le type d'IA sur lequel je me concentre est l'IA non sensible que nous avons aujourd'hui. Si nous voulions spéculer sauvagement sur sensible AI, cette discussion pourrait aller dans une direction radicalement différente. Une IA sensible serait censée être de qualité humaine. Vous devez considérer que l'IA sensible est l'équivalent cognitif d'un humain. Plus encore, puisque certains pensent que nous pourrions avoir une IA super intelligente, il est concevable qu'une telle IA puisse finir par être plus intelligente que les humains (pour mon exploration de l'IA super intelligente comme possibilité, voir la couverture ici).

Gardons les choses plus terre à terre et considérons l'IA computationnelle non sensible d'aujourd'hui.

Réalisez que l'IA d'aujourd'hui n'est pas capable de "penser" d'une quelconque manière à la hauteur de la pensée humaine. Lorsque vous interagissez avec Alexa ou Siri, les capacités conversationnelles peuvent sembler proches des capacités humaines, mais la réalité est qu'elles sont informatiques et manquent de cognition humaine. La dernière ère de l'IA a largement utilisé l'apprentissage automatique (ML) et l'apprentissage en profondeur (DL), qui tirent parti de la correspondance de modèles de calcul. Cela a conduit à des systèmes d'IA qui ont l'apparence de penchants humains. Pendant ce temps, il n'y a pas d'IA aujourd'hui qui ait un semblant de bon sens et ni l'émerveillement cognitif d'une pensée humaine robuste.

Soyez très prudent lorsque vous anthropomorphisez l'IA d'aujourd'hui.

ML/DL est une forme de correspondance de modèle informatique. L'approche habituelle consiste à assembler des données sur une tâche de prise de décision. Vous introduisez les données dans les modèles informatiques ML/DL. Ces modèles cherchent à trouver des modèles mathématiques. Après avoir trouvé de tels modèles, le cas échéant, le système d'IA utilisera alors ces modèles lorsqu'il rencontrera de nouvelles données. Lors de la présentation de nouvelles données, les modèles basés sur les « anciennes » ou données historiques sont appliqués pour rendre une décision actuelle.

Je pense que vous pouvez deviner où cela se dirige. Si les humains qui ont pris des décisions calquées sur des modèles ont incorporé des préjugés fâcheux, il y a de fortes chances que les données reflètent cela de manière subtile mais significative. La mise en correspondance de modèles de calcul par apprentissage automatique ou apprentissage en profondeur tentera simplement d'imiter mathématiquement les données en conséquence. Il n'y a aucun semblant de bon sens ou d'autres aspects sensibles de la modélisation conçue par l'IA en soi.

De plus, les développeurs d'IA pourraient ne pas réaliser non plus ce qui se passe. Les mathématiques obscures du ML/DL pourraient rendre difficile la découverte des biais désormais cachés. Vous espérez et attendez à juste titre que les développeurs d'IA testent les biais potentiellement enfouis, bien que cela soit plus délicat qu'il n'y paraît. Il y a de fortes chances que même avec des tests relativement approfondis, des biais soient toujours intégrés dans les modèles de correspondance de modèles du ML/DL.

Vous pourriez en quelque sorte utiliser le célèbre ou tristement célèbre adage des ordures à l'intérieur et à l'extérieur. Le fait est que cela s'apparente davantage à des préjugés qui sont insidieusement infusés en tant que préjugés submergés dans l'IA. La prise de décision algorithmique (ADM) de l'IA devient axiomatiquement chargée d'iniquités.

Pas bon.

Avec cet arrière-plan fondamental supplémentaire, nous nous tournons à nouveau vers le sujet des systèmes autonomes et de la militarisation. Nous avons vu précédemment que l'IA entre dans le composant du système autonome et peut également entrer dans le composant de militarisation. L'IA d'aujourd'hui n'est pas sensible. Cela mérite d'être répété et je le soulignerai pour mieux comprendre ces questions.

Explorons quelques scénarios pour voir en quoi il s'agit d'une considération cruciale. Je vais momentanément sortir d'une orientation de temps de guerre sur ce sujet et montrer comment il imprègne de nombreux autres milieux sociaux. Stabilisez-vous en conséquence.

Un système autonome basé sur l'IA, tel qu'un véhicule autonome dont nous dirons qu'il n'a absolument rien à voir avec les armes, fait son chemin dans un lieu normal. Un humain vient utiliser le véhicule autonome. La personne est armée d'une arme inquiétante. Supposons, pour les besoins de la discussion dans ce scénario particulier, que la personne ait quelque chose de fâcheux à l'esprit. La personne monte dans le véhicule autonome (portant son arme, dissimulée ou non, dans les deux sens).

Le véhicule autonome se dirige vers la destination demandée par le passager. Dans ce cas, l'IA transporte simplement par programme ce passager d'un lieu de prise en charge à une destination désignée, comme elle le fait peut-être pour des dizaines ou des centaines de voyages, chaque jour.

S'il s'agissait d'un conducteur humain et d'un véhicule conduit par un humain, il y a vraisemblablement une chance que le conducteur humain se rende compte que le passager est armé et semble avoir des intentions fâcheuses. Le conducteur humain pourrait refuser de conduire le véhicule. Ou le conducteur humain pourrait se rendre au poste de police. Ou peut-être que le conducteur humain pourrait essayer de maîtriser le passager armé (des cas signalés existent) ou de dissuader le passager d'utiliser son arme. C'est assez compliqué, et un certain nombre de variantes peuvent exister. Vous auriez du mal à affirmer qu'il n'y a qu'une seule bonne réponse pour résoudre une telle situation. Malheureusement, la situation est vexante et évidemment dangereuse.

Il est peu probable que l'IA dans ce cas soit programmée pour l'un de ces types de possibilités. En bref, le passager armé pourrait être en mesure d'utiliser son arme, le faisant depuis l'intérieur du véhicule autonome, au cours du trajet de conduite. Le système de conduite IA continuera à voyager et le véhicule autonome continuera à se diriger vers la désignation indiquée du passager (en supposant que la destination n'a pas été autrement considérée comme hors limites).

La plupart des systèmes de conduite IA contemporains ne se concentreraient que sur la chaussée et non sur les efforts du cycliste.

Les choses peuvent empirer.

Supposons que quelqu'un veuille faire transporter un tas d'épicerie vers un endroit qui prend de la nourriture supplémentaire pour les nécessiteux. La personne demande un véhicule autonome et place les sacs d'épicerie sur la banquette arrière du véhicule. Ils ne vont pas faire le trajet et utilisent simplement le véhicule autonome pour leur livrer les sacs de nourriture.

Semble parfaitement bien.

Imaginez qu'une personne ignoble opte plutôt pour placer une forme de militarisation dans le véhicule autonome plutôt que la notion plus pacifique de sacs d'épicerie. Je pense que vous pouvez deviner ce qui pourrait arriver. C'est une préoccupation que j'ai exhortée à plusieurs reprises dans mes colonnes et avertie que nous devons faire face le plus tôt possible.

Une réponse proposée à ces types de scénarios est que peut-être tous les véhicules autonomes pourraient être programmés pour utiliser leurs caméras et autres capteurs pour essayer de détecter si un passager potentiel est armé et a des intentions néfastes. Peut-être que l'IA serait programmée pour faire ça. Ou l'IA alerte électroniquement et silencieusement un opérateur humain à distance qui, via les caméras, examinerait visuellement et autrement et interagirait éventuellement avec le passager. Tout cela fait partie d'une boîte de Pandore complexe et potentiellement insoluble, de sorte qu'elle soulève d'intenses problèmes de confidentialité et une pléthore d'autres problèmes potentiels d'IA éthique. Voir ma couverture sur le lien ici.

Une autre alternative quelque peu similaire est que l'IA contient une sorte de programmation éthique intégrée qui tente de permettre à l'IA de porter des jugements éthiques ou moraux qui sont normalement réservés aux décideurs humains. J'ai examiné ces sortes de pronostiqueurs d'éthique computationnelle intégrés à l'IA, voir le lien ici ainsi que le lien ici.

Pour en revenir à un scénario de champ de bataille, imaginez qu'un système d'armes autonomes meurtriers survole une zone de combat. L'IA exploite le système autonome. L'IA fait fonctionner les armes à bord. Nous avions auparavant imaginé la possibilité que l'IA puisse être programmée pour rechercher des mouvements apparemment hostiles ou d'autres indicateurs de cibles humaines considérées comme des combattants valides.

Cette même IA devrait-elle avoir une sorte de composant éthique qui s'efforce de considérer de manière informatique ce qu'un humain dans la boucle pourrait faire, agissant dans un sens au lieu d'avoir un humain dans la boucle ?

Certains disent oui, poursuivons cela. Certains reculent d'horreur et disent que c'est soit impossible, soit viole le caractère sacré de l'humanité.

Encore une autre boîte de Pandore.

Conclusion

Pour ceux d'entre vous qui s'intéressent à ce sujet, il y a beaucoup plus à discuter.

Je vais vous donner un aperçu rapide d'une énigme lancinante.

Nous nous attendons normalement à ce qu'un humain soit finalement tenu responsable de tout ce qui se passe en temps de guerre. Si l'IA contrôle un système d'arme autonome ou contrôle un système autonome qui a peut-être été militarisé, et que ce système fait quelque chose sur le champ de bataille qui est considéré comme inadmissible, qui ou quoi doit-on blâmer pour cela ?

Vous pourriez dire que l'IA devrait être tenue pour responsable. Mais, si oui, qu'est-ce que cela signifie exactement ? Nous ne considérons pas encore l'IA d'aujourd'hui comme l'incarnation de la personnalité juridique, voir mon explication sur le lien ici. Pas d'épinglage de la queue sur l'âne dans le cas de l'IA. Peut-être que si l'IA devient un jour sensible, vous pouvez essayer de le faire. Jusque-là, c'est un peu exagéré (en plus, à quel genre de pénalités ou de répercussions l'IA serait-elle soumise, voir mon analyse sur le lien ici ainsi que le lien ici, par exemple).

Si l'IA n'est pas le suspect responsable, nous pourrions alors naturellement dire que tout être humain ou humain ayant conçu l'IA devrait être tenu pour responsable. Pouvez-vous le faire si l'IA gérait simplement un système autonome et que certains humains venaient le coupler avec une militarisation ? Allez-vous après les développeurs d'IA? Ou ceux qui ont déployé l'IA ? Ou juste l'acteur militarisant ?

J'espère que vous avez l'idée que je n'ai touché que la pointe de l'iceberg dans ma discussion chaleureuse.

Pour l'instant, allons-y et résumons ce discours. Vous vous souviendrez peut-être que John Lyly dans Euphues: L'anatomie de l'esprit en 1578 a déclaré mémorablement que tout est juste dans l'amour et la guerre.

Aurait-il eu à l'esprit l'émergence de systèmes d'armes autonomes et l'avènement également de systèmes autonomes militarisés ?

Nous devons certainement mettre cela en tête de nos esprits, tout de suite.