L'éthique de l'IA et la débâcle imminente lorsque cette loi de la ville de New York exigeant des audits pour les biais de l'IA passe à la vitesse supérieure

Parfois, les meilleures intentions sont lamentablement anéanties par un grave manque d'attention aux détails.

Un excellent exemple de cette sage sagesse mérite d'être exploré.

Plus précisément, examinons de près une nouvelle loi à New York concernant l'intelligence artificielle (IA) qui entrera en vigueur le 1er janvier 2023. Vous pourriez facilement gagner un pari considérable que toutes sortes de confusion, de consternation et de problèmes surgiront. une fois la loi entrée en vigueur. Bien que les problèmes ne soient pas intentionnels, ils se produiront indubitablement à la suite d'une mauvaise conception ou du moins d'une stipulation insuffisante des détails nécessaires qui auraient dû et auraient pu être facilement conçus et explicitement énoncés.

Je fais référence à une loi locale adoptée l'année dernière le 11 décembre 2021 dans la ville vénérée de New York qui devrait entrer en vigueur au début de 2023. Nous ne sommes actuellement qu'à quelques mois du grand réveil qui cette nouvelle loi va remuer. J'aimerais pouvoir dire que la loi ambitieuse va faire ce qu'elle est censée faire, à savoir traiter les biais potentiels de l'IA dans le domaine de la prise de décisions en matière d'emploi. Hélas, bien que l'intention soit louable, je vous expliquerai les lacunes béantes, les omissions et le manque de précision qui saperont cette loi et rendront les employeurs fous alors qu'ils cherchent à faire face aux répercussions involontaires mais assez néfastes de celle-ci.

Vous pourriez dire que c'est le problème classique d'aller de l'avant avec un plan à moitié cuit. Une maxime vénérée attribuée à Dwight Eisenhower était qu'un plan n'est rien alors que la planification est tout. En bref, cette loi particulière va fournir un exemple frappant de la façon dont les législateurs peuvent parfois échouer en omettant de réfléchir à l'avance les précisions nécessaires pour que la loi atteigne ses objectifs louables et puisse être adoptée de manière assurément raisonnable et prudente.

Une débâcle nous attend.

Les excuses s'alignent déjà.

Certains experts ont dit que vous ne pouvez jamais complètement spécifier une loi et que vous devez la voir en action pour savoir quels aspects de la loi doivent être modifiés (un truisme général qui est déformé dans ce cas). De plus, ils soutiennent avec véhémence que c'est notamment le cas en ce qui concerne la nouveauté émergente des lois liées à l'IA. Heck, ils exhortent, l'IA est une magie de haute technologie dont nous ne savons pas grand-chose en tant que législateurs, donc, la logique veut qu'il vaut mieux mettre quelque chose dans les pages juridiques que rien du tout.

En surface, cela semble certainement convaincant. Creusez plus profondément et vous vous rendrez compte que c'est potentiellement hooey, y compris et particulièrement dans le cas de cette loi spécifique. Cette loi pourrait aisément être stipulée plus adroitement et judicieusement. Nous n'avons pas besoin de potions magiques. Nous n'avons pas besoin d'attendre que la pagaille surgisse. Au moment où la loi a été rédigée, le bon type de formulation et de détails aurait pu être établi.

Assurons-nous également que l'idée inconvenante et flottante selon laquelle les aspects de l'adoption ne pouvaient pas être devinés à l'avance est douloureusement absurde. C'est un charabia légal du genre le plus vide de sens. Il existe de nombreuses considérations déjà connues concernant la gestion des biais d'IA et la réalisation d'audits d'IA qui auraient pu être facilement intégrées dans cette loi. Il en va de même pour toute autre juridiction envisageant d'établir une telle loi. Ne soyez pas dupe en croyant que nous ne devons recourir qu'à lancer aveuglément une fléchette légale dans les vents sauvages et souffrir d'angoisse. Une cuillerée de pensée juridique combinée à une compréhension appropriée de l'IA est déjà réalisable et il n'est pas nécessaire de se saisir uniquement de pailles.

J'ajouterai qu'il est encore temps de régler ce problème. L'horloge tourne toujours. Il pourrait être possible de se réveiller avant que les sonnettes d'alarme ne commencent à sonner. L'avis nécessaire peut être dérivé et rendu public. Le temps est compté, il faut donc lui accorder la priorité.

Dans tous les cas, assurez-vous de saisir l'accent mis ici.

Permettez-moi de préciser avec ferveur qu'une telle loi concernant les biais de l'IA a du mérite. Je vais vous expliquer pourquoi dans un instant. Je décrirai également les problèmes que pose cette nouvelle loi dont beaucoup diraient qu'elle est la première à être inscrite dans les livres juridiques (d'autres variantes existent, peut-être pas tout à fait comme celle-ci cependant).

En effet, vous pouvez vous attendre à ce que des lois similaires voient progressivement le jour dans tout le pays. Une préoccupation notable est que si cette tentative de premier arrivé à New York tourne mal, cela pourrait amener le reste du pays à se méfier de la promulgation de telles lois. Ce n'est pas la bonne leçon à tirer. La bonne leçon est que si vous allez écrire une telle loi, faites-le raisonnablement et avec la considération qui leur est due.

Les lois jetées dans les livres sans vérification adéquate peuvent être assez bouleversantes et créer toutes sortes de difficultés en aval. Dans ce sens des choses, s'il vous plaît ne jetez pas le bébé avec l'eau du bain (un vieux dicton, devrait probablement être retiré). L'essentiel est que de telles lois peuvent être véritablement productives et protectrices lorsqu'elles sont correctement rédigées.

Celui-ci en particulier ne va malheureusement pas le faire par la porte.

Toutes sortes de conseils paniqués sont liés à provenir des acteurs et des exécuteurs de la loi. Marquez vos calendriers pour la fin janvier et jusqu'en février 2023 pour regarder la ruée s'ensuivre. Pointer du doigt va être extrêmement intense.

Personne ne crie particulièrement en ce moment parce que la loi n'a pas encore atterri sur la tête des employeurs qui seront zonés par la nouvelle loi. Imaginez qu'il s'agisse d'une sorte de tremblement de terre métaphoriquement parlant qui devrait avoir lieu dans les premières semaines de 2023. Peu se préparent au tremblement de terre. Beaucoup ne savent même pas que le tremblement de terre est déjà inscrit sur le calendrier. Cela étant dit, une fois le tremblement de terre survenu, de nombreuses entreprises très étonnées et choquées se demanderont ce qui s'est passé et pourquoi le désordre a dû se produire.

Tout cela a des implications particulièrement importantes sur l'éthique de l'IA et offre une fenêtre pratique sur les leçons apprises (avant même que toutes les leçons ne se produisent) lorsqu'il s'agit d'essayer de légiférer sur l'IA. Pour ma couverture continue et étendue de l'éthique de l'IA, l'IA éthique, ainsi que la loi sur l'IA parmi les facettes juridiques de la gouvernance de l'IA, peuvent être trouvées sur le lien ici ainsi que le lien ici, Juste pour en nommer quelques-uns.

Cette histoire juridique de malheur concerne les préoccupations émergentes d'autrefois concernant l'IA d'aujourd'hui et en particulier l'utilisation de l'apprentissage automatique (ML) et de l'apprentissage en profondeur (DL) en tant que forme de technologie et la manière dont elle est utilisée. Vous voyez, il y a des utilisations de ML/DL qui ont tendance à impliquer que l'IA soit anthropomorphisée par le grand public, croyant ou choisissant de supposer que le ML/DL est soit une IA sensible, soit proche de (ce n'est pas le cas). En outre, ML/DL peut contenir des aspects de la correspondance de modèles de calcul qui sont indésirables ou carrément inappropriés, ou illégaux d'un point de vue éthique ou juridique.

Il pourrait être utile de clarifier d'abord ce que je veux dire lorsque je fais référence à l'IA dans son ensemble et de fournir également un bref aperçu de l'apprentissage automatique et de l'apprentissage en profondeur. Il y a beaucoup de confusion quant à ce qu'implique l'Intelligence Artificielle. Je voudrais également vous présenter les préceptes de l'éthique de l'IA, qui feront particulièrement partie intégrante de la suite de ce discours.

Énoncer le dossier sur l'IA

Assurons-nous que nous sommes sur la même longueur d'onde sur la nature de l'IA d'aujourd'hui.

Il n'y a pas d'IA aujourd'hui qui soit sensible.

Nous n'avons pas cela.

Nous ne savons pas si l'IA sensible sera possible. Personne ne peut prédire avec justesse si nous atteindrons l'IA sensible, ni si l'IA sensible surgira d'une manière ou d'une autre miraculeusement spontanément sous une forme de supernova cognitive computationnelle (généralement appelée The Singularity, voir ma couverture sur le lien ici).

Réalisez que l'IA d'aujourd'hui n'est pas capable de "penser" d'une quelconque manière à la hauteur de la pensée humaine. Lorsque vous interagissez avec Alexa ou Siri, les capacités conversationnelles peuvent sembler proches des capacités humaines, mais la réalité est qu'elles sont informatiques et manquent de cognition humaine. La dernière ère de l'IA a largement utilisé l'apprentissage automatique et l'apprentissage en profondeur, qui tirent parti de la correspondance de modèles de calcul. Cela a conduit à des systèmes d'IA qui ont l'apparence de penchants humains. Pendant ce temps, il n'y a pas d'IA aujourd'hui qui ait un semblant de bon sens et ni l'émerveillement cognitif d'une pensée humaine robuste.

Une partie du problème est notre tendance à anthropomorphiser les ordinateurs et en particulier l'IA. Lorsqu'un système informatique ou une IA semble agir d'une manière que nous associons au comportement humain, il existe une envie presque écrasante d'attribuer des qualités humaines au système. C'est un piège mental commun qui peut saisir même le sceptique le plus intransigeant quant aux chances d'atteindre la sensibilité.

Dans une certaine mesure, c'est pourquoi l'éthique de l'IA et l'IA éthique sont un sujet si crucial.

Les préceptes de l'IA Ethics nous incitent à rester vigilants. Les technologues en IA peuvent parfois devenir préoccupés par la technologie, en particulier l'optimisation de la haute technologie. Ils ne tiennent pas nécessairement compte des ramifications sociétales plus larges. Avoir une mentalité d'éthique de l'IA et le faire intégralement pour le développement et la mise en service de l'IA est essentiel pour produire une IA appropriée, y compris l'évaluation de la façon dont l'éthique de l'IA est adoptée par les entreprises.

Outre l'utilisation des préceptes d'éthique de l'IA en général, il y a une question correspondante de savoir si nous devrions avoir des lois pour régir les diverses utilisations de l'IA. De nouvelles lois circulent aux niveaux fédéral, étatique et local concernant la portée et la nature de la conception de l'IA. L'effort pour rédiger et promulguer de telles lois est graduel. L'éthique de l'IA sert à tout le moins de solution provisoire envisagée et sera presque certainement, dans une certaine mesure, directement intégrée à ces nouvelles lois.

Sachez que certains soutiennent catégoriquement que nous n'avons pas besoin de nouvelles lois qui couvrent l'IA et que nos lois existantes sont suffisantes. Ils préviennent que si nous promulguons certaines de ces lois sur l'IA, nous tuerons la poule aux œufs d'or en réprimant les progrès de l'IA qui offrent d'immenses avantages sociétaux. Voir par exemple ma couverture sur le lien ici.

Dans les colonnes précédentes, j'ai couvert les divers efforts nationaux et internationaux pour élaborer et promulguer des lois réglementant l'IA, voir le lien ici, par exemple. J'ai également couvert les divers principes et directives d'éthique de l'IA que divers pays ont identifiés et adoptés, y compris par exemple l'effort des Nations Unies tel que l'ensemble d'éthique de l'IA de l'UNESCO que près de 200 pays ont adopté, voir le lien ici.

Voici une liste clé utile de critères ou de caractéristiques éthiques de l'IA concernant les systèmes d'IA que j'ai déjà explorés de près :

• Transparence
• Justice et équité
• Non-malfaisance
• Responsabilité
• Confidentialité
• Bienfaisance
• Liberté & Autonomie
• La confiance
• Durabilité
• Dignité
• Solidarité

Ces principes d'éthique de l'IA sont sincèrement censés être utilisés par les développeurs d'IA, ainsi que par ceux qui gèrent les efforts de développement de l'IA, et même ceux qui finissent par mettre en place et effectuer l'entretien des systèmes d'IA. Toutes les parties prenantes tout au long du cycle de vie de développement et d'utilisation de l'IA sont considérées dans le cadre du respect des normes en cours d'établissement de l'IA éthique. Il s'agit d'un point culminant important puisque l'hypothèse habituelle est que "seuls les codeurs" ou ceux qui programment l'IA sont soumis à l'adhésion aux notions d'éthique de l'IA. Comme souligné précédemment ici, il faut un village pour concevoir et mettre en œuvre l'IA, et pour lequel tout le village doit connaître et respecter les préceptes d'éthique de l'IA.

Gardons les choses sur terre et concentrons-nous sur l'IA computationnelle non sensible d'aujourd'hui.

ML/DL est une forme de correspondance de modèle informatique. L'approche habituelle consiste à assembler des données sur une tâche de prise de décision. Vous introduisez les données dans les modèles informatiques ML/DL. Ces modèles cherchent à trouver des modèles mathématiques. Après avoir trouvé de tels modèles, le cas échéant, le système d'IA utilisera alors ces modèles lorsqu'il rencontrera de nouvelles données. Lors de la présentation de nouvelles données, les modèles basés sur les « anciennes » ou données historiques sont appliqués pour rendre une décision actuelle.

Je pense que vous pouvez deviner où cela se dirige. Si les humains qui ont pris des décisions calquées sur des modèles ont incorporé des préjugés fâcheux, il y a de fortes chances que les données reflètent cela de manière subtile mais significative. La mise en correspondance de modèles de calcul par apprentissage automatique ou apprentissage en profondeur tentera simplement d'imiter mathématiquement les données en conséquence. Il n'y a aucun semblant de bon sens ou d'autres aspects sensibles de la modélisation conçue par l'IA en soi.

De plus, les développeurs d'IA pourraient ne pas réaliser non plus ce qui se passe. Les mathématiques obscures du ML/DL pourraient rendre difficile la découverte des biais désormais cachés. Vous espérez et attendez à juste titre que les développeurs d'IA testent les biais potentiellement enfouis, bien que cela soit plus délicat qu'il n'y paraît. Il y a de fortes chances que même avec des tests relativement approfondis, des biais soient toujours intégrés dans les modèles de correspondance de modèles du ML/DL.

Vous pourriez en quelque sorte utiliser le célèbre ou tristement célèbre adage des ordures à l'intérieur et à l'extérieur. Le fait est que cela s'apparente davantage à des préjugés qui sont insidieusement infusés en tant que préjugés submergés dans l'IA. La prise de décision algorithmique (ADM) de l'IA devient axiomatiquement chargée d'iniquités.

Pas bon.

Je crois que j'ai maintenant préparé le terrain pour discuter suffisamment du rôle de l'IA dans la rubrique de l'arrêt silencieux.

L'IA utilisée dans la prise de décision en matière d'emploi

La loi de la ville de New York se concentre sur le sujet de la prise de décision en matière d'emploi.

Si vous avez récemment essayé de postuler à un emploi moderne presque n'importe où sur cette terre, vous avez probablement rencontré un élément basé sur l'IA dans le processus de prise de décision en matière d'emploi. Bien sûr, vous ne savez peut-être pas qu'il est là car il pourrait être caché dans les coulisses et vous n'auriez aucun moyen de discerner qu'un système d'IA était impliqué.

Un slogan courant utilisé pour désigner ces systèmes d'IA est qu'ils sont considérés comme Outils de décision d'emploi automatisés, en abrégé AEDT.

Voyons comment la loi de New York définit ces outils ou applications qui impliquent une prise de décision en matière d'emploi :

• "Le terme" outil automatisé de décision d'emploi "désigne tout processus informatique, dérivé de l'apprentissage automatique, de la modélisation statistique, de l'analyse de données ou de l'intelligence artificielle, qui émet une sortie simplifiée, y compris un score, une classification ou une recommandation, qui est utilisé pour aider ou remplacer la prise de décision discrétionnaire pour prendre des décisions en matière d'emploi qui ont un impact sur les personnes physiques. Le terme "outil automatisé de prise de décision en matière d'emploi" n'inclut pas un outil qui n'automatise pas, ne prend pas en charge, n'assiste pas de manière substantielle ou ne remplace pas les processus décisionnels discrétionnaires et qui n'a pas d'impact significatif sur les personnes physiques, y compris, mais sans s'y limiter, un filtre de courrier indésirable, pare-feu, logiciel antivirus, calculatrice, feuille de calcul, base de données, ensemble de données ou autre compilation de données » (NYC, Int 1894-2020, sous-chapitre 25, section 20-870).

J'examinerai brièvement ce libellé puisqu'il est essentiel à toute la nature et à la portée de la loi.

Premièrement, comme je l'ai dit à plusieurs reprises dans mes écrits, l'un des obstacles les plus difficiles lors de la rédaction de lois sur l'IA consiste à essayer de définir de manière adéquate ce que signifie l'IA. Il n'y a pas de norme à l'épreuve des balles juridiquement convenue sur laquelle tout le monde a atterri. Toutes sortes de définitions existent. Certains sont utiles, d'autres non. Voir mes analyses sur le lien ici.

Vous pourriez être tenté de penser que la définition de l'IA n'a pas particulièrement d'importance. Désolé, mais vous vous trompez.

Le problème est que si la définition de l'IA est vaguement spécifiée dans une loi donnée, cela permet à ceux qui développent l'IA d'essayer de contourner la loi en prétendant apparemment que leur logiciel ou système n'est pas infusé d'IA. Ils soutiendraient avec une grande audace que la loi ne s'applique pas à leurs logiciels. De même, une personne utilisant le logiciel pourrait également prétendre que la loi ne la concerne pas parce que le logiciel ou le système qu'elle utilise ne correspond pas à la définition de l'IA énoncée dans la loi.

Les humains sont rusés comme ça.

L'un des moyens les plus astucieux d'éviter de se faire écraser par une loi que vous n'approuvez pas est d'affirmer que la loi ne s'applique pas à vous. Dans ce cas, vous chercheriez à démonter au coup par coup la définition de l'AEDT. Votre objectif, en supposant que vous ne vouliez pas que la loi soit sur votre dos, serait de soutenir légalement que la définition donnée dans la loi ne correspond pas à ce que votre système informatique lié à l'emploi est ou fait.

Une loi de ce type peut être à la fois aidée et parfois sapée par l'inclusion délibérée de stipulations d'exclusion dans la définition.

Reprenez la définition de l'AEDT telle qu'énoncée dans cette loi. Vous avez, espérons-le, observé qu'il existe une clause d'exclusion qui dit "... n'inclut pas un outil qui n'automatise pas, ne soutient pas, n'assiste pas ou ne remplace pas les processus décisionnels discrétionnaires et qui n'a pas d'impact matériel sur les personnes physiques...".

D'une part, la base de l'inclusion d'une telle exclusion est résolument utile.

Cela semble suggérer (de mon point de vue profane) que l'AEDT doit fournir un objectif spécifique et être utilisé de manière substantielle. Si l'AEDT est, dirons-nous, superficiel ou périphérique, et si la décision d'embauche est encore plutôt humaine, peut-être que le système logiciel utilisé ne devrait pas être interprété comme un AEDT. De plus, si le logiciel ou le système n'a pas d'impact "matériel" sur les personnes physiques (humains), alors il ne semble pas utile de garder les pieds sur le feu, pour ainsi dire.

Sensiblement, vous ne voulez pas qu'une loi exagère sa portée et engloutisse tout, y compris l'évier de la cuisine. Agir ainsi est essentiellement injuste et contraignant pour ceux que la loi n'était pas censée englober. Ils peuvent être pris dans un marécage qui agit comme l'un de ces filets de pêche fourre-tout. Vraisemblablement, nos lois devraient veiller à éviter d'entraîner des innocents dans le champ d'application de la loi.

Tout va bien.

Un avocat avisé est obligé de se rendre compte qu'une clause d'exclusion peut être une sorte de carte de sortie de prison légale (en passant, cette loi particulière prévoit des sanctions civiles et non pénales, de sorte que le sortir de prison remarque est simplement métaphorique et pour un punch savoureux). Si quelqu'un soutenait qu'une entreprise utilisait un AEDT dans le traitement de l'emploi, l'une des premières façons d'essayer de surmonter cette affirmation serait de faire valoir que le soi-disant AEDT était en fait dans le domaine de l'exclusion. Vous pourriez essayer de montrer que le soi-disant AEDT ne automatiser la décision d'embauche, ou non Support la décision d'embauche, ou non aider substantiellement or remplacer processus décisionnels discrétionnaires.

Vous pouvez ensuite suivre le chemin tortueux de l'identification de ce que signifient les mots « automatiser », « soutenir », « aider de manière substantielle » ou « remplacer » dans ce contexte. C'est un trou de lapin légal assez pratique. Un cas convaincant pourrait être établi que le logiciel ou le système présumé être un AEDT fait partie des indications d'exclusion. Par conséquent, aucun mal, aucune faute, concernant cette loi particulière.

De toute évidence, des avocats agréés doivent être consultés pour de telles questions (aucun semblant de conseil juridique n'est indiqué ici et c'est entièrement un point de vue de profanes).

Ce que je veux dire ici, c'est qu'il y aura une marge de manœuvre dans cette nouvelle loi. La marge de manœuvre permettra à certains employeurs qui utilisent véritablement un AEDT de trouver peut-être une échappatoire pour contourner l'utilisation de l'AEDT. Le revers de la médaille est qu'il pourrait y avoir des entreprises qui n'utilisent pas véritablement un AEDT qui seront prises au piège de cette loi. Une réclamation pourrait être faite que tout ce qu'ils utilisaient était en effet un AEDT, et ils devront trouver un moyen de montrer que leurs logiciels ou systèmes ne relevaient pas de l'AEDT et de la disposition d'exclusion.

Nous pouvons faire cette prédiction audacieuse :

• Il y aura indubitablement des employeurs qui utilisent sciemment un AEDT qui tenteront potentiellement de se soustraire à leurs responsabilités légales.
• Il y aura inévitablement des employeurs qui n'utilisent pas d'AEDT qui s'enliseront dans des affirmations selon lesquelles ils utilisent un AEDT, les obligeant à faire un effort «supplémentaire» pour montrer qu'ils n'utilisent pas d'AEDT.

Je développerai davantage ces nombreuses permutations et combinaisons lorsque nous avancerons dans cette discussion. Nous avons beaucoup plus de terrain à parcourir.

L'utilisation d'un AEDT en soi n'est pas la partie de ce problème qui suscite des préoccupations démonstratives, c'est la façon dont l'AEDT exécute ses actions qui déclenche la colère juridique. Le point crucial est que si l'AEDT introduit aussi par hasard des biais liés à la prise de décision en matière d'emploi, vous êtes alors potentiellement dans l'eau chaude (enfin, en quelque sorte).

Comment savoir si un AEDT introduit en fait des biais liés à l'IA dans un effort de prise de décision en matière d'emploi ?

La réponse selon cette loi est qu'un audit de l'IA doit être effectué.

J'ai déjà et souvent couvert la nature des audits d'IA et ce qu'ils sont, tout en notant les inconvénients existants et les facettes mal définies, comme à le lien ici ainsi que le lien ici, parmi de nombreuses autres publications similaires. En termes simples, l'idée est que, tout comme vous pourriez effectuer un audit financier d'une entreprise ou effectuer un audit technologique lié à un système informatique, vous pouvez effectuer un audit sur un système d'IA. À l'aide de techniques, d'outils et de méthodes d'audit spécialisés, vous examinez et évaluez en quoi consiste un système d'IA, y compris, par exemple, en essayant de déterminer s'il contient des biais d'un type ou d'un autre.

C'est un domaine d'attention en plein essor.

Vous pouvez vous attendre à ce que ce sous-domaine de l'audit consacré à l'audit de l'IA continue de croître. Il est évident qu'au fur et à mesure que de plus en plus de systèmes d'IA seront lancés sur le marché, il y aura de plus en plus de demandes d'audits d'IA. De nouvelles lois contribueront à déclencher cela. Même sans ces lois, il y aura de nombreux audits d'IA car les personnes et les entreprises affirment qu'elles ont été lésées par l'IA et chercheront à fournir une indication documentée tangible que le préjudice était présent et lié à l'IA utilisée.

Les auditeurs d'IA vont être chauds et très demandés.

Cela peut être un travail passionnant. Un élément peut-être passionnant consiste à être immergé dans la dernière et la plus grande de l'IA. L'IA continue d'avancer. Dans ce cas, un auditeur IA astucieux devra rester vigilant. Si vous êtes un auditeur qui en a assez de faire des audits conventionnels quotidiens, l'arène d'audit toujours nouvelle de l'IA promet d'ouvrir les yeux (je dis cela pour élever partiellement la stature des auditeurs car ils sont souvent les héros non annoncés travaillant dans les tranchées et ont tendance à être négligés pour leurs efforts).

Soit dit en passant, j'ai été auditeur certifié de systèmes informatiques (l'une de ces désignations est le CISA) et j'ai effectué plusieurs audits informatiques (technologies de l'information) au cours de nombreuses années, y compris des audits d'intelligence artificielle. La plupart du temps, vous n'obtenez pas la reconnaissance méritant de tels efforts. Vous pouvez probablement deviner pourquoi. Dans l'ensemble, les auditeurs ont tendance à trouver des éléments erronés ou défectueux. En ce sens, ils sont très utiles, même si cela peut être perçu par certains comme une mauvaise nouvelle, et le messager des mauvaises nouvelles n'est généralement pas particulièrement placé sur un piédestal.

Revenons à la question en cours.

En ce qui concerne la loi de New York, voici ce que dit la loi sur l'audit de l'IA et la recherche de la découverte des biais de l'IA :

• « Le terme « audit de partialité » signifie une évaluation impartiale par un auditeur indépendant. Un tel audit de partialité doit inclure, mais sans s'y limiter, le test d'un outil de décision d'emploi automatisé pour évaluer l'impact disparate de l'outil sur les personnes de toute catégorie de composant 1 devant être signalées par les employeurs conformément au paragraphe (c) de l'article 2000e-8 du titre 42 du code des États-Unis tel que spécifié dans la partie 1602.7 du titre 29 du code des réglementations fédérales » (NYC, Int 1894-2020, sous-chapitre 25, section 20-870).

En guise de récapitulation, voici où nous en sommes jusqu'à présent sur le déballage de cette loi :

• La loi couvre les outils automatisés de décision en matière d'emploi (AEDT)
• Une définition des sortes est incluse pour identifier ce qu'est un AEDT
• La définition de l'AEDT mentionne également des dispositions d'exclusion
• L'essentiel est que la loi veut exposer les biais de l'IA dans l'AEDT
• Pour déterminer si des biais d'IA sont présents, un audit de l'IA doit être effectué
• L'audit de l'IA fera vraisemblablement connaître tout biais de l'IA

Nous pouvons ensuite creuser un peu plus dans la loi.

Voici en quoi consiste une décision d'emploi :

• "Le terme 'décision d'emploi' signifie sélectionner des candidats pour un emploi ou des employés pour une promotion dans la ville" (NYC, Int 1894-2020, sous-chapitre 25, section 20-870).

Notez que l'aspect limitatif de "la ville" suggère que la question ne traite que des circonstances liées à l'emploi au sein de NYC. En outre, il convient de noter qu'une décision d'emploi telle que définie implique la présélection des candidats, ce qui est la connotation habituelle de ce que nous considérons comme une décision d'emploi, et inclut également les promotions.

Il s'agit d'un double coup dur dans le sens où les entreprises devront réaliser qu'elles doivent être au courant de la façon dont leur AEDT (si elles en utilisent un) est utilisé pour les paramètres d'emploi initiaux et également lors de la promotion au sein de l'entreprise. Vous pouvez probablement deviner ou supposer que de nombreuses entreprises ne seront pas tout à fait conscientes que l'élément promotions se trouve également dans cette rubrique. Ils négligeront inévitablement cette construction supplémentaire à leurs risques et périls.

Je vais ensuite fournir un extrait clé supplémentaire de la loi pour éclairer l'essence de ce qui est interprété comme illégal par cette loi :

• "Exigences pour les outils de décision d'emploi automatisés. un. Dans la ville, il est illégal pour un employeur ou une agence de placement d'utiliser un outil de décision d'emploi automatisé pour sélectionner un candidat ou un employé en vue d'une décision d'emploi à moins que : 1. Cet outil n'ait fait l'objet d'un audit de partialité mené pas plus de un an avant l'utilisation d'un tel outil ; et 2. Un résumé des résultats de l'audit de partialité le plus récent de cet outil ainsi que la date de distribution de l'outil auquel cet audit s'applique ont été rendus publics sur le site Web de l'employeur ou de l'agence pour l'emploi avant l'utilisation de tel outil… » (NYC, Int 1894-2020, sous-chapitre 25, section 20-871). Il y a des sous-alinéas supplémentaires que vous voudrez peut-être examiner, si vous êtes vivement intéressé par le libellé juridique.

Les sceptiques et les critiques ont fait valoir que cela semble quelque peu tiède quant à l'activité illégale dénoncée.

Ils disent que la loi ne se concentre que de manière étroite et minimale sur conduite un audit IA et faire de la publicité les résultats, plutôt que sur la question de savoir si l'audit de l'IA a découvert des préjugés de l'IA et, le cas échéant, les ramifications que cela a eues dans la prise de décisions en matière d'emploi qui relèvent du champ d'application de cette loi. En substance, il est apparemment illégal de ne sauraient choisir de mener un tel audit d'IA (le cas échéant, comme indiqué précédemment), et il est également illégal dans le cas si vous effectuez l'audit d'IA mais que vous le faites ne sauraient le faire connaître.

La loi semble muette sur la question de savoir si des biais d'IA ont été détectés et présents ou non. De même, le silence sur la question de savoir si les biais de l'IA ont eu un impact sur toute personne liée à une activité de prise de décision importante en matière d'emploi. La clé est apparemment simplement "simplement" de mener un audit de l'IA et d'en parler.

Cette loi ne va-t-elle pas assez loin ?

Une partie du contre-argument pour affirmer que cela est apparemment satisfaisant quant à la portée ou à la portée de ce que cette loi englobe est que si un audit d'IA trouve des biais d'IA, et si ces biais d'IA sont liés à des instances particulières de prise de décision en matière d'emploi, la personne ou les personnes ainsi lésées pourraient poursuivre l'employeur en vertu de autre lois. Il n'est donc pas nécessaire d'inclure cet aspect dans cette loi particulière.

Apparemment, cette loi vise à mettre ces questions en lumière.

Une fois que la lumière du jour est jetée sur ces pratiques fâcheuses, toutes sortes d'autres voies juridiques peuvent être poursuivies si les préjugés de l'IA existent et ont un impact sur les gens. Sans cette loi, l'argument est que ceux qui utilisent les AEDT le feraient peut-être en se déchaînant et auraient potentiellement des tonnes de biais d'IA, pour lesquels ceux qui recherchent un emploi ou ceux qui recherchent des promotions ne sauraient pas ce qui se passe.

Amenez-les à la surface. Faites-leur raconter. Mettez-vous sous le capot. Regarde ce qu'il y a à l'intérieur de ce moteur. C'est le mantra dans ce cas. À partir de cette surface et de ce récit, des actions supplémentaires peuvent être entreprises.

En plus de demander une action en justice après avoir révélé qu'un audit d'IA a peut-être signalé la présence de biais d'IA, il y a aussi la conviction que la publication de ces résultats aura des répercussions sur la réputation. Les employeurs qui sont présentés comme utilisant des AEDT qui ont des biais d'IA vont probablement subir les colères de la société, comme via les médias sociaux et autres. Ils seront exposés pour leurs méfaits et honteux de corriger leur comportement, et pourraient également se retrouver privés de personnes cherchant à y travailler en raison des scrupules que les biais de l'IA empêchent l'embauche ou usurpent les promotions.

Les sanctions énoncées associées à l'illégalité sont les suivantes :

• « Sanctions. un. Toute personne qui enfreint une disposition du présent sous-chapitre ou toute règle promulguée en vertu du présent sous-chapitre est passible d'une amende civile d'au plus 500 $ pour une première infraction et chaque infraction supplémentaire survenant le même jour que la première infraction, et d'au moins 500 $ ni plus de 1,500 1894 $ pour chaque violation ultérieure » ​​(NYC, Int 2020-25, sous-chapitre 20, section 872-XNUMX). Il y a des sous-alinéas supplémentaires que vous voudrez peut-être examiner, si vous êtes vivement intéressé par le libellé juridique.

Les sceptiques et les critiques soutiennent que les peines ne sont pas assez sévères. Une grande entreprise se moquerait ou se moquerait des minuscules amendes en dollars en cause. D'autres soulignent que l'amende pourrait finir par être plus qu'il n'y paraît, de sorte que si une entreprise devait avoir mille dollars de violations chaque jour (un seul scénario, il y a beaucoup d'autres scénarios), la valeur d'un an serait d'environ 365,000 XNUMX $, en supposant que l'entreprise a simplement ignoré la loi pendant une année entière et s'en est tirée (cela semble difficile à imaginer, mais cela pourrait arriver, et pourrait même se produire plus longtemps ou pour un point culminant plus élevé d'amendes quotidiennes, en théorie).

Pendant ce temps, certains s'inquiètent pour les petites entreprises et les amendes associées. Si une petite entreprise qui parvient à peine à joindre les deux bouts se voit infliger des amendes, et qu'elle ne l'a pas fait par intention délibérée de contourner la loi, les amendes pourraient affecter considérablement son activité chancelante.

La clé de voûte Considérations problématiques en cause

J'ai une question simple et directe pour vous.

Dans le cadre de cette loi, qu'est-ce qu'un audit IA exactement ?

Problématiquement, il n'y a aucune indication définitive dans le récit de la loi. Tout ce qu'on semble nous dire, c'est que « l'audit de partialité » doit être effectué via « une évaluation impartiale par un auditeur indépendant » (conformément au libellé de la loi).

Vous pouvez conduire un camion Mac à travers ce trou béant.

Voici pourquoi.

Prenons cet exemple plutôt déconcertant. Un escroc contacte une entreprise à New York et explique qu'ils fournissent un service tel qu'ils feront un soi-disant "audit de biais" de leur AEDT. Ils s'engagent à le faire "impartialement" (quoi que cela signifie). Ils se présentent comme un auditeur indépendant, et ils se sont oints comme tel. Pas besoin de formation en comptabilité ou en audit, de diplômes, de certifications ou quoi que ce soit de ce genre. Peut-être se donnent-ils la peine d'imprimer des cartes de visite ou de créer à la hâte un site Web vantant leur statut d'auditeur indépendant.

Ils factureront à l'entreprise des frais modestes, disons 100 $. Leur service consiste peut-être à poser quelques questions sur l'AEDT puis à proclamer que l'AEDT est impartial. Ils envoient ensuite un rapport d'une page et déclare les «résultats» de la soi-disant vérification. L'entreprise publie consciencieusement ceci sur son site Web.

L'entreprise s'est-elle conformée à cette loi ?

À vous de me dire.

On dirait qu'ils l'ont fait.

Vous pourriez être immédiatement surpris que l'audit ait été effectué de manière superficielle (c'est être poli et généreux dans ce scénario particulier). Vous pourriez être dérangé par le fait que la détection de biais (ou son absence) était peut-être essentiellement prédéterminée (voila, vous semblez être sans biais). Vous pourriez être contrarié que les résultats affichés puissent donner l'impression d'avoir passé un audit rigoureux par un auditeur de bonne foi chevronné, formé, expérimenté et certifié.

Oui, cela permet d'évaluer les choses.

Un employeur pourrait être soulagé d'avoir rempli cette exigence « idiote » et sacrément heureux que cela ne lui ait coûté que 100 $. L'employeur pourrait se rendre compte en interne et discrètement que l'audit indépendant était une mascarade, mais ce n'est apparemment pas à lui de décider. On leur a présenté un prétendu auditeur indépendant, l'auditeur a fait le travail que l'auditeur a déclaré conforme, l'entreprise l'a payé, ils ont obtenu les résultats et ils ont affiché les résultats.

Certains employeurs le feront et se rendront compte qu'ils respectent la loi en un clin d'œil. Néanmoins, ils croiront qu'ils sont entièrement conformes.

D'autres employeurs pourraient se faire avoir. Tout ce qu'ils savent, c'est la nécessité de se conformer à la loi. Heureusement pour eux (du moins ils le supposent), un « auditeur indépendant » les contacte et promet qu'un audit de plainte et un résultat peuvent être obtenus pour 100 $. Pour éviter de recevoir cette amende quotidienne de 500 $ ou plus, la société pense qu'elle a reçu un cadeau du ciel. Ils paient les 100 $, l'« audit » a lieu, ils obtiennent un bilan de santé gratuit quant à leur absence de biais d'IA, ils publient les résultats et ils oublient cela jusqu'à la prochaine fois qu'ils auront besoin de faire un autre audit de ce type. .

Comment chaque entreprise de New York soumise à cette loi est-elle censée savoir quelle est la conformité de bonne foi à la loi ?

Au cas où vous n'auriez pas déjà quelque peu mal à l'estomac, nous pouvons aggraver les choses. J'espère que vous n'avez pas pris de repas ces dernières heures car le prochain rebondissement sera difficile à garder intact.

Es-tu prêt?

Ce fournisseur de services fictif s'avère être plus un shammer que vous ne le pensiez. Ils demandent à l'entreprise de s'inscrire au service de 100 $ pour effectuer l'audit impartial des préjugés en tant qu'auditeur indépendant. Et voilà, ils font la "vérification" et découvrent qu'il y a des préjugés dans tous les coins et recoins de l'AEDT.

Ils ont des biais d'IA comme une infestation de cafards.

Aïe, dit l'entreprise, que pouvons-nous faire à ce sujet ?

Pas de problème, leur dit-on, nous pouvons corriger ces biais d'IA pour vous. Cela ne vous coûtera que 50 $ pour chaque biais trouvé. D'accord, l'entreprise dit, s'il vous plaît corrigez-les, merci de l'avoir fait. Le fournisseur de services fait un peu de baratin de codage et dit à l'entreprise qu'il a corrigé cent biais d'IA, et qu'il leur facturera donc 5,000 50 $ (soit 100 $ par biais d'IA à corriger, multiplié par les XNUMX trouvés).

Ouch, l'entreprise se sent pincée, mais c'est toujours mieux que de faire face à la violation de 500 $ ou plus par jour, alors ils paient le «vérificateur indépendant» et reçoivent ensuite un nouveau rapport montrant qu'ils sont désormais sans parti pris. Ils l'affichent fièrement sur leur site Web.

Ils ne savent pas que c'était un gâchis, une escroquerie, une arnaque.

Vous pourriez insister pour que ce fournisseur de services soit puni pour sa ruse. Attraper et arrêter ces escrocs va être beaucoup plus difficile que vous ne l'imaginez. Tout comme poursuivre ces princes basés à l'étranger qui ont une fortune pour vous se trouve probablement dans un pays étranger hors de portée de la loi américaine, la même chose pourrait également se produire dans ce cas.

Attendez-vous à ce qu'une industrie artisanale émerge en raison de cette nouvelle loi.

Il y aura des auditeurs de bonne foi qui chercheront à fournir ces services. Bien pour eux. Il y aura des vérificateurs sommaires qui iront après ce travail. Il y aura des auditeurs faussement proclamés qui poursuivront ce travail.

J'ai mentionné que le scénario du fournisseur de services impliquait de demander 100 $ pour faire le soi-disant audit de l'IA. C'était juste un espace réservé inventé. Peut-être que certains factureront 10 $ (cela semble sommaire). Peut-être environ 50 $ (encore sommaire). Etc.

Supposons qu'un fournisseur de services déclare qu'il en coûtera 10,000 XNUMX $ pour effectuer le travail.

Ou 100,000 XNUMX $ pour le faire.

Peut-être 1,000,000 XNUMX XNUMX $ pour le faire.

Certains employeurs n'auront aucune idée de combien cela pourrait ou devrait coûter. La commercialisation de ces services va être gratuite pour tous. Il s'agit d'une loi lucrative pour ceux qui fournissent légitimement ces services et d'une source de revenus pour ceux qui sont sournois en le faisant également. Il sera difficile de savoir qui est qui.

Je vous demanderai aussi de contempler un autre trou béant.

Dans le contexte de cette loi, qu'est-ce qui constitue exactement un biais d'IA ?

Hormis la mention du code des réglementations fédérales des États-Unis (cela ne répond pas particulièrement à la question des biais de l'IA et ne sert donc pas de palliatif ou de résolveur en la matière), vous auriez du mal à affirmer que ce nouveau la loi fournit une indication substantielle de ce que sont les biais de l'IA. Encore une fois, cela sera entièrement ouvert à des interprétations très disparates et vous ne saurez surtout pas ce qui a été cherché, ce qui a été trouvé, etc. De plus, le travail effectué par des auditeurs d'IA, même de bonne foi, sera presque probablement incomparable à un autre, de sorte que chacun aura tendance à utiliser ses propres définitions et approches.

En bref, nous pouvons observer avec inquiétude et inquiétude ce que les employeurs rencontreront à la suite de cette loi vaguement formulée mais bien intentionnée :

• Certains employeurs connaissent la loi et s'y conforment sérieusement et pleinement au mieux de leurs capacités
• Certains employeurs connaissent la loi et se conforment à la marge au chemin le plus mince, le moins cher et peut-être peu recommandable qu'ils peuvent trouver ou qui se présente à leur porte
• Certains employeurs connaîtront la loi et penseront qu'ils ne sont pas dans le champ d'application de la loi, donc ne feront rien à ce sujet (bien qu'il s'avère qu'ils pourraient être dans le champ d'application)
• Certains employeurs connaîtront la loi et décideront catégoriquement de l'ignorer, pensant peut-être que personne ne le remarquera ou que la loi ne sera pas appliquée, ou que la loi sera jugée inapplicable, etc.
• Certains employeurs ne connaîtront pas la loi et se feront prendre au dépourvu, se bousculant pour se conformer
• Certains employeurs ne connaîtront pas la loi et se feront lamentablement escroquer par des escrocs
• Certains employeurs ne connaissent pas la loi, ils ne sont pas dans le champ d'application, mais ils se font tout de même escroquer par des escrocs qui les convainquent qu'ils sont dans le champ d'application
• Certains employeurs ne connaîtront pas la loi et ne feront rien à ce sujet, alors que miraculeusement ils ne se feront jamais prendre ou se faire piquer pour leur surveillance.
• Autre

Une considération cruciale à garder à l'esprit est l'ampleur ou l'échelle associée à cette nouvelle loi.

Selon diverses statistiques rapportées concernant le nombre d'entreprises à New York, le nombre est généralement indiqué comme quelque part autour de 200,000 XNUMX entreprises (utilisons cela comme un ordre de grandeur). En supposant qu'il s'agit d'une approximation raisonnable, ces entreprises en tant qu'employeurs sont vraisemblablement soumises à cette nouvelle loi. Ainsi, prenez les différentes manières mentionnées ci-dessus dont les employeurs vont réagir à cette loi et considérez combien seront dans chacun des différents seaux que je viens de mentionner.

C'est un problème de mise à l'échelle assez stupéfiant.

De plus, selon les statistiques rapportées, il y a peut-être 4 millions d'emplois dans le secteur privé à New York, plus un nombre estimé d'environ 300,000 XNUMX employés du gouvernement employés par le gouvernement de New York (encore une fois, utilisez-les comme des ordres de grandeur plutôt que comme des chiffres précis). Si vous tenez compte du fait que les nouvelles embauches sont apparemment dans le champ d'application de cette nouvelle loi, ainsi que les promotions associées à tous ces travailleurs actuels et futurs, le nombre d'employés qui seront d'une manière ou d'une autre touchés par cette loi est franchement stupéfiant. .

La Big Apple a une nouvelle loi qui, à première vue, semble anodine et apparemment négligeable ou banale, mais lorsque vous réalisez les facteurs d'échelle impliqués, eh bien, cela peut vous faire tourner la tête

Conclusion

J'ai mentionné au début de cette discussion qu'il s'agit d'une nouvelle loi bien intentionnée.

Tout ce que je viens de décrire comme des lacunes potentielles, des omissions, des lacunes, des problèmes, etc., pourrait être facilement anticipé. C'est pas sorcier. Je pourrais ajouter qu'il y a encore plus de préoccupations inhérentes et d'aspects déroutants à cette loi qu'en raison des contraintes d'espace, je n'ai pas évoquées.

Vous pouvez les trouver aussi facilement que vous pouvez tirer sur des poissons dans un tonneau.

Des lois de ce type devraient être soigneusement élaborées pour essayer d'empêcher ce genre de contournements sournois. Je suppose que les compositeurs sérieux ont cherché à écrire une loi qu'ils croyaient être relativement à toute épreuve et qui aurait peut-être, dans le pire des cas, quelques minuscules gouttes ici ou là. Malheureusement, c'est un tuyau d'incendie de gouttes. Beaucoup de ruban adhésif sera nécessaire.

La loi aurait-elle pu être rédigée de manière plus claire pour combler ces lacunes plutôt apparentes et les problèmes associés ?

Oui, abondamment.

Maintenant, cela étant le cas, vous pourriez exhorter avec indignation qu'une telle loi serait sans aucun doute beaucoup plus longue. Il y a toujours un compromis à faire entre avoir une loi qui ne cesse de s'allonger, devenir lourde, et être succincte et compacte. Vous ne voulez cependant pas gagner en concision au détriment de ce qui serait une clarté et une spécificité substantielles et méritoires. Une courte loi qui autorise les manigances est source de problèmes. Une loi plus longue, même si elle semble plus complexe, serait généralement un compromis valable si elle évite, prévient ou au moins minimise les problèmes en aval pendant la phase d'adoption.

Saint Augustin a dit: "Il me semble qu'une loi injuste n'est pas une loi du tout."

Nous pourrions proposer comme corollaire qu'une loi juste composée d'un langage problématique est une loi qui ne demande qu'à produire nos problèmes austères. Dans ce cas, nous semblons nous retrouver avec les sages paroles du grand juriste Oliver Wendell Holmes Jr., à savoir qu'une page d'histoire vaut une livre de logique.

Soyez à l'affût car l'histoire est sur le point d'être écrite.