3 raisons pour lesquelles votre organisation aura besoin d'évaluateurs d'algorithmes externes

Par Satta Sarmah-Hightower

Les chefs d'entreprise tirent toute la valeur qu'ils peuvent de l'intelligence artificielle (IA). Une étude de KPMG de 2021 révèle une majorité de dirigeants d'entreprises du gouvernement, de la fabrication industrielle, des services financiers, de la vente au détail, des sciences de la vie et des soins de santé affirment que l'IA est au moins modérément fonctionnelle dans leurs organisations. L'étude révèle également que la moitié des personnes interrogées affirment que leur organisation a accéléré l'adoption de l'IA en réponse à la pandémie de Covid-19. Dans les organisations où l'IA a été adoptée, au moins la moitié déclarent que la technologie a dépassé les attentes.

Les algorithmes d'IA sont de plus en plus responsables d'une variété d'interactions et d'innovations d'aujourd'hui, de la personnalisation recommandations de produits ainsi que service clientèle expériences aux banques décisions de prêt et même réponse de la police.

Mais malgré tous les avantages qu'ils offrent, les algorithmes d'IA comportent de gros risques s'ils ne sont pas efficacement surveillés et évalués pour leur résilience, leur équité, leur explicabilité et leur intégrité. Pour aider les chefs d'entreprise à surveiller et à évaluer l'IA, l'étude référencée ci-dessus montre qu'un un nombre croissant de chefs d'entreprise souhaitent que le gouvernement réglemente l'IA afin de permettre aux organisations d'investir dans la technologie et les processus commerciaux appropriés. Pour le soutien et la surveillance nécessaires, il est sage d'envisager des évaluations externes proposées par un fournisseur de services ayant de l'expérience dans la prestation de tels services. Voici trois raisons.

1. Les algorithmes sont des "boîtes noires"

Les algorithmes d'IA, qui apprennent des données pour résoudre les problèmes et optimiser les tâches, rendent les systèmes plus intelligents, leur permettant de collecter et de générer des informations beaucoup plus rapidement que les humains ne le pourraient jamais.

Cependant, certaines parties prenantes considèrent ces algorithmes comme des "boîtes noires", explique Drew Rosen, directeur général de l'audit chez KPMG, un cabinet de services professionnels de premier plan. Plus précisément, certaines parties prenantes peuvent ne pas comprendre comment l'algorithme est arrivé à une certaine décision et peuvent donc ne pas avoir confiance dans l'équité ou l'exactitude de cette décision.

"Les résultats glanés à partir de l'algorithme peuvent être sujets à des biais et à une mauvaise interprétation des résultats", déclare Rosen. "Cela peut également entraîner certains risques pour l'entité car elle exploite ces résultats et les partage avec le public et ses parties prenantes."

Un algorithme qui utilise des données erronées, par exemple, est au mieux inefficace et au pire nuisible. À quoi cela pourrait-il ressembler dans la pratique ? Considérez un chatbot basé sur l'IA qui fournit les mauvaises informations de compte aux utilisateurs ou un outil de traduction automatique qui traduit le texte de manière inexacte. Les deux cas pourraient entraîner de graves erreurs ou des interprétations erronées pour les entités gouvernementales ou les entreprises, ainsi que pour les électeurs et les clients qui s'appuient sur les décisions prises par ces algorithmes.

Un autre facteur contribuant au problème de la boîte noire est le fait que des biais inhérents s'infiltrent dans le développement de modèles d'IA, entraînant potentiellement une prise de décision biaisée. Les prêteurs, par exemple, utilisent de plus en plus l'IA pour prédire la solvabilité des emprunteurs potentiels afin de prendre des décisions de prêt. Cependant, un risque peut survenir lorsque des entrées clés dans l'IA, telles que la cote de crédit d'un emprunteur potentiel, a une erreur matérielle, ce qui a conduit ces personnes à se voir refuser des prêts.

Cela met en évidence la nécessité d'un évaluateur externe qui peut servir d'évaluateur impartial et fournir une évaluation ciblée, basée sur des critères acceptés, de la pertinence et de la fiabilité des données historiques et des hypothèses qui alimentent un algorithme.

2. Les parties prenantes et les régulateurs exigent la transparence

En 2022, il n'y avait actuellement aucune exigence de déclaration pour l'IA responsable. Cependant, dit Rosen, "tout comme la façon dont les organes directeurs ont introduit la réglementation ESG [environnementale, sociale et de gouvernance] pour rendre compte de certains indicateurs ESG, ce n'est qu'une question de temps que nous voyons des exigences réglementaires supplémentaires en matière de rapports pour une IA responsable. »

En fait, à compter du 1er janvier 2023, la ville de New York Loi locale 144 exige qu'une vérification des préjugés soit effectuée sur un outil de décision d'emploi automatisé avant qu'il ne soit utilisé.

Et au niveau fédéral, le Loi de 2020 sur l'initiative nationale sur l'intelligence artificielle- qui s'appuie sur un Décret exécutif 2019— se concentre sur les normes techniques et les conseils en matière d'IA. De plus, le Loi sur la responsabilité algorithmique pourrait nécessiter des évaluations d'impact des systèmes de décision automatisés et des processus de décision critiques augmentés. Et à l'étranger, le Loi sur l'intelligence artificielle a été proposé, offrant un cadre réglementaire complet avec des objectifs spécifiques sur la sécurité, la conformité, la gouvernance et la fiabilité de l'IA.

Avec ces changements, les organisations sont sous le microscope de la gouvernance. Un évaluateur d'algorithmes peut fournir de tels rapports qui répondent aux exigences réglementaires et améliorent la transparence des parties prenantes tout en évitant le risque que les parties prenantes interprètent mal ou soient trompé par les résultats de l'évaluation.

3. Les entreprises bénéficient d'une gestion des risques à long terme

Steve Camara, partenaire de la pratique d'assurance technologique de KPMG, prédit que les investissements dans l'IA continueront de croître à mesure que les entités procéderont à l'automatisation des processus, au développement d'innovations qui améliorent l'expérience client et à la répartition du développement de l'IA dans les fonctions commerciales. Pour rester compétitives et rentables, les organisations auront besoin de contrôles efficaces qui non seulement résolvent les lacunes immédiates de l'IA, mais réduisent également les risques à long terme associés aux opérations commerciales alimentées par l'IA.

C'est là que les évaluateurs externes interviennent en tant que ressources fiables et avisées. Alors que les organisations adoptent de plus en plus l'intégrité de l'IA en tant que catalyseur commercial, le partenariat peut devenir moins un service ad hoc et davantage une collaboration cohérente, explique Camara.

"Nous voyons une voie à suivre où il faudra une relation continue entre les organisations qui développent et opérationnalisent l'IA de manière continue et un évaluateur externe objectif", a-t-il déclaré.

Un regard vers ce qui vient ensuite

À l'avenir, les organisations pourraient utiliser des évaluations externes sur une base plus cyclique lorsqu'elles développent de nouveaux modèles, ingèrent de nouvelles sources de données, intègrent des solutions de fournisseurs tiers ou naviguent dans de nouvelles exigences de conformité, par exemple.

Lorsque des exigences réglementaires et de conformité supplémentaires sont imposées, des évaluateurs externes peuvent être en mesure de fournir des services pour évaluer directement dans quelle mesure une organisation a déployé ou utilisé l'IA par rapport à ces exigences. Ces évaluateurs seraient alors les mieux placés pour partager les résultats de l'évaluation de manière claire et cohérente.

Pour capitaliser sur la technologie tout en se prémunissant contre ses limites, une organisation doit rechercher des évaluateurs externes pour fournir des rapports sur lesquels elle peut ensuite s'appuyer pour démontrer une plus grande transparence lors du déploiement d'algorithmes. À partir de là, l'organisation et les parties prenantes peuvent mieux comprendre la puissance de l'IA et ses limites.