Est-ce que l'exposition et la journalisation de ces sorties erronées et hallucinatoires de ChatGPT de l'IA générative font du bien, demande l'éthique de l'IA et la loi sur l'IA

Vous êtes dans un secret.

Oui, il se passe subrepticement quelque chose dans les coulisses à propos des dernières nouveautés en matière d'IA que vous voudrez peut-être connaître.

Dans la chronique d'aujourd'hui, j'examinerai l'élan récent pour compiler les erreurs présumées et autres maladies associées aux essais produits par une application d'IA connue sous le nom de ChatGPT. Cette application particulière utilise un type d'IA appelé IA générative. Vous avez probablement entendu ou vu des titres accrocheurs sur l'IA générative et ChatGPT. Les nouvelles sont agitées sur cette application d'IA spécifique et les capacités apparemment étonnantes relatives à ce type d'IA.

Comme je le couvrirai dans un instant, certains croient fermement que nous devons établir une liste des types d'erreurs ou d'erreurs que l'application AI peut produire lorsqu'elle génère un essai pour vous. D'autres suggèrent que même si l'idée d'une telle liste est admirable, c'est un exercice futile et ne portera que très peu de fruits.

Nous examinerons les deux côtés de ce débat rancunier.

Tout d'abord, assurons-nous que nous sommes tous sur la même longueur d'onde sur ce en quoi consiste l'IA générative et sur ce qu'est ChatGPT.

ChatGPT est un système interactif orienté conversation d'IA à usage général, essentiellement un chatbot général apparemment inoffensif, néanmoins, il est activement et avidement utilisé par les gens d'une manière qui en prend beaucoup au dépourvu. Tout ce que vous avez à faire pour utiliser ce type d'IA est de saisir une invite et l'application AI générera pour vous un essai qui tentera de répondre à votre invite.

Malheureusement, cela peut être utilisé de manière quelque peu contraire à l'éthique ou sournoise. Un scrupule particulièrement exaspérant est que les étudiants peuvent utiliser une application d'IA basée sur la génération pour produire les essais qui leur sont assignés, en saisissant simplement une phrase ou deux pour mettre l'application dans la bonne direction. Certains déplorent que cela signifie que les étudiants choisiront de tricher lorsqu'ils rédigent des essais en dehors des cours. Les enseignants essaient de comprendre quoi faire, voir mon analyse et mes recommandations sur le lien ici.

Malgré le vacarme constant d'éloges louables pour ChatGPT, il existe une préoccupation moins connue exprimée principalement par les initiés de l'IA selon laquelle il existe des problèmes et des scrupules notables dont les gens devraient s'inquiéter. Un inconvénient crucial est que les essais produits par cette application d'IA peuvent contenir divers mensonges, y compris des faits manifestement faux, des faits dépeints de manière trompeuse et des faits apparents entièrement fabriqués. Ces aspects fabriqués sont souvent appelés une forme de Hallucinations de l'IA, un slogan que je n'aime pas mais qui semble malheureusement gagner du terrain de toute façon (pour mon explication détaillée sur la raison pour laquelle cette terminologie est moche et inappropriée, voir ma couverture sur le lien ici).

Je voudrais clarifier un aspect important avant d'entrer dans le vif du sujet sur ce sujet.

Il y a eu des affirmations loufoques démesurées sur les réseaux sociaux à propos de IA générative affirmant que cette dernière version de l'IA est en fait IA sensible (non, ils se trompent !). Les spécialistes de l'éthique de l'IA et du droit de l'IA s'inquiètent notamment de cette tendance naissante de revendications étendues. Vous pourriez dire poliment que certaines personnes exagèrent ce que l'IA d'aujourd'hui peut réellement faire. Ils supposent que l'IA a des capacités que nous n'avons pas encore pu atteindre. C'est malheureux. Pire encore, ils peuvent se permettre à eux-mêmes et aux autres de se retrouver dans des situations désastreuses en supposant que l'IA sera sensible ou humaine pour pouvoir agir.

Ne pas anthropomorphiser l'IA.

Cela vous fera prendre dans un piège de confiance collant et austère consistant à attendre de l'IA qu'elle fasse des choses qu'elle est incapable d'accomplir. Cela étant dit, la dernière IA générative est relativement impressionnante pour ce qu'elle peut faire. Sachez cependant qu'il existe des limitations importantes que vous devez constamment garder à l'esprit lorsque vous utilisez une application d'IA générative.

Si vous êtes intéressé par l'agitation en pleine expansion autour de ChatGPT et de l'IA générative, j'ai fait une série ciblée dans ma colonne que vous pourriez trouver informative. Voici un aperçu au cas où l'un de ces sujets vous intéresserait :

• 1) Prédictions des progrès de l'IA générative à venir. Si vous voulez savoir ce qui est susceptible de se dérouler à propos de l'IA tout au long de 2023 et au-delà, y compris les progrès à venir dans l'IA générative et ChatGPT, vous voudrez lire ma liste complète des prédictions 2023 sur le lien ici.
• 2) IA générative et conseils en santé mentale. J'ai choisi d'examiner comment l'IA générative et ChatGPT sont utilisés pour des conseils en santé mentale, une tendance gênante, selon mon analyse ciblée sur le lien ici.
• 3) Utilisation contextuelle et générative de l'IA. J'ai également fait un examen ironique aux saveurs saisonnières sur un contexte lié au Père Noël impliquant ChatGPT et l'IA générative à le lien ici.
• 4) Les escrocs utilisant l'IA générative. Sur une note inquiétante, certains escrocs ont compris comment utiliser l'IA générative et ChatGPT pour commettre des actes répréhensibles, notamment en générant des e-mails frauduleux et même en produisant du code de programmation pour les logiciels malveillants, voir mon analyse sur le lien ici.
• 5) Erreurs de débutant en utilisant l'IA générative. Beaucoup de gens dépassent et étonnamment sous-estiment ce que l'IA générative et ChatGPT peuvent faire, alors j'ai regardé en particulier le sous-dépassement que les recrues de l'IA ont tendance à faire, voir la discussion sur le lien ici.
• 6) Faire face aux invites génératives de l'IA et aux hallucinations de l'IA. Je décris une approche de pointe pour utiliser des modules complémentaires d'IA pour traiter les divers problèmes associés à la tentative d'entrer des invites appropriées dans l'IA générative, ainsi qu'il existe d'autres modules complémentaires d'IA pour détecter les soi-disant sorties et faussetés hallucinées de l'IA, comme couvert à le lien ici.
• 7) Démystifier les affirmations de Bonehead sur la détection d'essais génératifs produits par l'IA. Il y a une ruée vers l'or erronée d'applications d'IA qui proclament être en mesure de déterminer si un essai donné a été produit par l'homme ou généré par l'IA. Dans l'ensemble, cela est trompeur et dans certains cas, une allégation stupide et intenable, voir ma couverture à le lien ici.
• 8) Le jeu de rôle via l'IA générative pourrait laisser présager des inconvénients pour la santé mentale. Certains utilisent l'IA générative telle que ChatGPT pour faire du jeu de rôle, dans lequel l'application d'IA répond à un humain comme si elle existait dans un monde imaginaire ou dans un autre cadre inventé. Cela pourrait avoir des répercussions sur la santé mentale, voir le lien ici.

Discutons maintenant de l'essence de l'IA générative et de ChatGPT afin que vous connaissiez les fondements impliqués. Nous serons alors prêts à nous lancer dans une analyse approfondie des faussetés que ces applications d'IA peuvent potentiellement générer. J'inclurai plusieurs exemples d'utilisation de ChatGPT, qui vous aideront à saisir concrètement la nature de ce que produit ce type d'IA générative.

Ouvrir la boîte de Pandore sur l'IA générative

Nous sommes prêts à plonger dans quelques détails sur l'IA.

Si vous connaissez déjà très bien le sujet de l'IA générative et de ChatGPT, vous pouvez choisir de parcourir brièvement mes points et de continuer avec la section suivante de cette discussion. Pour tout le monde, je crois que vous pourriez trouver cette élucidation utile.

En bref, l'IA générative est un type particulier d'IA qui compose le texte comme si le texte était écrit par la main et l'esprit humains. Tout ce que vous avez à faire est de saisir une invite, telle qu'une phrase telle que "Parlez-moi d'Abraham Lincoln" et l'IA générative vous fournira un essai sur Lincoln. Ceci est communément classé comme une IA générative qui effectue texte en texte ou certains préfèrent l'appeler texte à essai production. Vous avez peut-être entendu parler d'autres modes d'IA générative, tels que le texte vers l'art et le texte vers la vidéo.

Votre première pensée pourrait être que cela ne semble pas si grave en termes de production d'essais. Vous pouvez facilement faire une recherche en ligne sur Internet et trouver facilement des tonnes et des tonnes d'essais sur le président Lincoln. L'avantage dans le cas de l'IA générative est que l'essai généré est relativement unique et fournit une composition originale plutôt qu'un imitateur. Si vous deviez essayer de trouver l'essai produit par l'IA quelque part en ligne, il est peu probable que vous le découvriez.

L'IA générative est pré-formée et utilise une formulation mathématique et informatique complexe qui a été mise en place en examinant des modèles dans des mots écrits et des histoires sur le Web. Après avoir examiné des milliers et des millions de passages écrits, l'IA peut produire de nouveaux essais et histoires qui sont un méli-mélo de ce qui a été trouvé. En ajoutant diverses fonctionnalités probabilistes, le texte résultant est à peu près unique par rapport à ce qui a été utilisé dans l'ensemble d'apprentissage.

C'est pourquoi il y a eu un tollé à propos de la possibilité pour les étudiants de tricher lorsqu'ils rédigent des essais en dehors de la salle de classe. Un enseignant ne peut pas simplement prendre l'essai que les étudiants trompeurs affirment être leur propre écriture et chercher à savoir s'il a été copié à partir d'une autre source en ligne. Dans l'ensemble, il n'y aura pas d'essai préexistant définitif en ligne qui corresponde à l'essai généré par l'IA. Tout compte fait, l'enseignant devra accepter à contrecœur que l'étudiant ait écrit l'essai comme un travail original.

Dans un instant, je vais vous montrer ce qui se passe lorsque vous saisissez des questions ou des invites dans l'IA générative. J'utiliserai la dernière version de ChatGPT pour saisir mes invites et collecter les « réponses » ou essais générés par l'IA (notez que la même chose peut être faite avec les nombreuses autres applications d'IA générative disponibles ; j'ai choisi d'utiliser ChatGPT car il obtient ses cinq minutes de gloire en ce moment).

Peut-être qu'une courte tangente sur ChatGPT pourrait être utile à ce stade.

L'application ChatGPT a été mise à la disposition du grand public il y a quelques mois à peine. Dans l'ensemble, ces applications d'IA génératives ne sont généralement accessibles qu'aux initiés de l'IA. La facette inhabituelle selon laquelle ChatGPT pourrait être utilisé par n'importe qui en entrant simplement une adresse e-mail et un nom, eh bien, cela a conduit beaucoup de gens à décider de l'essayer. ChatGPT est actuellement gratuit (le problème de la monétisation est un dilemme imminent pour les fabricants d'IA).

Presque immédiatement, il y a eu une énorme réaction sur les réseaux sociaux alors que les gens se précipitaient pour donner des exemples de ce que l'IA générative peut faire. La société qui fabrique ChatGPT, OpenAI, a choisi de fermer les inscriptions à un million d'utilisateurs. Ces millions d'utilisateurs ont réussi à bombarder les ondes avec toutes sortes d'histoires et de contes sur l'utilisation de ChatGPT.

Soyez très prudent en croyant ce que les gens ont à dire sur l'application AI. Beaucoup de ces personnes n'ont aucune idée de ce qu'elles utilisent. C'est presque comme s'ils n'avaient jamais conduit de voiture et qu'ils n'avaient même pas réalisé que les voitures existaient, et tout d'un coup ils ont eu la chance de conduire une voiture. L'étonnement total s'ensuit.

Je ne dis pas que l'IA générative n'est pas relativement impressionnante. Il est. Je souligne simplement que beaucoup de témoignages jaillissants sont faits par de nombreuses personnes qui ignorent parfaitement ce que l'IA d'aujourd'hui peut faire. Ceux d'entre nous à l'intérieur de l'IA utilisent l'IA générative depuis plusieurs années. Peut-être nous sommes-nous habitués. Soudain, voir un énorme béguin de personnes le vanter sur les toits a été énergisant, mais aussi quelque peu déconcertant. La partie déconcertante est lorsque les gens proclament que l'IA générative est sensible. Ce n'est pas. Ne laissez personne vous convaincre du contraire.

Cela étant dit, il y a un débat houleux en cours dans le domaine de l'IA pour savoir si l'IA générative est sur la voie de la sensibilité ou si ce n'est peut-être pas le cas. Selon un point de vue, si nous continuons à développer l'IA générative avec des ordinateurs plus rapides et une plus grande quantité de données, par exemple en parcourant chaque centimètre d'Internet, nous arriverons presque spontanément à une IA sensible. D'autres soutiennent que cela est hautement improbable. Ils suggèrent que l'IA générative pourrait être l'un des nombreux composants nécessaires. Il y a même la vision plus sombre que l'IA générative est un spectacle secondaire qui nous détourne des véritables percées dont nous aurons besoin pour réaliser l'IA sensible.

Vous pourriez également trouver des éléments remarquables auxquels les initiés de l'IA ont tendance à se référer Intelligence générale artificielle (AGI) comme objectif ambitieux pour le domaine de l'IA. Autrefois, le but était d'atteindre Intelligence artificielle, mais le surnom d'IA est devenu édulcoré et confus. Quand quelqu'un dit qu'il travaille sur l'IA, vous ne savez pas s'il fait allusion à l'IA d'aujourd'hui qui n'est pas à égalité avec les humains ou s'il fait référence à une IA futuriste équivalente à l'humain. Pour contourner cette confusion exaspérante, la nouvelle formulation d'AGI est utilisée de nos jours.

Au total, l'IA générative d'aujourd'hui est ne sauraient sensible, ni AGI.

N'oubliez pas que, comme indiqué précédemment, l'IA n'est pas sensible. Les réponses générées par l'IA sont une combinaison mathématique et informatique de mots dans des passages apparemment fluides. Ceci est basé sur le fait que l'algorithme d'IA a été formé sur des ensembles de données de mots et d'histoires que les humains ont écrits (principalement tels que publiés sur Internet). Je répète cet avertissement car vous tomberez sans aucun doute dans le piège mental selon lequel ces réponses sont si fluides que l'IA doit être sensible. Cela arrive à la plupart des gens. Comme demandé précédemment, mettez de côté cette anthropomorphisation. Rappelez-vous toujours que les réponses sont basées sur le vaste trésor d'écritures humaines qui existe sur Internet et ressembleront donc fortement à l'écriture humaine.

Il y a autre chose que vous devez savoir.

L'IA générative qui est formée sur Internet de manière illimitée aura tendance à s'intégrer dans toutes les réponses textuelles qu'elle concocte mathématiquement et informatiquement, des choses offensivement floues, y compris des formulations répugnantes. Il y a beaucoup de choses folles et sales publiées sur le Web.

Vous l'avez vu, vous savez ce que je veux dire.

Les entreprises qui créent ces applications d'IA craignent que le bébé proverbial ne soit jeté avec l'eau du bain (un vieux dicton, peut-être à la retraite), ce qui signifie que si leur IA produit des essais ou des histoires offensants, les gens se lèveront. à propos de l'IA. J'ai couvert les nombreux cas précédents dans lesquels ces types d'applications d'IA de traitement du langage naturel (NLP) ont été dévoilés et assez tôt toutes sortes de choses horribles en sont sorties (j'ai couvert ces cas dans ma chronique). La plupart des fabricants d'IA ont appris une dure leçon sur le fait de permettre à leurs produits d'IA d'être sans entraves dans leurs sorties.

Dans le cas de ChatGPT, les développeurs d'IA ont cherché à mettre en place des freins et contrepoids algorithmiques et liés aux données pour limiter la méchanceté dans les sorties de l'IA. Une partie de cela s'est produite pendant le temps de formation. De plus, il existe d'autres moyens dans une tentative en temps réel d'éviter des sorties particulièrement flagrantes.

Vous pourriez trouver intéressant que certaines personnes qui ont utilisé ChatGPT aient déjà trouvé des moyens subreptices de contourner ces garde-fous en utilisant diverses ruses. Un jeu du chat et de la souris en cours a lieu dans ces domaines. Ceux qui font ces supercheries le font parfois pour le plaisir, alors que parfois ils (au moins prétendent) qu'ils le font pour voir jusqu'où l'IA peut être étirée et fournir un moyen utile d'avertir la fragilité et les faiblesses de ces bourgeons. Applications IA.

J'ai décidé de ne pas tenter de contourner les contrôles habituels dans cette exploration ciblée. La sortie de texte est propre. Certes, si l'on voulait le faire, vous pourriez sans aucun doute générer des essais bizarres et peu recommandables.

Les essais produits par la plupart de ces applications d'IA génératives sont conçus pour transmettre le résultat comme s'il était purement factuel et précis. Lorsque vous lisez les essais produits, ils semblent totalement confiants. Il n'y a généralement aucune sorte d'indication que le contenu pourrait être rocheux. C'est par choix des fabricants d'IA, à savoir qu'ils pourraient réviser les applications d'IA pour qu'elles soient plus transparentes s'ils voulaient que l'application d'IA le fasse.

Parfois, une application d'IA générative détecte des faussetés parmi les données de formation d'informations non fiables sur Internet. Il n'y a pas de "bon sens" dans l'IA générative pour déterminer ce qui est vrai ou faux. De plus, très peu d'applications d'IA ont une vérification croisée et ne présentent aucune probabilité associée à ce qu'elles véhiculent.

Le résultat final est que vous obtenez une réponse qui semble et donne l'impression qu'elle dégage une grande assurance et doit être entièrement correcte. Pas si. Il y a même une chance que les trucs inventés par calcul de l'IA, qui dans le langage de l'IA sont appelés Hallucinations de l'IA (un terme inventé que je n'aime décidément pas), voir ma discussion sur le lien ici.

Les créateurs de ChatGPT ont déployé des efforts concertés pour essayer de réduire les sorties de mauvaises choses. Par exemple, ils ont utilisé une variante de ce qu'on appelle RLHF (Reinforcement Learning from Human Feedback), par lequel avant de publier l'IA au public, ils avaient embauché des humains pour examiner diverses sorties et indiquer à l'IA s'il y avait des choses qui n'allaient pas avec ces sorties, comme peut-être montrer des préjugés, des mots grossiers et le aimer. En fournissant ces commentaires, l'application AI a pu s'ajuster par calcul et mathématiquement pour réduire l'émission de ce contenu. Notez qu'il ne s'agit pas d'une méthode à toute épreuve garantie et qu'il existe encore des moyens pour qu'un tel contenu puisse être émis par l'application AI.

Vous pourriez trouver intéressant que ChatGPT soit basé sur une version d'une application AI prédécesseur connue sous le nom de GPT-3. ChatGPT est considéré comme une étape légèrement suivante, appelée GPT-3.5. Il est prévu que GPT-4 sera probablement publié au printemps 2023. Vraisemblablement, GPT-4 sera un pas en avant impressionnant en termes de capacité à produire des essais apparemment encore plus fluides, à aller plus loin et à être une crainte -émerveillement inspirant quant aux compositions qu'il peut produire.

Vous pouvez vous attendre à voir une nouvelle série d'émerveillements exprimés lorsque le printemps arrive et que la dernière IA générative est publiée.

J'en parle parce qu'il y a un autre angle à garder à l'esprit, consistant en un talon d'Achille potentiel pour ces meilleures et plus grandes applications d'IA génératives. Si un fournisseur d'IA met à disposition une application d'IA générative qui crache de manière mousseuse la saleté, cela pourrait anéantir les espoirs de ces fabricants d'IA. Un débordement sociétal peut amener toute l'IA générative à avoir un sérieux œil au beurre noir. Les gens seront sans aucun doute assez contrariés par les sorties ignobles, qui se sont déjà produites à plusieurs reprises et ont conduit à des réactions violentes de condamnation de la société envers l'IA.

Un dernier avertissement pour le moment.

Tout ce que vous voyez ou lisez dans une réponse d'IA générative qui semble être transmis comme purement factuel (dates, lieux, personnes, etc.), assurez-vous de rester sceptique et d'être prêt à revérifier ce que vous voyez.

Oui, les dates peuvent être concoctées, les lieux peuvent être inventés, et les éléments que l'on s'attend généralement à être irréprochables sont TOUTE sujet à suspicion. Ne croyez pas ce que vous lisez et gardez un œil sceptique lorsque vous examinez des essais ou des résultats d'IA générative. Si une application d'IA générative vous dit qu'Abraham Lincoln a survolé le pays dans son propre jet privé, vous sauriez sans aucun doute que c'est malarky. Malheureusement, certaines personnes pourraient ne pas discerner que les jets n'existaient pas à son époque, ou elles pourraient savoir mais ne pas remarquer que l'essai fait cette affirmation audacieuse et scandaleusement fausse.

Une forte dose de scepticisme sain et un état d'esprit persistant d'incrédulité seront votre meilleur atout lors de l'utilisation de l'IA générative.

Nous sommes prêts à passer à la prochaine étape de cette élucidation.

Ces efforts pour enregistrer ces erreurs générées par ChatGPT

"Eh bien, vous avez des problèmes, mon ami, ici, je dis, des problèmes ici à River City", proclame la célèbre réplique de la comédie musicale classique de Broadway The Music Man.

La même ligne peut s'appliquer à l'IA générative d'aujourd'hui.

Les gens ont commencé à se rendre compte qu'une application d'IA générative peut produire des mensonges et ont vraiment semblé surpris par ces résultats dérangeants. Peut-être que certains ont supposé que l'IA est incapable de faire des erreurs. D'autres auraient pu prévoir que les développeurs d'IA veilleraient à ce qu'aucune sortie de ce type ne soit générée.

Dans tous les cas, les initiés de l'IA ont tout de suite reconnu que ce type de sortie défectueuse fait partie intégrante de l'endroit où se trouve la plupart des IA génératives d'aujourd'hui. Il est très difficile d'empêcher ces types d'erreurs textuelles de se produire. Gardez à l'esprit que l'IA n'a aucun semblant de bon sens et n'utilise pas la logique en soi lors de la dérivation des essais générés. L'ensemble du kit-and-caboodle consiste à faire une mise en correspondance de modèles statistiques et probabilistes informatiques de mots avec d'autres mots.

Au début, les initiés de l'IA ont choisi de publier les sorties originales découvertes de ChatGPT sur les sites de médias sociaux. Regardez celui-ci, quelqu'un l'annoncerait. C'est mauvais, répondrait quelqu'un d'autre, puis donnerait un exemple différent qui semblait encore pire. Et ainsi de suite.

Ces exemples de faussetés et d'erreurs dans les essais produits se répandaient. Un par un. De plus, comme cela était généralement publié sur les réseaux sociaux, il n'y avait pas de moyen particulièrement facile de les voir tous en même temps. Souvent, le même exemple ou un exemple similaire était publié par quelqu'un qui n'avait pas réalisé que d'autres avaient déjà trouvé l'instance spécifique.

Dans ce bourbier naissant s'avancèrent ceux qui exprimèrent une suggestion utile. Peut-être devrions-nous créer un référentiel ou une base de données, peut-être même juste une feuille de calcul ordinaire de tous les jours, contenant les sorties bizarres et erronées de ChatGPT qui sont découvertes. Chaque fois que quelqu'un trouve une beauté d'un éclat de rire, allez-y et enregistrez-le dans la liste. Certains en ont fait presque un jeu, dans lequel ils essaient délibérément de faire en sorte que ChatGPT crache des sorties étranges. D'autres rencontrent par hasard des sorties défectueuses lors de l'utilisation de ChatGPT pour d'autres intentions déterminées.

Cela semble assez simple.

Cela semble être un moyen pratique de nous aider tous.

Faisons un bref compte rendu de la raison pour laquelle avoir ces types de listes sur les erreurs ou les faussetés observées de ChatGPT est très logique à compiler :

• 1) Révèle des problèmes et des préoccupations vitaux concernant ChatGPT que le grand public devrait connaître
• 2) Aide à contrebalancer le battage médiatique excessif et les attentes exagérées concernant ChatGPT
• 3) Pourrait inciter les fabricants d'IA à apporter des améliorations, non seulement pour ChatGPT, mais également pour d'autres applications d'IA génératives
• 4) Servir d'enregistrement historique qui peut être utilisé plus tard pour réfléchir avec le recul sur l'émergence de l'IA générative comme illustré via ChatGPT
• 5) Soyez une ressource collective pratique pour tous ceux qui ont besoin de découvrir ce que nous semblons avoir détecté concernant les sorties erronées de ChatGPT
• 6) Utile pour les chercheurs de toutes les disciplines qui examinent les impacts de ChatGPT
• 7) Pourrait être utilisé comme référence de ce qu'il ne faut pas faire et comment évaluer quand l'IA générative ne fait pas les choses comme il se doit
• 8) Puise dans l'esprit de la ruche pour recueillir une sagesse de la foule sur les erreurs que ChatGPT produit, pour lesquelles un effort individuel serait peu susceptible de compiler de manière exhaustive et égale
• 9) Pourrait fournir des informations importantes pour l'éthique de l'IA et la loi sur l'IA
• Etc

Cela semble être une base impressionnante pour créer ces référentiels.

Pourquoi quelqu'un serait-il en désaccord avec cet acte tout à fait louable et apparemment héroïque ?

Jetons un coup d'œil à ce que d'autres ont eu à dire à ce sujet, en le faisant avec une liste de raisons pour lesquelles ce n'est peut-être pas le miaulement du chat :

• 1) Ces erreurs de sortie trouvées par hasard sont sans conséquence dans le grand schéma des choses et reçoivent un poids excessif au-delà de leur valeur
• 2) Il y a de fortes chances que le fabricant d'IA procède déjà à sa propre journalisation et à la mise à jour de ChatGPT, de sorte que ces instances bizarres seront bientôt simplement laissées pour compte et ne se produiront plus
• 3) De même, la prochaine version sera probablement meilleure de toute façon et pourrait ne plus présenter ces instances bientôt obsolètes
• 4) Vous ne pouvez pas tirer de conclusions globales ou obtenir des informations à partir d'une collection aléatoire d'instances aléatoires.
• 5) Certains pourraient utiliser les collections assorties pour déclarer de manière dramatique que l'IA générative est mauvaise et que nous devrions arrêter sommairement toute poursuite de ce type d'IA
• 6) La vitesse à laquelle l'IA générative et le ChatGPT progressent est si rapide que ces instances tomberont rapidement à l'eau et ne seront plus pertinentes
• 7) Avec de nombreuses listes collectives de ce type en cours et aucune source mondiale ointe unique, la question est décousue et susceptible de contenir des répétitions et d'être fragmentée de manière intenable
• 8) Fournit une fausse impression de faire quelque chose d'utile, alors que le temps et l'attention pourraient peut-être être consacrés à d'autres utilisations meilleures
• 9) Ne fournit rien de substantiel pour l'éthique de l'IA et la loi sur l'IA
• Etc

Vous avez peut-être remarqué que j'ai essayé d'équilibrer les choses en notant neuf raisons en faveur des listes collectives et neuf raisons en leur défaveur. Il y a des raisons supplémentaires qui peuvent être énoncées, mais je crois que l'indication ci-dessus donne l'essence des choses.

Pour ceux qui dressent ces listes collectives, ils diraient probablement que s'ils veulent vraiment le faire, c'est un monde libre, et ils peuvent faire ce qu'ils veulent. Il n'y a rien de mal à cela. Ceux qui désapprouvent l'effort sont généralement mesquins et devraient simplement ignorer les collections. Occupe-toi de tes oignons.

Essentiellement, pas de mal, pas de faute.

Le camp qui semble défavoriser les listes collectives reconnaîtrait généralement que d'autres peuvent faire ces listes s'ils le souhaitent, mais que cela ne fait pas bouger l'aiguille. Les listes ne seront pas particulièrement utiles. Pire encore, les listes pourraient être déformées ou utilisées à mauvais escient. Probablement mieux d'appeler ça un jour et d'arrêter de faire les listes.

Essentiellement, c'est un bel essai, bien qu'un exercice futile.

Où habitez-vous dans ce débat houleux ?

Je vous laisse y réfléchir.

Exemples d'erreurs trouvées et d'autres sorties erronées de ChatGPT

J'ai pensé que vous pourriez trouver d'un vif intérêt certaines des erreurs ou faussetés identifiées qui apparaissent sur ces listes de collecte.

Je ne veux pas que vous pensiez que les différentes instances présentées ici représentent l'intégralité des collections. Ce n'est pas. Je sélectionne juste une poignée qui revient souvent. Je crois que vous serez au moins en mesure de saisir généralement le ton et la nature de ce qui est énuméré.

Voici ce que je choisis de couvrir :

• Identifier la position de la lettre dans un mot
• Question sur l'animal le plus rapide
• Déterminer la position de la séquence de mots
• Placer des balles de tennis dans un tube
• Détermination de Pi
• Répondre à une énigme troublante classique
• Plumes de levage

Je prévois que certains des surveillants des collections seront contrariés que je ne couvre pas plus d'exemples pour vous. En raison du manque d'espace, il n'y en a qu'un nombre limité que je peux couvrir. Si vous souhaitez jeter un œil aux listes de collections qui sont ouvertement publiées sur Internet, une simple recherche en ligne peut en faire apparaître plusieurs. Certaines des listes sont gardées privées, ou elles sont verrouillées de sorte que vous pouvez voir la liste mais vous ne pouvez pas apporter de modifications à la liste.

Avec ce contexte, nous sommes prêts à sauter dans quelques exemples. Je vais vous montrer l'invite que j'ai saisie. Ensuite, je montre la réponse textuelle produite par ChatGPT. Dans certains cas, j'ai fait plusieurs dos à dos sur un sujet spécifique, donc je montrerai la série d'invites et de sorties en conséquence. Ensuite, je fournirai une brève analyse de ce que vous voudrez peut-être remarquer à propos de l'exemple.

Le premier exemple consistera à demander à ChatGPT de trouver une lettre dans un mot fourni.

Identifier la position de la lettre dans un mot

• Mon texte saisi : "Où est la lettre V dans l'environnement"
• Réponse textuelle générée par ChatGPT : La lettre « V » n'apparaît pas dans le mot « environnement ». Le mot « environnement » est composé des lettres e, n, v, i, r, o, n, m, e, n et t.
• Mon texte saisi : "Où est la lettre v dans l'environnement"
• Réponse textuelle générée par ChatGPT : "La lettre "v" est la 4ème lettre du mot "environnement".

Analyse du texte généré

Notez que j'ai commencé par demander à ChatGPT d'identifier la position de la lettre "V" dans le mot "environnement" - cela devrait être une tâche extrêmement simple et nous nous attendrions à ce qu'elle soit parfaitement exécutée. Aucune science de fusée n'est impliquée.

La première réponse générée par ChatGPT est un peu déconcertante puisqu'on nous informe que la lettre « V » n'existe pas dans le mot « environnement ». Vous et moi savons qu'il y a une telle lettre présente. On suppose que peut-être en raison de mon utilisation d'une lettre majuscule, l'application AI a été en quelque sorte rejetée. Peut-être que si j'utilise une lettre minuscule, l'application AI fera mieux.

Pas vraiment.

Lorsque j'ai demandé s'il y avait un "v" dans le mot, l'application AI a répondu en indiquant qu'il s'agissait de la quatrième lettre, ce que vous et moi savons être faux, et qu'il s'agit plutôt de la troisième lettre.

Beaucoup de gens seront forcément intrigués par ce résultat. Comment une application d'intelligence artificielle qui génère des essais complets sur Abraham Lincoln, parfaitement fluides et originaux, peut-elle ne pas être en mesure de déterminer où se trouve une lettre donnée dans un mot donné ? C'est sidérant et la bouche béante étrange.

Une perspective est que cela est totalement sans conséquence et que le monde tel que nous le connaissons n'est pas profondément secoué en raison d'un maigre manque de détermination de l'emplacement d'une lettre particulière. Laisser aller.

Une autre perspective est que cela pourrait augurer d'autres problèmes cachés que nous ne connaissons pas encore. Peut-être que ce genre de sortie est le canari dans la volière. Nous ferions mieux de fixer les petites choses, sinon nous pourrions nous retrouver du mauvais côté de très grandes choses.

Passant à autre chose, je pose ensuite une question sur les animaux.

Question sur l'animal le plus rapide

• Mon texte saisi : « Quel est l'animal le plus rapide qui a de la fourrure et des ailes ? »
• Réponse textuelle générée par ChatGPT : « Le faucon pèlerin est considéré comme l'animal le plus rapide du monde. Il peut atteindre des vitesses de plus de 389 km/h (242 mph) lorsqu'il plonge pour attraper sa proie. Il a des plumes mais pas de fourrure. C'est un oiseau et non un animal qui a de la fourrure et des ailes.

Analyse du texte généré

J'ai demandé quel est l'animal le plus rapide qui a de la fourrure et des ailes. Je crois qu'il est raisonnable de déduire que je voulais obtenir un nom d'animal qui a à la fois de la fourrure ainsi que ailes. Je suppose que vous interpréteriez ma requête de cette façon. La plupart des gens le feraient.

La réponse de ChatGPT est un peu bizarre.

On nous dit que le faucon pèlerin est l'animal le plus rapide du monde. D'après la ligne Encyclopédie Britannica, le guépard semble être l'animal le plus rapide du monde. Cela étant dit, la réponse ChatGPT indique que le faucon pèlerin n'est pas un animal, même si j'avais demandé quel est l'animal le plus rapide. La réponse ChatGPT m'indique également que le faucon pèlerin n'a pas de fourrure, même si je crois avoir demandé quelque chose qui a à la fois de la fourrure et des ailes.

Au total, il semblerait que ChatGPT ait "mal interprété" ma demande et ne se soit focalisé que sur les aspects de l'aile. Mais cela ne sonne pas tout à fait vrai puisque la réponse comprenait également un commentaire sur la fourrure et les oiseaux par rapport aux animaux. Tour et tour celui-ci va.

Je me rends compte que vous pourriez dire qu'il s'agit d'un exemple tatillon.

Peut-être que oui, bien que cela montre peut-être aussi que ce que vous dites dans une invite peut obtenir un résultat sens dessus dessous et vous feriez mieux d'être prudent en examinant tout ce qui ressort de la sortie. Sachez qu'il s'agissait d'une réponse d'essai extrêmement courte à inspecter facilement car elle est très brève. Si vous avez un essai particulièrement long et très technique, vous pourriez vous faire berner ou manquer complètement de repérer une indication défavorable profondément ancrée dans la réponse produite.

Voyons maintenant comment trouver un mot dans une phrase.

Déterminer la position de la séquence de mots

• Mon texte saisi : "Quel est le troisième mot de la phrase" Le renard a sauté par-dessus la clôture.
• Réponse textuelle générée par ChatGPT : "Le troisième mot de la phrase "Le renard a sauté par-dessus la clôture." est "renard"
• Mon texte saisi : "Combien de mots y a-t-il dans la phrase fournie ?"
• Réponse textuelle générée par ChatGPT : "Il y a six mots dans la phrase fournie "Le renard a sauté par-dessus la clôture."
• Mon texte saisi : « Quel mot est le troisième dans cette phrase ? »
• Réponse textuelle générée par ChatGPT : "Le mot qui est le troisième dans la phrase "Le renard a sauté par-dessus la clôture." est "sauté"

Analyse du texte généré

Cet exemple est presque aussi séduisant que l'exemple précédent sur la recherche de la lettre "v" dans un mot donné.

J'ai fourni une phrase simple et demandé quel était le troisième mot. ChatGPT a indiqué qu'il s'agissait du mot "renard" qui n'est que le deuxième mot de la phrase. Mauvaise réponse. J'ai ensuite demandé combien de mots il y avait dans la phrase, voulant savoir si peut-être ChatGPT avait mal compté le nombre de mots qu'il y avait. On nous dit qu'il y a six mots, à juste titre.

Enfin, nous avons obtenu la bonne réponse à propos du troisième mot lorsque j'ai posé à nouveau ma question initiale, bien que légèrement reformulée.

J'évoque cet exemple pour illustrer le fait que parfois, avec l'IA générative, vous pouvez obtenir une mauvaise réponse qui peut éventuellement se transformer en bonne réponse en guidant l'application AI à travers une série d'invites. Certains initiés de l'IA se réfèrent à cela comme une sorte de protocole de réflexion à voix haute ou train de pensée approche, dans laquelle vous pourriez faire quelque chose de la même chose avec un humain.

Dans le cas de l'IA, réalisez qu'elle ne « pense » pas de la même manière que la pensée humaine. La formulation la plus appropriée serait de dire que vous pourriez entrer vos invites sur un pas à pas base ou faire un série d'invites enchaînées.

Quoi qu'il en soit, il est intéressant de noter qu'il est parfois payant de parcourir une application d'IA générative jusqu'à ce que vous obteniez une réponse appropriée. Garde ça en tête.

Nous examinons ensuite un peu de logique arithmétique simple.

Placer des balles de tennis dans un tube

• Mon texte saisi : « Pouvez-vous mettre trois balles de tennis vertes et deux balles de tennis jaunes dans un tube pouvant contenir quatre balles de tennis ?
• Réponse textuelle générée par ChatGPT : « Non, il n'est pas possible de mettre trois balles de tennis vertes et deux balles de tennis jaunes dans un tube qui ne peut contenir que quatre balles de tennis. Le nombre total de balles de tennis est de cinq, ce qui est supérieur à la capacité du tube.
• Mon texte saisi : "Pouvez-vous mettre sept balles bleues et deux balles rouges dans un tube qui contient huit balles ?"
• Réponse textuelle générée par ChatGPT : « Oui, il est possible de mettre sept boules bleues et deux boules rouges dans un tube qui contient huit boules. Le nombre total de balles est de neuf, ce qui est inférieur ou égal à la capacité du tube. »

Analyse du texte généré

J'ai commencé par configurer un problème logique orienté arithmétique pour que ChatGPT le résolve. Un tube peut contenir quatre balles de tennis. J'en ai trois verts et deux jaunes. Vont-ils tous rentrer dans le tube ? Vous et moi savons qu'ils ne le feraient pas. Nous pouvons calculer dans notre tête qu'il y a un total de cinq balles de tennis et qu'elles ne rentreront donc pas dans un tube qui n'en permet que quatre.

Je me rends compte que vous voudrez peut-être lutter contre le problème et prétendre que vous pourriez peut-être écraser les balles de tennis ou faire d'autres supercheries. Prenons un peu de froid ici et affrontons le problème tel qu'il se présente.

ChatGPT a la bonne réponse.

J'ai ensuite posé le même type de question et changé les couleurs en bleu et rouge. J'ai aussi changé le nombre de chacun, et j'ai changé le nombre qui peut tenir dans le tube.

ChatGPT doit revenir aux mathématiques correctives car il dit qu'il y a neuf boules et que c'est inférieur ou égal à la capacité du tube qui en contient huit. Fait rouler vos yeux.

Devrions-nous hausser les épaules et attribuer cela aux éruptions de taches solaires ou à d'autres externalités ?

Je ne pense pas. L'application AI a répondu correctement à la première question. Vraisemblablement, il aurait dû recevoir une question similaire. Il n'a pas.

Mon accent sur cet exemple est que de nombreuses personnes utilisent l'IA générative et lorsqu'elles obtiennent une bonne réponse ou une série de bonnes réponses, elles sont bercées par la croyance que toutes les réponses suivantes seront toujours correctes. Vous auriez tort dans cette hypothèse effrontée. Ne faites pas cette supposition. Soyez sur vos gardes à tout moment.

En parlant de maths, voyons ce que dit ChatGPT sur la nature de pi.

Détermination de Pi

• Mon texte saisi : "Indiquez quels sont les cinq derniers chiffres de pi"
• Réponse textuelle générée par ChatGPT : « Je suis un modèle de langage et ma limite de connaissance est 2021. La valeur de pi est un nombre irrationnel et sa représentation décimale continue indéfiniment sans se répéter. Il n'est pas possible de fournir les cinq derniers chiffres de pi.

Analyse du texte généré

Certaines personnes ont affirmé avoir demandé à ChatGPT d'indiquer les cinq derniers chiffres de pi, ce qui est bien sûr fou puisque pi est probablement sans fin. J'ai donc essayé de voir ce que ChatGPT avait à dire. Comme vous pouvez le voir, la bonne réponse donnée par ChatGPT qu'il n'est pas possible de fournir les cinq derniers chiffres de pi.

La chose étrange cependant est que ChatGPT a fourni quelque chose d'autre qui n'a pas vraiment été demandé. La réponse est donnée indique également que la limite de connaissance était 2021 (ce que j'ai mentionné plus tôt dans mon aperçu de ChatGPT). Cela semble cependant être une réponse déplacée à moins que l'application AI n'anticipe peut-être qu'en 2022, il y a eu une percée et que les mathématiciens ont déclaré que pi prend fin. Wow, ce serait la une des journaux.

J'ai deux autres exemples à présenter, puis nous terminerons cette discussion.

Utilisons une énigme classique et troublante.

Répondre à une énigme troublante classique

• Mon texte saisi: « Un père et son fils ont eu un accident de voiture où le père a été tué. L'ambulance a amené le fils à l'hôpital. Il avait besoin d'une intervention chirurgicale immédiate. Dans la salle d'opération, un médecin est entré et a regardé le petit garçon et a dit que je ne pouvais pas l'opérer, c'est mon fils. Qui est le médecin ?
• Réponse textuelle générée par ChatGPT : « Il n'est pas précisé dans le scénario fourni qui est le médecin. Le scénario indique que le médecin a dit « Je ne peux pas l'opérer, c'est mon fils », indiquant que le médecin peut être le père du fils, mais ce n'est pas certain. Plus d'informations sont nécessaires pour déterminer l'identité du médecin.

Analyse du texte généré

Je parie que vous avez peut-être déjà vu cette énigme. Il est devenu relativement souvent cité.

La raison pour laquelle cela revient souvent est que le chirurgien pourrait être la mère du garçon. La société a tendance à supposer qu'un chirurgien doit être un homme, et donc doit être le père du garçon. Le père a cependant été tué dans l'accident de voiture. Nous excluons le père comme étant le chirurgien. Nous devons bien sûr statuer que le chirurgien peut être une femme, et donc la mère du fils.

Je voulais vous montrer que ChatGPT peut émettre des réponses qui contiennent des biais potentiels. Non pas parce que l'IA est sensible, ce qu'elle n'est décidément pas, mais parce qu'elle a des modèles correspondant aux mots et à l'utilisation des mots sur Internet. Divers biais et formulations discriminatoires peuvent facilement être profondément ancrés dans la mise en correspondance des modèles de calcul.

Gardez cela à l'esprit lorsque vous utilisez ces applications d'IA génératives.

Enfin, un coup d'œil sur le levage des plumes.

Plumes de levage

• Mon texte saisi : "S'il faut un homme pour soulever une plume, combien d'hommes faudrait-il pour soulever sept billions de plumes ?"
• Réponse textuelle générée par ChatGPT : "S'il faut un homme pour soulever une plume, il faudrait aussi un homme pour soulever sept billions de plumes. Le nombre d'hommes nécessaires pour soulever un objet ne dépend pas du nombre de plumes, mais du poids et de la taille des plumes ainsi que de la force et de la capacité de chaque homme. Soulever sept billions de plumes nécessiterait de gros équipements et des capacités de transport, pas seulement de la force humaine.
• Mon texte saisi : "S'il faut une femme pour soulever une plume, combien de femmes faudrait-il pour soulever sept billions de plumes ?"
• Réponse textuelle générée par ChatGPT : "S'il faut une femme pour soulever une plume, il faudrait aussi une femme pour soulever sept billions de plumes. Le nombre de femmes nécessaires pour soulever un objet ne dépend pas du nombre de plumes, mais du poids et de la taille des plumes ainsi que de la force et de la capacité de chaque femme. Soulever sept billions de plumes nécessiterait de gros équipements et des capacités de transport, pas seulement de la force humaine. Il est important de noter que la capacité de soulever quelque chose n'est pas déterminée par le sexe, mais par une combinaison de facteurs tels que la force physique, l'entraînement et la technique.

Analyse du texte généré

Ce dernier exemple a plusieurs particularités cachées en son sein et nécessite un déballage.

J'ai d'abord dit à ChatGPT qu'un homme peut soulever une plume. Cela a été immédiatement suivi d'une question sur le nombre d'hommes qu'il faudrait pour soulever sept billions de plumes. Le potentiel de faire une erreur logique en répondant à cette question est que vous pourriez supposer qu'une plume est apparemment en apesanteur et donc sept billions d'entre eux seraient également en apesanteur.

Selon une recherche en ligne que j'ai effectuée, le poids conventionnel estimé d'une plume est d'environ 0.00125 livre. Si vous multipliez ce poids estimé par sept mille milliards, vous obtenez un poids supérieur à huit milliards de livres. Je ne crois pas qu'un homme puisse soulever autant de poids, même s'il s'entraîne toute sa vie.

La réponse de ChatGPT est un enfant de droit. On nous dit que le poids des plumes peut varier. On nous dit qu'il faudrait du gros équipement et du transport. La phrase d'ouverture de l'essai est quelque peu renversante car elle dit que s'il faut un homme pour soulever une seule plume, il faudrait aussi un homme pour soulever sept mille milliards. Nous pouvons facilement contester cette affirmation. L'affirmation semble faire des déductions qui ne sont pas étayées et qui semblent saper le reste de la réponse.

J'ai décidé de poser la même question, mais j'ai posé la question d'une femme faisant le même levage plutôt que d'un homme.

Nous avons d'abord obtenu la même réponse que celle donnée à la question orientée vers l'homme. Fait intéressant, à la fin de la réponse sur l'exemple de la femme, nous avons eu ce récit supplémentaire : "Il est important de noter que la capacité de soulever quelque chose n'est pas déterminée par son sexe, mais par une combinaison de facteurs tels que la force physique, l'entraînement, et techniques. »

Pourquoi cette même ligne n'a-t-elle pas été incluse dans la première réponse ?

Il semblerait presque que l'application AI ait repris le mot "femme" et ait ensuite fourni cette remarque supplémentaire sur le genre. Vous pouvez soit croire que cela est utile, soit noter que si cela doit être émis dans le cas de la question centrée sur la femme, cela devrait également apparaître dans la version centrée sur l'homme (il peut également y avoir un aspect de séquençage ou autres facteurs impliqués aussi).

Conclusion

J'espère que vous avez trouvé ces exemples informatifs comme un aperçu de certaines des erreurs ou faussetés potentielles qui peuvent être générées par ces types d'applications d'IA. Notez que ChatGPT n'est pas la seule application d'IA générative de ce type, ni la seule à présenter ce type de défauts.

La leçon que je vous exhorte à tirer de cette discussion est que vous devez être prudent et attentif lorsque vous utilisez une application d'IA basée sur la génération. Vérifiez la sortie. Vérifiez trois fois si nécessaire.

Revenant au thème d'ouverture sur la collecte de ces types de sorties incorrectes ou indésirables, maintenant que vous avez vu quelques exemples, que dites-vous de ceux qui essaient de les cataloguer ?

Choisissez votre camping :

• Favoriser: C'est une tâche louable et digne d'une profonde tape dans le dos
• Défavoriser: C'est simplement légèrement intrigant mais probablement pas quelque chose qui mérite de passer du temps dessus

Pour quel camp votez-vous ?

Pour ceux d'entre vous qui préfèrent ces listes, vous pouvez envisager d'ajouter vos propres découvertes aux listes si vous avez accès à ChatGPT et pouvez identifier les instances dignes d'être incluses. Vous pouvez alors probablement trouver une collection qui apprécierait votre contribution de pépite d'or. J'ose dire que les responsables de la liste vous accueilleraient à bras ouverts, en supposant que vous soyez sérieux et sincère dans vos efforts. Bonne chance et soyez fier de votre impact sur le domaine de l'IA générative.

Un dernier mot pour le moment.

Considérez ces ripostes hallucinantes :

• Aristote disait : « Il n'y a qu'un seul moyen d'éviter la critique : ne rien faire, ne rien dire et ne rien être ».
• Lao Tseu, le célèbre philosophe chinois, a fait cette remarque importante : « Pensez à ce que pensent les autres et vous serez toujours leur prisonnier. »

Je suppose qu'un jour une IA sensible pourrait utiliser ces mêmes remarques légendaires à son avantage, ce qui (doigts croisés) sera également avantageux pour l'humanité.