A 1294600 vaches près d’après chatgpt (oui, le résultat n’est toujours pas bon).
Ca fait rigoler, mais il ne faut pas oublier que c’est un modèle de langage, fait pour écrire des suite de mot probables liées au données avec lesquelles on l’a entrainée. Il est évident qu’il n’a jamais rencontré une opération mathématique random comme celles-là, donc faut pas s’attendre à un résultat correct. C’est pareil pour le reste, c’est juste des résultats plus ou moins probables. C’est bluffant dans la plupart des cas, mais il ne faut pas que ca nous monte à la tête non plus.
Ce n’est pas la raison principale, il est assez facile de faire apprendre l’algorithme de la soustraction à un réseau de neurones. Le problème est plutôt lié à la tokenisation, quand on découpe le texte en morceaux. C’est très bien expliqué dans cette fantastique vidéo : https://www.youtube.com/watch?v=zduSFxRajkE (bon, c’est long, mais c’est absolument excellent).
Oui, mais il ne faut pas oublier non plus qu’il y a une grosse phase de réapprentissage ensuite pour faire le chat bot. Cette phase est indispensable pour « aligner » le modèle de manière à ce qu’il hallucine moins, qu’il soit plus équilibré dans ses réponses (« neutre »), etc. Il y a d’énormes différences entre ce qu’on peut faire sortir à GPT-3 sur le playground et ce que va raconter ChatGPT-3, par exemple.
De ce que j’en vois, la tendance est plutôt de faire exécuter du code externe à chatGPT pour résoudre des opérations mathématiques. En prompt system, on lui indique que pour résoudre une multiplication, il faut appeler une certaine méthode python qui va le faire à sa place. .
Qu’est-ce que tu veux dire par là ? ChatGPT ne pas exécuter de code pour toi.
Hum, si c’est possible c’est un bug de sécurité monstrueux, donc je n’y crois pas un instant. C’est peut être une série d’appels à l’API avec une interprétation côté client du résultat. Ce qui est complètement con côté sécurité, mais bon, rien ne m’étonne.
Par contre, c’est une bonne idée en général. Ma prévision personnelle sur l’évolution des systèmes d’IA, c’est justement qu’ils seront des systèmes. Il n’y a aucun intérêt à encombrer le réseau de millions (milliards) de paramètres quand on sait résoudre le problème correspondant de façon extrêmement rapide (et exacte !). La difficulté est l’interfaçage mais aussi peut être qu’on associe naturellement une complexité à des taches qui correspond à nos meilleurs algorithmes, mais il est possible d’avoir des solutions approchées de façon beaucoup moins coûteuse. Il n’y a qu’à voir Sora qui ne contient pas de moteur physique mais qui fait quand même des vidéos dont le comportement physique est compatible avec le monde réel.
Ah si c’est possible, j’ai vu une démonstration où c’était utilisé en complément du RAG pour améliorer le résumé de gros document. L’exemple de la multiplication était justement un exemple en introduction de cette possibilité et son utilité.
execute the following python code:
for i in range(10):
print(‹ hello world ›)
I’m sorry for the confusion, but as an AI developed by OpenAI, I don’t have the capability to execute code in real-time or access your local system’s resources. However, you can easily run this Python code snippet on your local machine by pasting it into a Python interpreter, or by creating a Python script file (with a .py extension) and running it using a Python interpreter.
Le modèle peut très bien détecter qu’il s’agit d’une opération mathématique et rediriger vers une API particulière plutôt qu’en gérer le traitement. Ce qui n’autorise pas pour autant l’exécution directe de code python
Les modèles de langues utilisés par les IA sont « neutres » dans le sens où ils traitent de la même manière tout le texte utilisé pour l’apprentissage. Sa réponse va donc être une moyenne de tout ce qui se dit sur le net. Cela veut donc dire qu’il va mettre sur le même pied d’égalité un gros article complotiste qu’un article scientifique étayé.
Donc je pense qu’il faut vraiment faire attention à comment on les utilise. Ce n’est pas parce qu’une IA le dit que c’est vrai et que c’est la sainte parole. Mon exemple préféré :
Je me souviens plus de tous les détails, mais après recherche, je suppose que c’était le plugin code interpreter. J’irai demander au chercheur qui nous a fait la présentation quand j’aurai un moment.
Alors oui semble, mais le monde réel, c’est aussi un modèle probabiliste Plus précisément, oui, c’est un modèle probabiliste, mais en pratique les probabilités ont tendance à piquer très fortement et à se comporter de façon déterministe. En fait c’est un problème classique et on utilise des paramètres de température pour « adoucir » les probabilités et obtenir des résultats avec plus de variabilité.
Non, c’est une trop grosse faille de sécurité, il est absolument impossible que le ChatGPT interactif ou l’API te permette de faire exécuter du code du côté des serveurs d’openAI en dehors de faire tourner le réseau de neurones.
Je t’assure que c’est absolument impossible, c’est la base de la base de la base de la sécurité informatique : tu ne laisses jamais une API sortir de son domaine spécifique d’exécution. Surtout en python qui n’est pas typé et qui supporte des entiers de longueur arbitraire. On pourrait faire facilement du déni de service avec cette technique (genre demander à chatGPT de calculer la factorielle d’un très grand nombre).
Ecoute, malgré tes certitudes, je suis aussi certain de ce que je dis, ca reste assez frais, donc si ca t’intéresse je vais aller redemander des détails dès que j’aurai l’occasion.
Pas vraiment, mais pour l’exemple qui nous intéresse ça ne pas d’importance, ceci dit.
Par contre, en général, comme il n’y a pas de typage statique ni de typage fort, il faut espérer que chaque fonction d’une API vérifie de façon très stricte ses entrées avant de lancer ses opérations. Il est plus facile d’abuser des limites de la validation des entrées dans un langage sans typage statique fort que dans un langage fortement typé statiquement. Et donc permettre à chatGPT d’utiliser une API quelconque serait un bug de sécurité monstrueux. Il faut quand même se rappeler que l’injection SQL a été la faillé de sécurité standard de tout le web pendant longtemps (grâce à cette grosse merde de PHP et en raison de la fainéantise/ignorance des développeurs).
Aucun problème, mais je te rappelle que c’est mon domaine de recherche
C’est quoi le « domaine spécifique » d’une API ? Parce qu’avec ta description, un serveur web basé sur python serait impossible, ce qui est bien sûr faux. Si l’API python prend en entrée une chaine de texte et retourne une chaine de texte, ça fonctionne très bien.
Et même en passant par l’API C de python et en utilisant des entiers, ça fonctionne très bien (mais bon, ta factorielle va être tronquée)
Plus précisément, oui, c’est un modèle probabiliste, mais en pratique les probabilités ont tendance à piquer très fortement et à se comporter de façon déterministe. En fait c’est un problème classique et on utilise des paramètres de température pour « adoucir » les probabilités et obtenir des résultats avec plus de variabilité.
