Je suis d’accord, c’est un outil qui fait gagner du temps si tu sais exactement ce que tu veux et que tu peux le formuler rapidement, puis affiner. Je l’ai déjà fait pour des lettres de recommandation, par exemple. Par contre quand tu as un doute possible sur le résultat, c’est de la merde comme outil : ça va toujours être plausible, c’est le but. Donc non seulement ça peut être faux, mais sans les éléments classiques qui permettent de détecter le faux. Cf comment cet enfoiré prétend qu’il fait des recherches dans ses sources…
1 « J'aime »
Ça se saurait si nos jeux étaient sans contradiction 
2 « J'aime »
Mais au final, est ce qu’il ne sera pas majoritairement plus juste dans son résultat de recherche/analyse de règles que le joueur lambda (qui est lui aussi faillible) ?
et vulageriser, il sait faire ChatGPT ? 
2 « J'aime »
Est-ce qu’il peut relire une ancienne conversation que tu as eu avec lui ?
Ça pourrait être utilise d’avoir une conversation préalable posant tes bases / consignes standards à appliquer systématiquement, voire à lui enseigner quelque chose qu’on réutilise par la suite. Ou pourquoi pas revenir sur une fiction qu’on lui à fait écrire pour la modifier.
Non, pas dans la version actuelle.
Tu peux reprendre une conversation… le contexte est sauvegardé à ce moment là . La version 4 peut conserver 25k mots de contexte si j’ai bien compris
1 « J'aime »
Ah oui, je n’avais pas compris la question dans ce sens. Tu peux revenir à tes anciennes conversations et relancer le truc depuis le contexte correspondant. Mais ce ne sera pas nécessairement la même version de ChatGPT, si j’ai bien compris.
Je me demande combien de conversations ils conservent.
Pas sûr qu’il y ait une limite… Quand tu reprends une conversation j’imagine que le programme remet les messages précédents en pre-prompts ou un truc dans le genre.
1 « J'aime »
Haha bien vu ! J’ai même pas envie d’éditer pour la peine
1 « J'aime »
Exact. En réalité, que tu reprenne une conversation précédente ou que tu poursuive la conversation actuelle, c’est le même processus : tout le contexte est redonné au modèle à chaque fois. Il n’y a pas de mémoire interne en dehors du contexte.
Et encore moins intuitif : c’est à chaque token (c’est-à-dire chaque mot, pour simplifier) produit que le modèle va à nouveau être appelé. Si la réponse de chatGPT fait 1000 mots, c’est donc que le modèle aura été appelé 1000 fois successivement. C’est ce qui rend ces modèles assez coûteux à utiliser.
2 « J'aime »
D’ailleurs ça se voit quand il répond, il revient même parfois en arrière pour traduire la conjonction de tokens.
Merci pour le lien.
Il reste un espace d’interprétation. Il serait coûteux d’appliquer ces classifieurs à chaque nouveau token généré. Je pense plutôt que l’API de modération est utilisée a priori (à supposer qu’elle le soit), c’est-à-dire sur le prompt des utilisateurs, et rendu disponible aux développeurs qui voudraient contrôler a posteriori les résultats donnés par chatGPT. Les hacks du type Dan montrent que cette API de modération n’est pas appliquée systématiquement aux réponses du chatbot. Ou alors, c’est que leur API de modération est vraiment mauvaise (ce que je ne crois pas).
Merci pour les autres précisions intéressantes, sur le corpus d’entraînement et sur l’étape initiale du fine-tuning.
C’est fou de se dire que ce résulat est quasiment directement obtenu à partir d’un modèle de prédiction du prochain mot (token). Est-ce que tu as compris comment est défini le nombre de mot de la réponse ? Parfois ça tire à la ligne et parfois c’est plus court. Est-ce que c’est un modèle à part qui prédit le nombre de mot souhaité ou il y a un token « fin de réponse » ?
Il y a un token « fin de réponse ».
Mais je pense aussi qu’OpenAI a « capé » le nombre de mots maximum d’une seule réponse. Dans ce cas, la réponse s’arrête en milieu de phrase, et il faut prompter « continue » pour que le modèle reprenne là où il s’était arrêté.
1 « J'aime »
Ha merci pour le tips !
Smart
1 « J'aime »
Bon GPT 3.5 ne sait pas lire internet en direct, et il me semble que c’est toujours le cas avec GPT 4 (dommage pour la possibilité de résumer un article).
Est-il possible de lui donner un pdf à lire ou c’est trop proche comme fonction et donc aussi impossible ?
Ce n’est pas une limitation du modèle lui même mais une limitation de l’API. Ils ne veulent pas que tu utilises pas pour faire des dénis de service ou d’autres conneries. Si tu convertis ton pdf en texte, tu peux faire un copier/coller dans le chat, mais bon, ça risque d’être vite trop gros. Techniquement cependant, il n’y a pas de limite si ce n’est qu’il ne prend en compte qu’une fenêtre limitée du passé. J’ai fait tourner des modèles de ce type sur des articles scientifiques pour une tentative de visualisation et j’ai pu entrer les articles entiers sans difficulté, mais c’était avec du code python et un modèle local.
1 « J'aime »
Tu ne crois pas si bien dire : Stability AI Launches the First of its Stable LM Suite of Language Models — Stability AI
1 « J'aime »