Connu sous le nom de PaLM + RLHF cette IA est l'œuvre de Philip Wang, un développeur qui a combiné le modèle de langage Pathways (PaLM) de Google avec l'apprentissage par renforcement à partir du feedback humain (RLHF). Le résultat est une IA qui pourrait, en théorie, exécuter des tâches similaires à celles effectuées par ChatGPT.
En gros, cette IA est une mise en œuvre de RLHF au-dessus de l'architecture PaLM. Le site modèle linguistique développé par Google a été entraîné à l'aide d'un ensemble de données multilingues de haute qualité comprenant des livres, des documents, des entrées Wikipédia et du code GitHub. PaLM peut effectuer des raisonnements arithmétiques, expliquer des blagues ou deviner le film à partir d'un emoji.
PaLM + RLHF serait capable de prédire des mots en utilisant l'ensemble de données et le feedback humain. RLHF, présent dans ChatGPT, utilise un modèle de langue préalablement formé et vise à l'aligner sur les résultats attendus par les utilisateurs. Cela est rendu possible par un modèle de récompense qui définit comment les préférences humaines sont intégrées dans un système.
Le fonctionnement de ChatGPT open source nécessite des millions de dollars.
PaLM pourrait surpasser GPT-3, cependant, avant de vous enthousiasmer pour cette variante open source et de courir la télécharger, vous devez savoir quelque chose. Le système n'a pas encore été formé, il n'est donc pas capable d'établir une conversation avec vous comme le ChatGPT. Selon son créateur, PaLM + RLHF n'est qu'un bateau et une carte générale, car il faut des millions de dollars de calculs et de données pour naviguer au bon endroit dans un espace de paramètres à haute dimension.
Quand Wang parle de millions de dollars, il ne plaisante pas. Selon une étude publiée par l'université de Cornell pour former un modèle de 1,5 milliard de paramètres coûterait 1,6 million de dollars.
Bloom, un modèle de source ouverte qui possède un nombre de paramètres similaire à celui de GPT-3, a nécessité trois mois d'entraînement en utilisant 384 cartes NVIDIA A1000, d'une valeur estimée à 32 200 dollars chacune. À titre de référence, le PaLM compte 540 milliards de paramètres.
Philip Wang mentionne que même avec le navire et la carte en main – comme il définit le PaLM + RLHF – il faut encore des marins professionnels pour le guider jusqu'au port. D'autres experts affirment qu'il faut non seulement un matériel puissant, mais aussi une infrastructure adéquate et des logiciels capables de mener à bien la tâche de formation.
Quoi qu'il en soit, si vous souhaitez en savoir plus sur le PaLM + RLHF, vous pouvez accéder aux sites suivants vers le dépôt GitHub.
Je suis une grande fan de nouvelles sur les gens – je suis une pro de la tech et des smartphones, de la littérature de série, et j'écris pendant mon temps libre.