ChatGPT : comment Microsoft a créé une infrastructure massive pour entraîner le modèle de langage d'OpenAI

Si les modèles du type ChatGPT ou DALL-E coûtent très cher à utiliser, ils sont aussi très onéreux à mettre sur pied. Microsoft a travaillé avec OpenAI pour former ses IA et a donné quelques détails sur les coulisses de l'opération. Les modèles ont nécessité des dizaines de milliers de cartes graphiques organisées d'une manière unique, dans une infrastructure de calcul intensif tournant à plein régime.

Image: Microsoft.

Le défi était de taille. « Il faut non seulement disposer de la plus grande infrastructure, mais aussi être en mesure de la faire fonctionner de manière fiable pendant une longue période », explique Nidhi Chappell, cheffe de produit Microsoft pour le calcul haute performance et l'IA Azure. Son entreprise a commencé à travailler avec OpenAI en 2019, lorsque les deux boîtes ont signé un premier partenariat. Celui-ci a été reconduit, Microsoft ayant depuis investi des milliards de dollars dans la startup.

Pour entrainer le modèle, Microsoft a donc dû construire une inf...