ChatGPT et d'autres modèles d'IA générative gagnent en popularité ces derniers temps, mais le coût de leur utilisation peut être prohibitif. Cela est devenu clair lorsque la petite startup Latitude a gagné en popularité avec son jeu de donjon AI qui génère des histoires fantastiques basées sur les entrées des utilisateurs. Le PDG Nick Walton a constaté que le coût de maintenance du logiciel de jeu de rôle textuel continuait d'augmenter à mesure que de plus en plus d'utilisateurs jouaient au jeu. La génération de texte d'AI Dungeon était basée sur la technologie de langage GPT de Microsoft développée par OpenAI. De plus, les spécialistes du marketing de contenu ont utilisé le jeu pour créer du contenu publicitaire, ce qui a également eu un impact sur la facture d'IA de Latitude.
Selon Walton, en 2021, l'entreprise dépensait près de 200 000 dollars par mois en logiciels d'IA générative OpenAI et Amazon Web Services pour répondre aux millions de demandes d'utilisateurs qu'elle devait traiter chaque jour. "Nous avons plaisanté en disant que nous avions des travailleurs humains et des travailleurs de l'IA, et nous avons dépensé à peu près la même chose pour chacun d'eux", a déclaré Walton. "Nous avons dépensé des centaines de milliers de dollars en IA chaque mois, et nous ne sommes pas une grosse startup, donc c'était un coût très élevé."
Fin 2021, pour réduire les coûts, Latitude est passé à un logiciel de langage moins cher mais toujours performant d'AI21 Labs. De plus, la société a intégré des modèles de langage open source gratuits dans ses services. En conséquence, les factures mensuelles d'IA de l'entreprise sont tombées à moins de 100 000 dollars. Latitude facture désormais à ses joueurs un abonnement mensuel pour des fonctionnalités d'IA avancées afin de couvrir les coûts.
Les factures élevées d'IA de Latitude montrent que le coût de développement et de maintenance des technologies d'IA génératives peut être prohibitif, à la fois pour les entreprises développant les technologies sous-jacentes et pour celles qui utilisent l'IA pour faire fonctionner leur propre logiciel. C'est une réalité inconfortable pour l'industrie, car de grandes entreprises comme Microsoft, Meta et Google utilisent leur capital pour se tailler une avance technologique que les plus petits challengers ne peuvent égaler. Si la marge des applications d'IA est en permanence inférieure à la marge précédente du Software-as-a-Service (SaaS) en raison des coûts de calcul élevés, cela pourrait freiner le boom actuel.
Le coût élevé de la formation et de "l'inférence" - en fait l'exécution de modèles d'IA - sur de grands modèles de langage est un coût structurel distinct des booms informatiques précédents. Même une fois que le logiciel est construit ou formé, il nécessite toujours une énorme puissance de calcul pour exécuter de grands modèles de langage, car ils effectuent des milliards de calculs chaque fois qu'ils renvoient une réponse à une invite. En comparaison, le coût de déploiement et de maintenance des logiciels a toujours été relativement faible.
Malgré ces défis, la demande de technologies d'IA générative reste élevée car elles peuvent aider les entreprises à créer de nouveaux produits et à travailler plus efficacement. L'industrie s'efforce de réduire le coût d'utilisation des technologies d'IA en développant du matériel plus économe en énergie et en introduisant de nouveaux algorithmes et architectures nécessitant moins de puissance de calcul. De plus, la communauté open source peut aider en fournissant des modèles et des outils d'IA gratuits.
Dans l'ensemble, la technologie de l'IA est encore en phase de développement, et le coût élevé est un défi que les entreprises et les développeurs doivent surmonter pour déployer avec succès la technologie. Les coûts devraient diminuer au fil du temps à mesure que l'industrie continue d'innover et de développer des solutions plus efficaces.
Modèles de formation IA - Le coût de la formation !
Les analystes et les technologues estiment que la formation de grands modèles de langage comme le GPT-3 d'OpenAI pourrait coûter plus de 4 millions de dollars. Selon Rowan Curran, un analyste Forrester spécialisé dans l'IA et l'apprentissage automatique, des modèles plus avancés pourraient même coûter plus de "millions à un chiffre" pour s'entraîner.
Meta a récemment publié son plus grand modèle LLaMA, formé sur 2 048 GPU Nvidia A100 pour former 1,4 billion de jetons (environ 750 mots correspondent à environ 1 000 jetons). La formation a duré environ 21 jours et a nécessité environ 1 million d'heures GPU. Avec la tarification AWS dédiée, la formation coûterait plus de 2,4 millions de dollars. Bien que le modèle de 65 milliards de paramètres soit plus petit que les modèles GPT actuels d'OpenAI, comme ChatGPT-3 avec 175 milliards de paramètres, cela reste une entreprise coûteuse.
Selon Clément Delangue, PDG de la startup d'intelligence artificielle Hugging Face, la formation du grand modèle de langage Bloom de l'entreprise a pris plus de deux mois et demi et a nécessité l'accès à un supercalculateur qui était "environ l'équivalent de 500 GPU". Les organisations qui créent de grands modèles de langage doivent être prudentes lors du recyclage de leurs modèles pour améliorer leurs capacités, car cela coûte très cher, a-t-il souligné.
Delangue a noté qu'il est important de réaliser que ces modèles ne sont pas formés tout le temps, comme ils le sont tous les jours. Certains modèles comme ChatGPT peuvent ne pas être au courant des derniers événements. Delangue a également souligné que les connaissances de ChatGPT se terminent en 2021.
Actuellement, Hugging Face organise une formation pour la deuxième version de Bloom, qui ne coûtera pas plus de 10 millions de dollars. Cependant, Delangue a déclaré qu'ils ne voulaient pas faire de telles séances d'entraînement chaque semaine.
Inférence : un processus coûteux lors de l'utilisation de générateurs de texte AI.
Les ingénieurs utilisent des modèles d'apprentissage automatique entraînés pour prédire ou générer du texte à l'aide de la méthode "d'inférence". Ce processus peut être beaucoup plus coûteux que la formation du modèle, car il peut être nécessaire de l'exécuter des millions de fois pour un produit populaire. Pour un produit aussi populaire que ChatGPT, avec environ 100 millions d'utilisateurs actifs mensuels en janvier, le chercheur Curran estime qu'OpenAI a peut-être dépensé 40 millions de dollars pour traiter des millions d'invites au cours d'un mois.
Les coûts augmentent considérablement lorsque ces outils sont utilisés des milliards de fois par jour. Les analystes financiers estiment que le chatbot Bing AI de Microsoft, basé sur un modèle OpenAI ChatGPT, nécessitera au moins 4 milliards de dollars d'infrastructure pour fournir des réponses à tous les utilisateurs de Bing.
Latitude, une startup qui accède à un modèle de langage OpenAI, n'a pas eu à payer pour former le modèle, mais a pris en compte le coût de l'inférence, qui, selon un porte-parole de l'entreprise, était d'environ "un demi-cent par appel" et donné "quelques millions de requêtes par jour". Curran estime que ses calculs sont plutôt conservateurs.
Pour alimenter le boom actuel de l'IA, les capital-risqueurs et les géants de la technologie investissent des milliards de dollars dans des startups spécialisées dans les technologies d'IA génératives. Par exemple, selon les médias, en janvier, Microsoft a investi jusqu'à 10 milliards de dollars dans OpenAI, qui supervise GPT. La branche de capital-risque de Salesforce Ventures a récemment levé un fonds de 250 millions de dollars pour soutenir les startups génératives d'IA.
De nombreux entrepreneurs voient des risques à s'appuyer sur des modèles d'IA potentiellement subventionnés qu'ils ne contrôlent pas et ne paient qu'à l'utilisation. Suman Kanuganti, le fondateur de personal.ai, un chatbot en mode bêta, conseille aux entrepreneurs de ne pas se fier uniquement aux grands modèles de langage comme OpenAI ou ChatGPT. Des entreprises comme la société de technologie d'entreprise Conversica étudient comment tirer parti de la technologie via le service cloud Azure de Microsoft à un prix réduit. Le PDG de Conversica, Jim Kaskade, a refusé de commenter les coûts de démarrage, mais a souligné que les coûts subventionnés sont les bienvenus car ils explorent comment les modèles linguistiques peuvent être utilisés efficacement.
L'avenir du développement de l'IA : défis et opportunités
Il n'est pas clair si le coût de développement de l'IA dans l'industrie restera élevé. Les entreprises de modèles de base, les fabricants de semi-conducteurs et les startups voient tous des opportunités commerciales dans la réduction du coût de possession des logiciels d'IA.
Nvidia, qui détient environ 95 % du marché des puces IA, continue de développer des versions plus puissantes spécifiquement conçues pour l'apprentissage automatique. Cependant, les améliorations des performances des puces dans l'industrie ont ralenti ces dernières années.
Pourtant, le PDG de Nvidia, Jensen Huang, pense que l'IA sera "un million de fois" plus efficace dans 10 ans. Non seulement les puces, mais aussi les logiciels et autres composants informatiques sont améliorés. "La loi de Moore, à son apogée, aurait été multipliée par 100 en une décennie", a déclaré Huang lors d'une conférence sur les résultats le mois dernier. "En développant de nouveaux processeurs, systèmes, interconnexions, cadres et algorithmes, et en collaborant avec des scientifiques des données et des chercheurs en IA pour développer de nouveaux modèles, nous avons accéléré le traitement de grands modèles de langage des millions de fois."
Certaines startups se sont concentrées sur le coût élevé de l'IA en tant qu'opportunité commerciale. D-Matrix a développé un système pour économiser de l'argent sur l'inférence en effectuant plus de traitement dans la mémoire de l'ordinateur que sur un GPU. Les fondateurs pensent que les GPU sont chers et n'ont pas été conçus pour le résultat net. Delangue, PDG de HuggingFace, estime que davantage d'entreprises seraient mieux servies en se concentrant sur des modèles spécifiques plus petits, moins chers à former et à exploiter que les grands modèles linguistiques.
OpenAI a réduit le coût d'accès à ses modèles GPT le mois dernier. Il en coûte maintenant un cinquième de cent pour environ 750 mots de sortie. Les prix plus bas d'OpenAI ont attiré l'attention du fabricant de donjons AI Latitude. Le PDG de Latitude, Nick Walton, a déclaré que la décision d'OpenAI de réduire les coûts leur permettra d'offrir à encore plus d'utilisateurs l'accès à leurs incroyables histoires générées par l'IA.
Dans l'ensemble, l'avenir du développement de l'IA dépendra de nombreux facteurs, notamment le coût, la disponibilité de travailleurs qualifiés, les progrès technologiques et les cadres réglementaires. Cependant, il reste clair que le développement de l'IA jouera un rôle crucial dans de nombreuses industries dans les années à venir et que les entreprises investissant tôt dans cette technologie pourraient avoir un avantage concurrentiel décisif.