Deepseek IA Development: un mythe de 1,6 milliard de dollars dévoilé

Le nouveau chatbot de Deepseek a eu un impact significatif sur le marché de l'IA, se présentant avec la déclaration intrigante:

Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre.

Ce modèle d'IA est non seulement devenu un formidable concurrent, mais a également contribué à l'une des plus grandes baisses de cours des actions de Nvidia. L'approche innovante de Deepseek au développement de l'IA le distingue, en utilisant des technologies avancées telles que:

Prédiction multi-token (MTP) : Cette méthode permet au modèle de prédire plusieurs mots à la fois en analysant différentes parties de phrases, en améliorant la précision et l'efficacité.

Mélange d'experts (MOE) : employant 256 réseaux de neurones, avec huit activés pour chaque tâche de traitement des jetons, cette architecture accélère la formation de l'IA et augmente les performances.

Attention latente multi-tête (MLA) : En se concentrant sur les parties les plus importantes d'une phrase et en extraction des détails clés à plusieurs reprises, MLA réduit les chances de manquer des informations cruciales, permettant à l'IA de capturer des nuances importantes.

Image: esigame.com

Deepseek, une startup chinoise de premier plan, prétend avoir développé un modèle d'IA compétitif à un coût minimal, déclarant qu'ils ont dépensé seulement 6 millions de dollars pour la formation de Deepseek V3 en utilisant seulement 2048 processeurs graphiques. Cependant, les analystes de semi-analyse ont révélé que Deepseek exploite une vaste infrastructure de calcul, en utilisant environ 50 000 GPU de trémie NVIDIA, dont 10 000 unités H800, 10 000 H100 et des GPU H20 supplémentaires. Ces ressources sont réparties sur plusieurs centres de données et utilisées pour la formation, la recherche et la modélisation financière de l'IA.

L'investissement total de la société dans les serveurs est d'environ 1,6 milliard de dollars, avec des dépenses opérationnelles estimées à 944 millions de dollars. Deepseek est une filiale du High Flyer de fonds spéculatifs chinois, qui l'a établi comme une division distincte axée sur l'IA en 2023. Contrairement à la plupart des startups qui reposent sur le cloud computing, Deepseek possède ses centres de données, permettant un contrôle total sur l'optimisation du modèle IA et une mise en œuvre plus rapide de l'innovation. L'entreprise reste autofinancée, améliorant sa flexibilité et sa vitesse de prise de décision.

Image: esigame.com

Deepseek attire également les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, principalement des principales universités chinoises. Malgré cela, la prétention de former Deepseek V3 pour seulement 6 millions de dollars semble irréaliste, car ce chiffre ne tient que l'utilisation du GPU pendant la pré-formation et exclut la recherche, le raffinement du modèle, le traitement des données et les coûts d'infrastructure.

Depuis son début, Deepseek a investi plus de 500 millions de dollars dans le développement de l'IA. Sa structure compacte permet une mise en œuvre active et efficace des innovations d'IA, contrairement aux entreprises plus grandes et plus bureaucratiques.

Image: esigame.com

L'exemple de Deepseek montre qu'une entreprise d'IA indépendante bien financée peut rivaliser avec les leaders de l'industrie. Cependant, les experts notent que le succès de l'entreprise est dû à des investissements importants, à des percées techniques et à une équipe solide, plutôt qu'à un "budget révolutionnaire" pour le développement du modèle d'IA.

Image: esigame.com

Malgré cela, les coûts de Deepseek restent inférieurs à ceux de ses concurrents. Par exemple, alors que Deepseek a dépensé 5 millions de dollars pour R1, le coût de formation pour ChatGPT4O était de 100 millions de dollars. Cependant, il est encore moins cher que ses concurrents.