Desarrollo de AI Deepseek: un mito de $ 1.6 mil millones presentado

El nuevo chatbot de Deepseek ha tenido un impacto significativo en el mercado de IA, presentándose con la declaración intrigante:

Hola, fui creado para que puedas preguntar cualquier cosa y obtener una respuesta que pueda sorprenderte.

Este modelo de IA no solo se ha convertido en un competidor formidable, sino que también ha contribuido a una de las mayores caídas de precios de las acciones de NVIDIA. El enfoque innovador de Deepseek para el desarrollo de IA lo distingue, utilizando tecnologías avanzadas como:

Predicción múltiple (MTP) : este método permite que el modelo predice múltiples palabras a la vez analizando diferentes piezas de oraciones, mejorando tanto la precisión como la eficiencia.

Mezcla de expertos (MOE) : empleando 256 redes neuronales, con ocho activadas para cada tarea de procesamiento de tokens, esta arquitectura acelera la capacitación de IA y aumenta el rendimiento.

Atención latente de múltiples cabezas (MLA) : al centrarse en las partes más significativas de una oración y extraer detalles clave repetidamente, MLA reduce la posibilidad de faltar información crucial, lo que permite a la IA capturar matices importantes.

Imagen: ensigame.com

Deepseek, una prominente startup china, afirma haber desarrollado un modelo de IA competitivo a un costo mínimo, afirmando que solo gastaron $ 6 millones en capacitar a Deepseek V3 utilizando solo 2048 procesadores gráficos. Sin embargo, los analistas del semianálisis han revelado que Deepseek opera una vasta infraestructura computacional, utilizando aproximadamente 50,000 GPU de la tolva nvidia, incluidas 10,000 unidades H800, 10,000 H100 y GPU H20 adicionales. Estos recursos se distribuyen en múltiples centros de datos y se utilizan para capacitación de IA, investigación y modelado financiero.

La inversión total de la compañía en servidores es de alrededor de $ 1.6 mil millones, con gastos operativos estimados en $ 944 millones. Deepseek es una subsidiaria del Fondo de cobertura chino High-Flyer, que lo estableció como una división separada centrada en AI en 2023. A diferencia de la mayoría de las nuevas empresas que dependen de la computación en la nube, Deepseek posee sus centros de datos, lo que permite un control total sobre la optimización del modelo de IA y la implementación de innovación más rápida. La compañía sigue siendo autofinanciada, mejorando su flexibilidad y velocidad de toma de decisiones.

Imagen: ensigame.com

Deepseek también atrae al máximo talento, con algunos investigadores ganando más de $ 1.3 millones anuales, principalmente de las principales universidades chinas. A pesar de esto, el reclamo de capacitar a Deepseek V3 por solo $ 6 millones parece poco realista, ya que esta cifra solo representa el uso de la GPU durante la capacitación previa y excluye la investigación, el refinamiento del modelo, el procesamiento de datos y los costos de infraestructura.

Desde su inicio, Deepseek ha invertido más de $ 500 millones en desarrollo de IA. Su estructura compacta permite la implementación activa y efectiva de innovaciones de IA, a diferencia de las empresas más grandes y burocráticas.

Imagen: ensigame.com

El ejemplo de Deepseek muestra que una compañía de IA independiente y bien financiada puede competir con los líderes de la industria. Sin embargo, los expertos señalan que el éxito de la compañía se debe a importantes inversiones, avances técnicos y un equipo fuerte, en lugar de un "presupuesto revolucionario" para el desarrollo del modelo de IA.

Imagen: ensigame.com

A pesar de esto, los costos de Deepseek siguen siendo más bajos que los de sus competidores. Por ejemplo, mientras que Deepseek gastó $ 5 millones en R1, el costo de capacitación para CHATGPT4O fue de $ 100 millones. Sin embargo, sigue siendo más barato que sus competidores.