Meta es sorprendentemente relevante en la IA Generativa

🦙 Llama-3 va a empujar a los LLM open source a un nuevo mundo. IA empresarial y aplicaciones de IA agéntica.

Hey Premium Proactivo ,

Históricamente no somos muy fans de Facebook, y habíamos observado que Meta era un gran comprador de chips de IA Nvidia H100. Sin embargo, lo que Llama-2 y, en particular, Llama-3 harán a la comunidad de código abierto (open-weight) ha sido y será tremendo.

Defendemos el "Metaverso" como un nefasto ecosistema potencial, sin embargo, la inversión de Meta en IA Generativa va a conducir claramente a algo bueno en el mundo. De hecho, se está volviendo imposible ignorar la inversión de Facebook en IA y la contribución de Meta al espacio de peso abierto.

Nvidia robotics mencionó Meta Llama 3, el último LLM de peso abierto también está optimizado para ejecutarse en nuestras GPU NVIDIA en la nube, el centro de datos, el borde y el escritorio. Por ejemplo, podrías ejecutarlo en Jetson Orin siguiendo las guías de Jetson AI Lab.

Llama-3 señala la era de la IA generativa de peso abierto

Detalles en el anuncio completo ➡️ https://ai.meta.com/blog/meta-llama-3/

Descarga los modelos ➡️ https://llama.meta.com/llama3/

Experimenta Llama 3 con Meta AI ➡️ https://www.meta.ai/

Modelos en Hugging Face ~ https://huggingface.co/models?other=llama-2

Así que en medio de estos ecosistemas como HuggingFace, GitHub, ahora Mistral, incluso Meta tiene una contribución especial que hacer con su anuncio de Llama-3 ayer.

Esto hace que realmente me detenga a escuchar lo que Mark Zuckerberg dice que está haciendo con la IA Generativa. Meta está añadiendo la generación de imágenes con IA en tiempo real a WhatsApp y un Asistente de IA en toda su familia de aplicaciones.

Mark Zuckerberg sobre la nueva escena de la IA de Meta

Se lanza una nueva versión de Meta AI.

• El asistente de inteligencia artificial gratuito de Meta, Meta AI, se está desplegando en sus plataformas de redes sociales WhatsApp, Instagram, Facebook y Messenger.

• Meta está desplegando la generación de imágenes con IA en tiempo real en versión beta para los usuarios de WhatsApp en EE.UU.

• Si te interesa, echa un vistazo al reciente podcast de DwarkeshPatel con Mark aquí.

Según Dwarkesh, el podcast trata sobre Mark Zuckerberg:

• Llama 3

• el open sourcing hacia la AGI

• silicio personalizado, datos sintéticos y limitaciones energéticas en el escalado

• César Augusto, explosión de inteligencia, armas biológicas, modelos de 10.000 millones de dólares y mucho más

Marcas de tiempo

(00:00:00) - Llama 3
(00:08:32) - Codificación en el camino hacia la AGI
(00:25:24) - Cuellos de botella energéticos
(00:33:20) - ¿Es la IA la tecnología más importante de la historia?
(00:37:21) - Los peligros del código abierto
(00:53:57) - César Augusto y el metaverso
(01:04:53) - El código abierto en el modelo de 10.000 millones de dólares y el silicio personalizado
(01:15:19) - Zuck como CEO de Google+

¿Por qué Llama-3 es una gran cosa?

Según Jim Fan, de Nvidia, "el próximo nivel 400B+ marcará el momento decisivo en el que la comunidad obtenga un acceso de peso abierto a un modelo de clase GPT-4. Cambiará el cálculo de muchos esfuerzos de investigación y empresas de base. Cambiará el cálculo de muchos esfuerzos de investigación y nuevas empresas de base". He sacado los números de Claude 3 Opus, GPT-4-2024-04-09 y Géminis.

Llama-3-400B sigue entrenándose y espero que mejore aún más en los próximos meses. Hay tanto potencial de investigación que puede desbloquearse con una columna vertebral tan potente. Esperamos un aumento de la energía constructora en todo el ecosistema".

Creo que, en muchos sentidos, Llama-3 podría ser más importante que GPT-5 para 2024. Esto se debe a que realmente ayuda al mundo a construir mejores modelos LLM y SLM y, potencialmente, una mejor IA Agenética, en lugar de simplemente hacer que OpenAI y Microsoft sean más rentables.

Sabemos que Llama-3 tendrá un rendimiento bastante decente.

Meta lanza los modelos 8B y 70B (tanto el básico como el perfeccionado), de gran rendimiento en su clase de modelos.

Principales aspectos destacados:

• Modelos preentrenados y afinados de 8B y 70B parámetros disponibles abiertamente

• Entrenados con más de 15T de tokens, ¡más de 7 veces el conjunto de datos de Llama 2!

• Rendimiento de vanguardia en los puntos de referencia del sector

• Nuevas capacidades, incluido el razonamiento y la codificación mejorados

• Entrenamiento 3 veces más eficaz que Llama 2

• Nuevas herramientas de confianza y seguridad con Llama Guard 2, Code Shield y CyberSec Eval 2.

• Formación en curso sobre un modelo de vanguardia de más de 400B de parámetros

Salto significativo de Llama-2 a Llama-3

Lo que yo diría es que el salto de Llama-2 a Llama-3 se parece un poco al salto de GPT-3 a GPT-3,5 o incluso GPT-4.

Este salto en los modelos de peso abierto y mayor eficiencia en 2024, podría cambiar la trayectoria de la utilidad de la IA Generativa en los próximos años.

¿Dónde puedo encontrar Llama-3?

Los modelos de Llama 3 pronto estarán disponibles en AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM y Snowflake, y con soporte de plataformas de hardware ofrecidas por AMD, AWS, Dell, Intel, NVIDIA y Qualcomm.

El Modelo Para 400b de Llama-3 podría ser Brillante

Llama 3 8B y 70B suponen un gran salto con respecto a Llama 2 y establecen un nuevo SOTA para modelos de sus tamaños. Aunque hoy lanzan estos dos primeros modelos, siguen trabajando para lanzar aún más para Llama 3, incluidos múltiples modelos con capacidades como multimodalidad, multilingüismo, ventanas de contexto más largas y mucho más. Sus modelos más grandes tienen más de 400B de parámetros y, aunque siguen en desarrollo activo, estamos muy entusiasmados con su tendencia.

• Esto es más bien un preanuncio de lo que está por venir, un avance.

• Se espera que el grueso de esta versión esté disponible en junio de 2024.

¿Cuánta computación habrá en Meta en 2025?

Se espera que Meta opere "600.000 GPU H100 equivalentes de computación" a finales de año. Meta espera disponer de una flota de 600.000 GPU a finales de 2024. El director ejecutivo, Mark Zuckerberg, declaró a The Verge que esa cifra incluye unas 340.000 H100 de Nvidia, junto con A100 y otros chips de IA.

Eso es prácticamente inaudito incluso entre los hiperescaladores del monopolio BigTech.

Últimamente, desde el inicio de 2024, Mark Zuckerberg ha sido entrevistado hablando más de AGI. (Y no quiere controlarla. Tal vez.

Bros hiperescala y AGI

Sea como sea, de repente parece que Demis Hassabis, Yann LeCun y Sam Altman tienen un poder increíble sobre el futuro de la IA, y teniendo en cuenta esa centralización, no estoy seguro de que sea algo bueno.

¿Por qué deberían tener estos tres individuos tanto poder?

Meta también presenta nuevas herramientas de confianza y seguridad con Llama Guard 2, Code Shield y CyberSec Eval 2.

Meta afirma que se toma muy en serio la IA responsiva

En la primavera y el verano de 2024, Meta espera introducir nuevas capacidades, ventanas de contexto más largas, tamaños de modelos adicionales y un rendimiento mejorado, y compartiremos el documento de investigación de Llama 3.

• Documento de investigación de Llama-3

• Nuevas funciones

• Ventanas de contexto más largas

• Tamaños de modelo adicionales

• Rendimiento mejorado

• Mayor integración en su Familia de Apps

Objetivos de Meta para Llama-3

Más idiomas y modalidades próximamente.

Asistente Meta AI vs. ChatGPT

Aquí ocurre otra cosa que no se ha destacado tan directamente. En realidad, Meta también se enfrenta a OpenAI con esta actualización.

Los modelos se integrarán en el asistente virtual Meta AI, que la empresa presenta como el más sofisticado de sus compañeros de uso gratuito. El asistente ocupará un lugar más destacado en las aplicaciones de Meta para Facebook, Instagram, WhatsApp y Messenger, así como en un nuevo sitio web independiente que lo posiciona para competir más directamente con OpenAI, respaldado por Microsoft. Más información .

La búsqueda de Meta recibirá una gran actualización

Una de las cosas más interesantes de la actualización de Meta con la IA Generativa es la mejora de las capacidades de búsqueda en sus aplicaciones.

Así que las noticias sobre Llama-3 van acompañadas de un montón de actualizaciones de productos y nuevas funciones en toda su familia de aplicaciones.

¿El empuje de Meta hacia la IA Agenética?

Chris Cox, en una entrevista, también menciona que Meta AI está trabajando en un razonamiento más avanzado, como la capacidad de elaborar planes más largos de varios pasos, que seguirán en versiones posteriores.

Donde Meta podría estar perdiendo es en las guerras de talentos, que se han vuelto muy intensas con OpenAI, Anthropic, Mistral y otros, y no sólo compitiendo con Google, Amazon, Microsoft, Tesla y Apple. Ahora tienes a xAI incluso robando talentos a la propia Tesla, así que esta guerra de talentos es diferente para los talentos del 1% superior de la IA Generativa.

Meta AI parece tener su propia forma de evaluar el rendimiento de Llama-3:

Repositorio Meta Llama

Github: https://github.com/meta-llama/

Pero, ¿qué puedes hacer realmente con el Asistente de IA de Meta?

Asistente de IA de Meta

Esto equivale a tener Perplexity AI dentro de las aplicaciones de Meta como Whatsapp o Instagram.

1. El asistente de inteligencia artificial gratuito de Meta, Meta AI, se está desplegando en sus plataformas de redes sociales WhatsApp, Instagram, Facebook y Messenger.

2. El asistente puede responder a preguntas, crear animaciones y generar imágenes de "alta calidad", dijo el director ejecutivo de Meta, Mark Zuckerberg, en un vídeo.

3. La empresa ha implementado "conocimientos en tiempo real" deGoogle y Bing de Microsoft en las respuestas, dijo Zuckerberg. Deben de haber pagado un dineral por esto.

4. Meta AI se basó en el último gran modelo lingüístico de la empresa, llamado Meta Llama 3, que también se anunció el jueves.

¿Quién va a pagar por ChatGPT, Google Gemini o Perplexity si puedes hacer esto gratis?

Se espera con impaciencia la versión de 400B parámetros de Meta Llama-3

Meta también anunció que actualmente está entrenando una versión de 400B parámetros de Llama 3, que algunos expertos como Jim Fan de Nvidia piensan que puede rendir en la misma liga que GPT-4 Turbo, Claude 3 Opus y Gemini Ultra en pruebas de rendimiento como MMLU, GPQA, HumanEval y MATH.

Si los modelos de peso abierto se acercan ahora a GPT-4 Turbo, más cosas serán posibles en el dominio de código abierto para nuevos tipos de aplicaciones de IA y nuevos casos de uso en todos los sectores.

Conclusión

En conjunto, los anuncios de Llama-3 y las mejoras de los productos podrían suponer una diferencia material para Meta y los beneficios futuros. Las acciones de META -3,99%↓han subido casi un 45% YTD en 2024, lo que supone un rendimiento realmente bueno.

Si tenemos en cuenta que las acciones costaban 90 $ en noviembre de 2022, ahora superan los 500 $. El hecho de que Meta se centre más en la IA Generativa es una parte importante de ello, junto con su exitoso "año de la eficiencia".

Hiperescaladores como Apple, Amazon y Meta invertirán ahora a lo grande para seguir el ritmo de OpenAI, Microsoft y empresas como Google. Enormes inversiones de miles de millones de dólares en un mundo de rendimientos probablemente decrecientes.

En medio de debilidades como las de Apple y Tesla en IA, no hay más que ver lo mal que se han comportado sus acciones. Llama-3 es el mejor intento de Facebook de hacer "IA para el bien" del mundo, después de tantos años y décadas de daño a la sociedad. No es exactamente redención, pero son muchos H100 los que tiene Meta junto con un superordenador único en computación. Cuando piensas en cómo pueden permitirse los enormes superordenadores de centros de datos de IA del futuro, tienes que pensar que Meta puede entrar y entrará en esa carrera.

Llama-3 y Llama-4 podrían incluso hacer que GPT-4 y GPT-5 fueran mucho menos relevantes de lo que habrían sido de otro modo.