01 · Meta
Meta publica un modelo de IA abierto de 816.000 millones de parámetros
Meta ha lanzado un modelo de inteligencia artificial de acceso abierto con 816.000 millones de parámetros, de los que 42.000 millones están activos, y una ventana de contexto de un millón de tokens, según la información difundida por la compañía.
Por qué importa
La capacidad de Meta para liberar un modelo abierto de este tamaño presiona a los laboratorios que venden acceso cerrado a sus sistemas: una parte del mercado puede construir productos sin pagar por uso. El millón de tokens amplía lo que se puede procesar de una vez, por ejemplo libros enteros o expedientes completos, y traslada la presión a quien cobre por contexto limitado. La incógnita es cuánto costará ejecutarlo en equipos propios y si esa libertad compensa la pérdida de control sobre los datos.
Los detalles
- El modelo cuenta con 816.000 millones de parámetros y 42.000 millones activos, una arquitectura que activa solo una parte de la red para cada tarea y reduce el coste de cómputo.
- La ventana de contexto alcanza un millón de tokens, lo que permite procesar documentos extensos o conversaciones muy largas sin perder información previa.
- Meta distribuye el modelo en abierto, lo que permite a terceros descargarlo y usarlo sin depender de sus servidores.