Inteligencia Artificial
MiniMax libera los pesos de M1-80k y M1-40k bajo licencia Apache 2.0. El modelo implementa atención lineal para escalar la inferencia a 1 millón de tokens y utiliza el nuevo algoritmo de alineación CISPO.
Análisis
Análisis de la transición de RLHF a RLVR (Reinforcement Learning with Verifiable Rewards) para tareas de razonamiento complejo. Se examina la formulación matemática de funciones de recompensa, la implementación de entornos de verificación de código/matemáticas y el impacto en la precisión técnica.
Inteligencia Artificial
EleutherAI presentó Common Pile v0.1, un dataset de 8 TB creado junto a startups y universidades, con el que busca demostrar que los modelos pueden alcanzar alto rendimiento sin usar datos con derechos de autor.
Inteligencia Artificial
El proyecto de benchmarking colaborativo, clave para medir el rendimiento de los modelos de IA más avanzados, alcanzó una valoración de USD 600 millones tras su ronda semilla.
Inteligencia Artificial
El instituto AI2 presenta Olmo 2 1B, un modelo IA de 1B parámetros bajo licencia Apache 2.0. Destaca por superar a modelos de tamaño similar de competidores como Google, Meta y Alibaba.
Inteligencia Artificial
xAI lanza Grok 3, un modelo de IA entrenado con 200,000 GPUs que promete revolucionar el campo con sus capacidades de razonamiento avanzadas. Un nuevo competidor que desafía a GPT-4 y Gemini con funciones únicas.
Inteligencia Artificial
DeepSeek-AI libera R1, un modelo MoE de 671B parámetros que introduce un pipeline de entrenamiento basado en "Cold Start" y Reinforcement Learning multi-etapa. Incluye variantes destiladas que superan a modelos propietarios en eficiencia.
Análisis
Análisis técnico de Chain of Thought (CoT) y la integración de tokens de pensamiento en el proceso de inferencia. Se examina la formulación probabilística de pasos intermedios, el impacto en la latencia de inferencia y la transición de CoT vía prompting a arquitecturas con razonamiento latente.
IA
DeepSeek-AI lanza DeepSeek-V3, un modelo mixture of experts con 671B de parámetros totales y 37B activos. Reporta un coste de entrenamiento de 5.5 millones de dólares, superando a Llama 3.1 405B en benchmarks de matemáticas y código.
Inteligencia Artificial
Meta publica Llama 3.1 405B, el modelo de pesos abiertos más grande a la fecha, junto con actualizaciones para las versiones 8B y 70B. La familia extiende la ventana de contexto a 128k tokens, mejora el soporte multilingüe y modifica su licencia para permitir la destilación de modelos.
Análisis
Análisis de la arquitectura Mixture of Experts (MoE), enfocado en el desacople del coste de inferencia respecto al conteo total de parámetros mediante "conditional computation".
Análisis
Análisis técnico de estrategias de Post-Training Quantization (PTQ) para LLM, enfocándose en la transición de FP16 a INT4. Se examinan los fundamentos de la cuantización, el impacto en la perplejidad del modelo y la reducción de latencia.