Hace poco decidí volver a probar la IA local en mi MacBook Pro de 64GB, corriéndola contra proyectos reales en lugar de demos rápidas. Así que cuando un hilo de Hacker News sostuvo que Qwen 27B es suficiente, quise ponerlo a prueba contra el tamaño de las tareas que de verdad entrego, no contra una demo de app de tareas pendientes.

No es suficiente. Métanlo en una base de código grande como OpenEMR o Moodle, denle una tarea que de verdad necesite hacerse bien, y les va a fallar todas las veces, a menos que la tarea sea un cambio de texto plano. Incluso ahí, yo estaría nervioso.

La versión corta:

  1. Qwen 27B y la variante 35B A3B son impresionantes para preguntas rápidas, no para trabajo de programación agéntico de verdad.
  2. La industria no tiene un benchmark que capture lo que “suficiente” significa en la práctica.
  3. El tamaño de los modelos locales crece más rápido que el ancho de banda de memoria, así que el balance entre velocidad y capacidad empeora cada vez más.
  4. La economía tampoco favorece a los modelos locales una vez que comparas un MacBook Pro de $7,000 contra una suscripción.

Así llegué a esas conclusiones.

Impresionante, pero no agéntico

He corrido Qwen 27B. He corrido el 35B A3B. Son genuinamente impresionantes para lo que son. ¿Los voy a mantener en mi Mac? Claro, si se cae el internet o estoy en un vuelo y quiero una respuesta rápida sobre cómo funciona una librería, ¿por qué no.

Pero decir que tienen una experiencia agéntica real es simplemente incorrecto. No pueden hacer de forma automática casi nada más allá de cambios básicos, más parecido a lo que Aider lograba allá por 2024.

Se pierden seguido en proyectos más grandes, y tienes que invertir más tiempo por adelantado para mantener los cambios muy acotados, además de hacer de perro guardián. Eso no es mi definición de agéntico.

Todavía nadie tiene un buen benchmark para esto

Esto me recuerda a la comunidad del overclocking a principios de los 2010: territorio completamente nuevo, sin una forma rigurosa de medir resultados, así que la gente se guía por sensaciones. Alguien corre su benchmark de app de tareas pendientes, el modelo lo hace mejor, “se sintió” como si hubiera resuelto la tarea de un solo intento, y eso se convierte en la evidencia.

De forma parecida, muchos de mis amigos pasaron más tiempo tratando de ganar 3 FPS más que jugando de verdad. La diversión para muchos entusiastas de la IA local está en empujar los límites, no en producir algo.

Los propios benchmarks de la industria tampoco capturan el matiz. SWE-bench dice que un modelo llega al 93%. Eso no significa que pueda resolver el 93% de los retos de programación; significa que superó el 93% de un conjunto de pruebas específico y acotado. El otro número que importa y del que casi no se habla es el horizonte temporal: cuánto tiempo puede correr un modelo sin supervisión antes de caerse. Estamos mejorando en medir eso, pero todavía no es lo suficientemente riguroso como para decir que un modelo local iguala a un Opus o un Sonnet.

Necesito mi código hoy

Metan 200K tokens de contexto en uno de estos modelos locales en un M5 con 128GB de memoria y podrían esperar 23 segundos solo para el procesamiento del prompt. Si necesita generar 64,000 tokens de vuelta, la variante A3B en realidad es rápida para eso. El modelo de 27 mil millones de parámetros no lo es: están viendo unos 10 minutos para descubrir que se equivocó hace cinco minutos, o que su especificación estaba mal desde el principio.

Programar siempre ha sido iterativo. Estiren la brecha entre intentos y validación así de larga, y cada proyecto tarda más en salir mientras el resultado empeora, porque nunca hay tiempo ilimitado para escribir software.

Los números de un MacBook Pro de $7,000

Llevo un año siendo suscriptor del plan Max de Claude a $200 al mes. Todavía me faltan tres años para recuperar la inversión de un MacBook Pro construido para correr inferencia local bien, y solo tengo un MacBook Pro de 64GB porque mi carga de trabajo habitual es diversa: desarrollo en Moodle, desarrollo de apps móviles, mucho abierto al mismo tiempo. No lo compré para correr inferencia local. Es bueno para eso, pero no es mi caballo de batalla principal.

El contraargumento que escucho es que el costo por token te va a alcanzar tarde o temprano. Eso ya no es tan cierto. Modelos como GLM 5.2 y DeepSeek V4 cuestan una fracción de lo que cobran los laboratorios de punta, y $1,000 cubre meses y meses de uso, a menos que seas de los que disfruta quemar tokens.

Dónde la IA local sí gana

No estoy en contra de la IA local. Creo que es fundamental para el trabajo correcto. El ejemplo más claro: construí un proyecto que transcribió localmente todos los registros de un startup de salud, faxes de laboratorio, notas en texto plano, todo, a un conjunto de datos estructurado, porque el dueño del negocio era, con razón, muy cuidadoso con la privacidad y no quería que nada tocara la nube.

Lo corrí durante casi 13 horas seguidas para 33 pacientes. Le quemó el cargador Anker de viaje. Debí haber usado el cargador propio del MacBook en lugar del ladrillo de viaje de 140 watts, pero ese ladrillo se rindió primero. La IA local hizo bien ese trabajo, siempre que estés dispuesto a esperar.

Modelos más grandes, mismo ancho de banda de memoria

Los modelos locales que todos corrían hace 2 años eran todos de 7B y topaban en 13B. Ahora el tamaño de referencia es de 27 a 35 mil millones, y sigue subiendo porque la gente exige más capacidad. Lo que no sube al mismo ritmo es el ancho de banda de memoria. El nuevo M5 ganó apenas un 20% más de ancho de banda. Los tamaños de modelo de los que la gente realmente depende casi se han duplicado en el mismo periodo.

Así que si encuentran un modelo de 35 mil millones de parámetros que les gusta y suben desde 27 mil millones, felicidades, se acaban de firmar un modelo aproximadamente 30% más lento. La gente responde dividiendo su flujo de trabajo: un modelo pequeño para tareas básicas, uno más fuerte para tareas avanzadas. Pero todo el punto de usar un asistente de IA es no tener que tomar esa decisión tú mismo. Dejen que el modelo decida qué es complejo. Los modelos locales pequeños tienen problemas justo con eso.

También tienen problemas con la coherencia y la memoria a través de contextos grandes. En el proyecto de documentos médicos lo descubrí de la peor manera, tratando de meter el historial de laboratorio completo de un paciente en el contexto de una sola vez. Simplemente no funcionó, y lo probé en como siete modelos distintos: variantes de Gemma, builds de MLX, 4-bit, 8-bit, entrenamiento consciente de la cuantización. Lo que finalmente funcionó fue procesar los documentos en lotes pequeños. Casi nadie habla de ese tipo de matices, y saltárselos es justo lo que prepara a la gente para el fracaso.

Están a solo 2 años de necesitar un nuevo caballo de batalla.

No es para tu trabajo diario. Todavía no.

No van a correr su trabajo diario con Qwen en local. Nadie quiere que su Mac llegue a 110°C mientras un video de YouTube se traba de fondo. Y eso no es exageración: cuando corro inferencia local a toda máquina, mis monitores parpadean y se desconectan. Probablemente sea un bug de mi dock, pero dudo que sea el único cuyo dock sufre con esto.

Tal vez en un par de años puedan delegarlo a algo como un Mac Studio corriendo como servidor de inferencia dedicado, haciendo el trabajo pesado de fondo. Eso sería genuinamente increíble, porque debilitaría de inmediato el monopolio que los laboratorios de punta tienen ahora mismo sobre el trabajo serio de IA.

Hasta entonces, dejen de decirle a la gente que un modelo de 27 mil millones de parámetros es todo lo que necesitan para su trabajo diario. No lo es.