IA local: el reto de ejecutar modelos sin depender de la nube
¿Quieres aprender a correr IA local en tu PC? Descubre los retos y el hardware necesario para dejar de depender de la nube. ¡Entra ya!
Aprender a usar inteligencia artificial local en tu propia máquina es posible hoy, pero cuesta más de lo que parece y exige paciencia de sysadmin. Un experimento reciente con un Mac Studio M5 Ultra de 256 GB de RAM muestra que los modelos de 125 mil millones de parámetros ya corren sin depender de OpenAI, Google ni Anthropic, aunque con errores frecuentes que el usuario debe arreglar a mano.
El escritor de The Verge Antonio G. Di Benedetto documentó su proceso de migrar desde la nube hacia agentes de IA locales buscando privacidad total de datos sensibles. Su equipo, un Mac Studio M5 Ultra con 256 GB de memoria unificada, le permitió desplegar el modelo Qwen 3.8 Flash Next, de 125 mil millones de parámetros y aproximadamente 105 GB de peso.
El stack real: Hermes, Qwen y el problema del sueño del Mac
Di Benedetto usó Hermes, una app de escritorio gratuita, open source y autoalojada que funciona en macOS, Windows y Linux. La herramienta no tiene costo de suscripción, pero exige hardware caro y conocimientos técnicos para configurar modelos y resolver fallos.
Entre las tareas que ejecutó con éxito parcial:
- Briefing diario automatizado: una tarea programada vía bot de Telegram escaneaba correo, calendario y clima. Fallaba si el Mac estaba en modo reposo, un error que no pudo solucionar.
- Organización de biblioteca Steam: con una API key, reorganizó más de 400 juegos por género respetando categorías personalizadas.
- Análisis de datos sensibles: procesó registros financieros y armó hojas de cálculo con información bajo embargo, tareas que rechazó enviar a la nube.
- Automatización de benchmarks: intenta crear scripts en Python para acelerar pruebas de laptops, aún en desarrollo.
El autor planea probar modelos Qwen más pequeños en un M6 Mac Mini, una M5 MacBook Air, una Asus TUF Gaming A14 con AMD Strix Halo y las próximas máquinas Windows con RTX Spark, que prometen hasta 128 GB de RAM.
125 mil millones de parámetros por 12,000 dólares: la cuenta no cierra para todos
Di Benedetto fue directo sobre los costos. Su Mac Studio costó 12,000 dólares. Apple vende configuraciones de cuatro unidades en clúster por 50,000 dólares. Para la mayoría de creadores de contenido, streamers y emprendedores hispanohablantes, esa inversión supera el presupuesto de equipo de trabajo.
Te puede interesar
Microsoft: Satya Nadella pide frenos de emergencia para la IA
La conclusión del autor es clara: la IA local no es un asistente mágico. Las tareas se rompen con frecuencia y demandan depuración manual. La ventaja real está en la privacidad y en delegar "trabajo pesado" repetitivo, no en reemplazar el juicio humano.
TikTok + AI: 30 Videos en 1 Día
El sistema de producción masiva de contenido para TikTok que te permite crear un mes completo de videos en una sola jornada de trabajo.
Descargar Gratis →Próxima prueba: ¿funcionan los modelos locales en laptops de gama media?
Di Benedetto no terminó su experimento. Las pruebas en M6 Mac Mini, M5 MacBook Air y la Asus TUF Gaming A14 con AMD Strix Halo están pendientes, junto con las RTX Spark de NVIDIA. Esos resultados definirán si la IA local deja de ser un lujo de estudio de edición para convertirse en herramienta de escritorio común.
Para quienes buscan aprender a leer documentación técnica o aprender a soltar dependencia de servicios en la nube, el caso de Hermes demuestra que la curva de aprendizaje es empinada. La pregunta que queda es simple: ¿tienes 12,000 dólares y tiempo para depurar tareas programadas, o prefieres pagar con datos personales por la comodidad de ChatGPT?
Información publicada originalmente por The Verge.
¿Te sirvió? Recibe lo mejor de la IA cada mañana.
Una edición diaria con lo que importa en inteligencia artificial, explicado claro y en 3 minutos. Gratis, sin spam, cancelas cuando quieras.
