Estos días, el Todos los laboratorios de inteligencia synthetic de vanguardia están compitiendo para construir modelos que se mejoren a sí mismos. Algunos creen que es el camino más seguro hacia la superinteligencia: a medida que la IA se mejora en un ciclo alucinante, se piensa que eventualmente superará la comprensión humana (y tal vez incluso el management).
Eso está muy bien, pero tengo que producir un boletín. Me preguntaba si la superación private recursiva también podría resultarme útil. ¿Podría utilizar la IA para entrenar y mejorar continuamente un modelo que automatice parte del trabajo de este boletín?
Después de aproximadamente una semana de experimentación, la respuesta parece ser un rotundo y sorprendente sí. Es más, incursionar en modelos de mejora private muestra una visión diferente de cómo podría desarrollarse la IA, una visión que no se centra en un puñado de empresas que controlan toda la industria.
Empecé probando un bucle sencillo de mejora private.
Para empezar, experimenté entrenando un pequeño modelo de lenguaje desde cero, con lo que quiero decir que dejé todo el trabajo duro en manos de Claude.
yo instalé Investigación automáticaque ayuda a un modelo de IA disponible en el mercado a construir y mejorar un modelo más pequeño. AutoResearch es una creación de Andrej Karpathy, un investigador superestrella de IA que ayudó a fundar OpenAI, dirigió el trabajo de IA en Tesla y recientemente unido Antrópico.
Encendí a Claude y le di las instrucciones recomendadas: «¡Hola, echa un vistazo a program.md y comencemos un nuevo experimento!». Mientras Claude hacía las cosas difíciles, yo le proporcioné silicio (una Nvidia DGX, una “supercomputadora” de escritorio diseñada para experimentar con IA), la electricidad (que se calentó durante unos días seguidos) y una disposición posiblemente imprudente a dejar que el modelo se saltara todas las comprobaciones de permisos habituales para poder hacer lo suyo (¡déjelo cocinar!).
Revisé el proyecto AutoResearch cada pocas horas y me maravillé mientras Claude ajustaba los parámetros y los regímenes de entrenamiento, observaba cómo esto cambiaba el resultado del modelo más pequeño y seguía perfeccionándolo aún más.
Esto es lo que produjo una versión anterior de ese modelo de lenguaje más pequeño cuando le pedí que completara la frase. “Al principio…”
No tan brillante. Pero los modelos posteriores, mejorados de forma autónoma por Claude, se volvieron más coherentes y menos propensos a repeticiones demenciales e interminables. No es GPT-5, pero mostró un camino prometedor hacia la mejora continua.
Mi viaje continuó con algo más complejo y útil
Ya uso un agente que confía en Claude para que me ayude a encontrar artículos de investigación dignos de mención, así que decidí ver si period posible construir algo que fuera más allá de eso.
Recurrí a una herramienta de una startup llamada Intelecto principalque utiliza IA para entrenar un modelo personalizado para una tarea específica. Recopilé unas 100 entradas anteriores de “En otros lugares de la frontera de la IA”, los fragmentos de investigación que siguen al ensayo principal de mi boletín. Luego, creé un entorno de capacitación Prime Mind y le pedí a Claude que me ayudara a construir mi propio modelo, al que denominó Frontier_Paper_Curator, para encontrar y resumir artículos interesantes.
Claude encontró más artículos y generó una gran cantidad de datos sintéticos para ayudar con la capacitación. Luego aprovechó otro modelo para evaluar el resultado de Frontier_Paper_Curator, mientras que el entorno de capacitación también mejoró el modelo con aprendizaje reforzado.
