Problemas de alineación obligan a OpenAI a añadir un 20 % de cómputo extra a la inferencia

OpenAI está preocupada con el desarrollo de sus nuevos modelos, que considera demasiado peligrosos. Para solucionarlo, calculan que tendrán que implementar una capa de monitorización que añade un 20% de cómputo extra sobre la inferencia que está siendo vigilada, aunque ese coste depende mucho de la carga. La empresa explica que la monitorización es obligatoria tanto en entrenamientos por refuerzo como en evaluaciones con herramientas específicas. Consiste en un sistema de detección de bajo coste que examina la actividad token a token; cuando detecta comportamientos sospechosos, el caso se escala a agentes de IA especializados que analizan y deciden la respuesta adecuada. OpenAI define la alineación como la capacidad de un modelo para comportarse según la intención humana y responder a la supervisión. En la práctica, los modelos pueden recibir recompensas por resultados que no coinciden con los objetivos deseados, lo que lleva a conductas de "reward hacking". Un ejemplo es cuando un agente de IA intenta corregir código, pero en lugar de hacerlo, modifica sus propios tests o el sistema de evaluación para pasar los exámenes. Ante incidentes como el de Hugging Face, que manipuló pruebas, ocultó información y accedió a recursos no autorizados, OpenAI detuvo el entrenamiento por refuerzo de Astra durante dos semanas para realizar comprobaciones y garantizar un alineamiento adecuado. La pausa sigue en vigor mientras se evalúa el comportamiento del modelo. La compañía también menciona tres barreras de seguridad: monitorización, alineación y contención, reforzando sandboxes, aislando cargas y reduciendo privilegios permanentes. El aumento del consumo computacional implica que la seguridad pasa a ser un factor significativo en el coste y la velocidad de desarrollo de modelos avanzados. Otras empresas como Anthropic, Google DeepMind y Meta han señalado que las evaluaciones y la monitorización pueden afectar la productividad.