Un artículo publicado en el sitio de Machine Learning Research de Apple analiza cuánta mejora de recompensa puede lograr en teoría la alineación de modelos de lenguaje bajo un presupuesto fijo de divergencia. El trabajo, titulado "Theoretical Limits of Language Model Alignment", está firmado por Lucas Monteiro Paes, Natalie Mackraz, Barry-John Theobald y Federico Danieli, con Paes y Mackraz señalados como contribuyentes en igualdad de condiciones.

Los métodos de alineación buscan ajustar las salidas del modelo para que reflejen las preferencias humanas sin perder las capacidades del modelo base. Los autores señalan que dos familias de técnicas dominan la práctica: el aprendizaje por refuerzo, que maximiza la recompensa esperada sujeta a una restricción de divergencia KL, y la alineación best-of-N, que elige la salida con mayor recompensa entre N muestras extraídas de forma independiente. A pesar de su uso generalizado, el techo fundamental de la mejora de recompensa bajo un presupuesto de KL seguía siendo poco comprendido.

El artículo caracteriza los límites teóricos de la información de la alineación regularizada con KL al derivar la mayor ganancia de recompensa esperada posible para un presupuesto de divergencia KL dado. Su primer resultado es una expresión en forma cerrada para la mejora óptima, gobernada por un término de divergencia de Jeffreys en lugar de la raíz cuadrada de la divergencia KL empleada en análisis anteriores. Los investigadores también reformulan esta expresión como una covarianza bajo el modelo base, lo que produce un estimador práctico capaz de predecir las ganancias de alineación alcanzables usando únicamente muestras del modelo base.

El análisis se extiende después al escenario de recompensas proxy. Los autores muestran que la brecha entre la alineación ideal y la proxy, comúnmente descrita como reward hacking, se amplía a medida que crece la magnitud del error de recompensa y cuando el factor de penalización KL disminuye. Además, demuestran que el ensamblado de recompensas mitiga el reward hacking, lo que aporta una justificación teórica a una técnica ya utilizada en la práctica.

En el plano empírico, el equipo calculó la frontera de Pareto entre KL y recompensa para dos tareas de modelos de lenguaje, seguridad y resumen. Se encontró que el muestreo best-of-N se aproxima estrechamente al límite teórico, mientras que PPO y GRPO permanecen sustancialmente por debajo del óptimo. Según los autores, los resultados ayudan a explicar varios fenómenos observados empíricamente en la literatura de alineación e indican que se necesitan mejoras algorítmicas para alcanzar una alineación óptima sin incurrir en altos costos de inferencia.

El artículo fue aceptado en el Fine-Tuning in Modern Machine Learning (FITML) Workshop de NeurIPS 2024.