Amplitude ha construido su negocio mostrando a los equipos cómo la gente usa realmente sus productos, y su agente de producto proactivo, Wave, está diseñado para convertir esos conocimientos en cambios publicados. Según Amplitude, Wave funciona con modelos de OpenAI en aproximadamente el 80% de su carga de trabajo, recurriendo a GPT-6.1 Sol, GPT-6 Luna y GPT-Image-2.5 Flare. El agente convierte los hallazgos sobre el producto en planes de implementación que los equipos pueden entregar a agentes de programación, incluido Codex, y después mide los resultados. Amplitude estima que, con Wave, los equipos pueden lanzar mejoras de producto en uno o dos días en lugar de aproximadamente un mes.
"La IA ya puede encontrar trabajo útil que nunca se nos ocurrió asignarle. Los modelos de OpenAI pueden investigar un problema, escribir y ejecutar código y usar los resultados para decidir qué probar a continuación", afirmó Spenser Skates, CEO de Amplitude.
De los datos de producto a las mejoras publicadas
Los equipos orientan a Wave hacia un área de producto junto con los objetivos y las métricas que quieren mejorar. El agente combina los datos de Amplitude, las repeticiones de sesiones, los comentarios de clientes y el código para detectar y priorizar oportunidades, desarrollar soluciones y coordinar la implementación tanto con personas como con agentes de programación. Después hace seguimiento de los resultados y aplica lo aprendido a la siguiente ronda de mejoras.
Amplitude asigna distintos modelos de OpenAI a distintas partes de ese flujo de trabajo. GPT-6.1 Sol impulsa el gestor de oportunidades y las investigaciones profundas sobre código y datos. GPT-6 Luna cubre las tareas frecuentes y de bajo coste, como explorar código y ejecutar pequeñas comprobaciones de evaluación. GPT-Image-2.5 Flare genera maquetas de producto usando como referencias visuales capturas de pantalla tomadas de las repeticiones de sesiones. Cuando una oportunidad está lista para construirse, los equipos pueden enviarla desde Wave directamente a agentes de programación, incluido Codex, junto con un plan técnico y criterios de aceptación.
Cómo Wave logró un aumento del 160% en la interacción con el agente
"La idea de Wave es disponer de una plataforma unificada con agentes que rastrean enormes cantidades de repeticiones de sesiones, analíticas y código para encontrar oportunidades de mejora de los productos", explica Jacob Newman, Principal AI Product Manager de Amplitude.
Amplitude probó Wave en su propia página de inicio, donde unas tarjetas de sugerencias genéricas debían ayudar a los visitantes a iniciar una conversación con un agente de IA. Wave descubrió que los usuarios las ignoraban en su mayoría: en una muestra de 100 repeticiones de sesiones, 80 personas escribieron sus propias preguntas mientras que solo 12 eligieron una de las sugerencias.
El agente propuso personalizar las tarjetas según los gráficos o paneles recientes del usuario o la página desde la que había llegado. Produjo una ilustración del cambio y un plan técnico que mantenía la escritura libre y volvía a las sugerencias genéricas cuando no había contexto de personalización disponible. Tras una breve revisión, el equipo entregó el trabajo a un agente de programación y realizó una prueba A/B.
En el informe del experimento que compartió Amplitude, los mensajes enviados a través de las tarjetas de sugerencias de la página de inicio aumentaron un 160% respecto al control al cabo de un día. "Es un gran ejemplo de cómo cosas poco revolucionarias que simplemente se ignoran pueden aumentar la adopción de funciones de formas inesperadas", explica Eric Carlson, Senior Principal AI Engineer de Amplitude.
Elegir el modelo de OpenAI adecuado para cada tarea
Las tareas de Wave plantean exigencias muy distintas a sus modelos: una investigación profunda requiere un razonamiento sólido y conclusiones bien fundamentadas, mientras que una pequeña comprobación repetida cientos de veces debe ser rápida y barata. Amplitude evalúa la calidad, la latencia y el coste de cada tarea y asigna los modelos en consecuencia.
"OpenAI nos proporcionó tanto modelos de razonamiento potentes como modelos más pequeños y rápidos, de modo que pudimos equilibrar la calidad, la latencia y el coste de inferencia en todo el producto", afirmó Skates.
Para el Opportunity Investigator de Wave, Amplitude evaluó si los modelos corroboraban los hallazgos, evitaban falsos positivos, incorporaban los comentarios de los evaluadores, se recuperaban de los fallos de las herramientas y mantenían las afirmaciones alineadas con la evidencia. GPT-6.1 Sol obtuvo una puntuación global de 4,06 sobre 5, frente a 3,62, 3,52 y 2,94 de tres modelos alternativos. Lideró los cinco criterios de investigación y registró el tiempo mediano de investigación más rápido, con 54 minutos.
En una evaluación independiente del Data Science Agent de Wave, GPT-6.1 Sol obtuvo 67,5 sobre 100 frente a 69,3 de otro modelo líder, mientras que su coste medio por modelo fue de 1,28 dólares frente a 2,63 dólares por envío. GPT-6.1 Sol también puntuó más alto en cumplimiento del contrato de herramientas, estimación e incertidumbre y fundamentación en evidencia.
Para el trabajo de gran volumen, como explorar código y ejecutar pequeñas comprobaciones de evaluación, Amplitude recurre a GPT-6 Luna para mantener bajos la latencia y el coste. Repartir las tareas entre agentes especializados permite al equipo reservar el razonamiento más caro para el trabajo que lo necesita. En la generación de wireframes y maquetas, el modelo de generación de imágenes de OpenAI obtuvo 80,3 sobre 100 en wireframes de soluciones frente a 63,9 de otro modelo de generación de imágenes; la evaluación cubrió la calidad de comunicación, la fidelidad al producto, el cumplimiento de instrucciones, la legibilidad del texto y la interfaz y la coherencia visual en 15 oportunidades.
Mantener a los equipos al mando de lo que se publica
Wave está en beta y clientes de diversos sectores ya lo utilizan para identificar y lanzar mejoras de producto. El agente analiza los datos de sesiones y analíticas y después elabora recomendaciones que llegan con una corrección propuesta, un plan técnico y criterios de aceptación.
Los equipos deciden cuánta automatización quieren. Amplitude indica que la mayoría envía las correcciones de errores directamente a los agentes de programación, mientras que las nuevas funciones y las apuestas más grandes pasan por una revisión humana. Cuando los cambios llegan a producción, el camino del descubrimiento a la ejecución puede ser corto: entre los experimentos, flags y guías lanzados por clientes, una de cada cuatro se activó el mismo día en que Wave señaló la oportunidad, la mitad en menos de cuatro días y dos de cada tres en una semana. La compañía presenta estas cifras como hitos en una curva ilustrativa y no como observaciones individuales.
Qué sigue
"Nuestra ambición con OpenAI es hacer de los productos que se mejoran a sí mismos la forma en que las empresas construyen software", dice Skates. A medida que los modelos de OpenAI mejoren en razonamiento y programación, espera que los equipos deleguen más trabajo de investigación e implementación en los agentes, lo que en su opinión llevará mejores productos a los usuarios más rápido. Amplitude afirma que ya está viendo ese patrón, con agentes que encuentran y ayudan a entregar mejoras en su propio producto mientras el equipo trabaja en otras prioridades: "Creo que los equipos se sorprenderán de todo lo que pueden lograr cuando su software trabaja a su lado para mejorar el producto".