Descripción del puesto
Empresa tecnológica con base en Barcelona, enfocada en el desarrollo de soluciones digitales para grandes corporaciones a nivel global.
Opera en la intersección entre negocio y tecnología, trabajando con metodologías ágiles y equipos multidisciplinares que cubren el ciclo completo de desarrollo de producto.
Se busca un/a AI QA Engineer para asegurar la calidad y fiabilidad tanto de código desarrollado por humanos como generado por sistemas de inteligencia artificial.
El rol combina QA tradicional con evaluación avanzada de modelos de IA, incluyendo diseño de frameworks de testing, validación de código generado automáticamente y definición de métricas de rendimiento para modelos.
Trabajarás estrechamente con desarrolladores y equipos de ML para garantizar estándares de calidad y precisión en cada release.
Responsabilidades
- Definir y ejecutar planes de testing para código humano y generado por IA.
- Diseñar estrategias de regression testing en entornos de desarrollo asistido por IA.
- Colaborar con equipos de ML para evaluar métricas como precisión, recall y calidad del output.
- Monitorizar pipelines automatizados que integren validaciones de IA.
- Curar datasets de benchmarking para entrenamiento de modelos (SFT/DPO).
- Definir y mantener umbrales de calidad para outputs de sistemas automatizados.
- Promover una cultura de QA basada en datos y mejora continua de modelos de IA.
Nice to Have
- Conocimiento de herramientas LLMOps (Weights & Biases, LangSmith, PromptLayer).
- Experiencia definiendo métricas personalizadas para outputs de IA.
- Conocimientos básicos de scripting (Python o JavaScript).
- Familiaridad con prompt engineering y generación de tests asistida por IA.
Requisitos
- +3 años de experiencia como QA Engineer en aplicaciones web o mobile.
- Conocimiento sólido de testing y frameworks de automatización (Cypress, Playwright).
- Experiencia con pipelines CI/CD e integración de testing.
- Capacidad para analizar métricas y tendencias de rendimiento.
- Experiencia en testing de APIs (Postman, Charles Proxy).
- Interés en evaluación de modelos LLM y monitorización de IA.
¿Qué ofrecemos?
- Seguro médico privado
- Ticket restaurante
- Modelo híbrido (remoto + oficina en Barcelona)
- Horario flexible
- 24 días de vacaciones
- Bonus por referidos
- Beneficios adicionales de oficina