AI Productivity Engineer Intern

Le poste :

Yousign recherche, à partir de janvier 2026, un(e) AI Productivity Engineer Intern, pour rejoindre son équipe AI Productivity, directement sous la supervision du AI Productivity Lead Engineer.

Durant ce stage de 6 mois, tu participeras à la mise en œuvre d’un processus d’évaluation robuste et industrialisé pour nos agents/assistants d’IA de productivité (Dust). Ton périmètre couvrira :

la définition des critères de qualité,
la constitution de jeux de tests,
l’architecture, le développement, le déploiement et l’exploitation continue d’un pipeline d’évaluation.

L’objectif est d’améliorer la qualité, la fiabilité et la mesurabilité des agents utilisés par les équipes, grâce à des indicateurs de performance suivis.

Missions principales :
Benchmark & étude : Revue des approches d’évaluation (LLM-as-Judge, golden sets, pairwise, human-in-the-loop) ; benchmark d’outils (Dust, LangSmith, OpenAI Evals, plateforme custom) ; définition des critères qualité par type d’agent (exactitude, robustesse, sécurité, coût, latence).
Conception : Design d’un pipeline d’évaluation reproductible (datasets, orchestration, stockage des runs, traçabilité) ; spécification de l’intégration aux agents Dust et au CI/CD ; schéma des tableaux de bord et alertes (adoption, régressions, SLO qualité).
Développement : Implémentation d’une plateforme d’évaluation (Python/TypeScript) et des premiers jeux de tests ; intégration LLM-as-Judge et métriques (accuracy, relevance, safety, cost, latency) ; automatisation des campagnes hebdomadaires et versioning des résultats.
Déploiement : Déploiement du pipeline, des tableaux de bord et des alertes en environnement de production interne ; intégration au workflow des équipes (documentation, formation, runbooks) ; passage de relais pour l’exploitation continue.
Profil recherché :
Étudiant(e) en dernier année au sein d'une école d'ingénieur en France, en recherche d’un stage de fin d’études.

Compétences techniques (Hard skills) :

Must-have :

Bases solides en développement (Python ou TypeScript) et en métriques.
Rigueur dans la gestion des données (datasets, annotation, reproductibilité, versioning).
Intérêt marqué pour l’IA générative et l’évaluation de la qualité.
Anglais courant (documentation technique, outils).

Nice-to-have :

Expérience avec des LLMs (Claude, GPT, etc.) et évaluation automatisée.
Connaissance d’outils d’évaluation (LangSmith, OpenAI Evals, Langfuse) ou d’observabilité.
Pratique du CI/CD, des tableaux de bord et de l’alerting.

Qualités personnelles (Soft skills) :

Curiosité et veille technologique – Intérêt pour l’innovation en IA.
Pédagogie – Capacité à vulgariser et à former.
Adaptabilité – Environnement en évolution rapide.
Esprit d’initiative – Proactivité dans l’identification d’opportunités.
Ce que trouveras chez Yousign :
Une scale-up dynamique qui place les personnes avant tout
Un style de management qui favorise l’autonomie et la cohésion, au travers d’objectifs communs (OKR)
Le meilleur de la culture et des méthodes de travail
Un environnement de travail bienveillant et stimulant
Des évènements d’équipes réguliers
La possibilité de travailler depuis nos très jolis bureaux à Paris juste à côté de la place de Clichy

Télétravail occasionnel (rythme à adapter avec ton équipe)
Equal Opportunity at Yousign

Chez Yousign, nous célébrons l’unicité et veillons à ce que chaque membre de l’équipe ait les mêmes opportunités de contribuer. Nous offrons des chances égales à tous et maintenons des processus transparents et équitables.

Rejoignez-nous chez Yousign, où nos différences nourrissent la créativité et la force — embarquons ensemble dans cette aventure incroyable !