Développeur·euse QA, Assistant IA

Job summary

Automate quality assurance for the AI assistant and its surrounding features by building evaluation suites, automated tests, and tools that run regression checks in CI. Review real conversations to identify failure patterns, help define quality criteria, and work with developers on fixes, security testing, and safe feature launches.

Job details

Chez Poka, nous changeons la façon dont les équipes industrielles du monde entier travaillent — en captant le savoir de leurs meilleurs employés et en le mettant entre les mains de chaque opérateur. Notre plateforme pour travailleurs connectés est conçue spécifiquement pour le secteur manufacturier et l'industrie au sens large, avec une IA industrielle intégrée au cœur du quart de travail, et non ajoutée par-dessus. Résultat : une performance de première ligne qui se transforme en savoir cumulatif et en impact mesurable — à chaque quart, sur chaque site, dans chaque région. Nous sommes fiers d'accompagner des leaders mondiaux comme Nestlé, Bosch, Mars et Danone, dans plus de 3 000 sites répartis dans plus de 70 pays. Et en tant que division en forte croissance de la famille IFS, tu rejoindras une équipe dont le travail quotidien façonne directement la plateforme derrière le secteur manufacturier d'aujourd'hui. Aperçu du poste Notre équipe développe l'assistant IA intégré à Poka. Les travailleurs et les superviseurs l'utilisent chaque jour sur les planchers de production. On le construit avec des prompts, des outils, de la récupération d'information (retrieval) et des agents. En tant que spécialiste en assurance qualité (QA) dans cette équipe, tu t'assures que ce qu'on livre fonctionne : les réponses de l'assistant et les fonctionnalités qui l'entourent. Tu le fais avec l'automatisation, l'IA et des outils que tu construis, pas avec des tests manuels. Tu travailles avec les devs, l'équipe produit et l'équipe design pour définir ce que « bon » veut dire, puis tu construis les evals, les tests automatisés et les outils qui le vérifient. En quoi c'est différent de la QA traditionnelle Aucune passe de tests manuels. Si quelque chose doit être vérifié plus d'une fois, tu l'automatises, avec du code, de l'IA ou l'outil qui convient. Une grande partie de ce que tu testes n'a pas de réponse unique. Une même question peut recevoir 50 bonnes réponses formulées différemment, et l'assistant peut répondre autrement d'une exécution à l'autre. Tu aides à définir ce que « bon » veut dire et à le mesurer. Tu écris du Python chaque semaine. Si tu cherches un rôle axé sur les plans de test et les tests de régression manuels, ce n'est pas celui-ci. Ce dont tu seras responsable Automatiser la QA des fonctionnalités de l'équipe et construire les outils qui la facilitent, y compris des moyens pour que les non-développeurs puissent ajouter des evals et en analyser les résultats. Construire et maintenir des suites d'evals à partir de l'utilisation réelle : de vraies questions d'utilisateurs, le comportement attendu et les cas limites qui apparaissent en production. Définir avec l'équipe ce qu'est une bonne réponse pour nos utilisateurs, rédiger des grilles d'évaluation et utiliser le LLM-as-judge quand c'est pertinent, en le calibrant sur des échantillons étiquetés par des humains. Exécuter des vérifications de régression dans le CI chaque fois qu'on modifie un prompt, un outil, le retrieval ou la version du modèle Claude, en couvrant la qualité des réponses, les coûts et la rapidité. Tu construis les garde-fous, les evals et les tests qui nous disent si on donne le feu vert à une mise en production ou non. Passer en revue de vraies conversations et regrouper les échecs par tendances : réponses inventées, mauvais appels d'outils, contexte manqué, ton inapproprié. Puis travailler avec les développeurs pour les transformer en correctifs. Contribuer aux tests adverses : injection de prompts, fuite de données entre clients, amener l'assistant à faire des choses qu'il ne devrait pas faire. Faire des tests exploratoires, dans un temps limité, sur les fonctionnalités qui changent ce que l'assistant peut décider ou faire, comme de nouveaux agents, outils ou actions, y compris vérifier que les actions restent sécuritaires quand quelque chose échoue ou est relancé. Participer aux lancements de fonctionnalités pour aider à définir les critères d'acceptation, y compris ceux propres à l'IA. Ce que tu apportes AEC, DEC ou BAC dans un domaine lié au poste, ou expérience équivalente De 2 à 4 ans d'expérience pertinente Un parcours en automatisation des tests ou comme SDET Tu es à l'aise avec plusieurs langages de programmation, dont Python et TypeScript Une vraie curiosité pour le comportement des LLM et les raisons de leurs échecs Tu es à l'aise pour juger la qualité quand il n'y a pas de réponse unique, et pour expliquer ton raisonnement De la curiosité pour l'univers de nos utilisateurs. On ne peut pas juger une réponse sans comprendre ce dont un superviseur a réellement besoin sur un plancher de production. Atouts Tu as aidé à mettre en place un harnais d'évaluation, même dans un projet personnel De l'expérience avec des outils d'IA pour accélérer les tests Des notions de base en statistiques : taux de réussite, variance, taille d'échantillon De l'expérience en tests de sécurité ou en tests adverses Une connaissance de la pyramide des tests et de l'approche shift-left De l'expérience B2B ou sur des plateformes industrielles Une connaissance de Jira Les technologies que tu utiliseras Python TypeScript Claude Code Framework d'évaluation (promptfoo) AWS Docker Et bien d'autres On croit fermement que la passion pour les nouvelles technologies, une attitude positive et un véritable esprit d'équipe sont essentiels pour réussir chez Poka. Surtout, on cherche quelqu'un de curieux et de débrouillard. Tu as à cœur le succès du produit et de ton équipe. Tu aimes les problèmes complexes, surtout ceux qui n'ont pas de solution évidente. Tu veux écrire du code propre et de qualité, et continuer d'apprendre. Si ça te ressemble, tu es probablement la personne qu'on cherche ! Nous offrons: Un environnement de travail dynamique et collaboratif; Politique de vacances généreuse dès ton arrivée; Mode hybride - Les employé.es qui habitent dans un rayon de 40 km de notre bureau de Québec ou de 15 km de notre bureau de Montréal doivent travailler au bureau deux jours par semaine. Travail 100 % à distance si vous ne résidez pas dans les rayons mentionnés ci-dessus; Horaire réellement flexible permettant d’adapter ton emploi du temps; Assurance collective dès ton premier jour (dentaire, médicaments, invalidité, assurance voyage, etc.) avec contribution de l’employeur, comprenant l’accès à la télémédecine et à un PAE; REER collectif avec contribution de l’employeur, offert après un an de service via Wealthsimple; MacBook Pro et une allocation de 500$ pour ton bureau à la maison lors de l'embauche; Un généreux budget annuel de formation et développement pour soutenir ta croissance, ainsi que les outils et opportunités nécessaires pour continuer à progresser dans ta carrière. Un programme de référencement d'employés avantageux pour les embauches réussies. Des collations savoureuses à volonté (Fruits frais, collations, viennoiseries, cafés, thés, etc.) Tu veux en savoir plus sur notre culture? Clique ICI. À noter: La compréhension de l’anglais est essentielle chez Poka, car c’est la langue utilisée lors de nos réunions de compagnie et de nombreuses communications internes, assurant une collaboration et une prise de décision efficace. De plus, comme Poka évolue dans un environnement international, l’anglais est la langue principale de communication avec nos clients et partenaires, ce qui permet de mieux les servir et de représenter Poka de façon professionnelle.

What you’ll do

Automate quality assurance for the AI assistant and its surrounding features by building evaluation suites, automated tests, and tools that run regression checks in CI. Review real conversations to identify failure patterns, help define quality criteria, and work with developers on fixes, security testing, and safe feature launches.

Requirements

Candidates should have a relevant diploma or degree, or equivalent experience, and 2–4 years of relevant experience in test automation or as an SDET. They should be comfortable programming in Python and TypeScript, curious about LLM behavior, able to assess quality without a single correct answer, and interested in the needs of industrial users.

Benefits

• Generous Vacation Policy
• Flexible Work Schedule
• Health Insurance
• Dental Insurance
• Prescription Drug Coverage
• Disability Insurance
• Travel Insurance
• Telemedicine
• Employee Assistance Program
• Employer-Matched Retirement Savings Plan
• MacBook Pro
• Home Office Allowance
• Annual Training and Development Budget
• Employee Referral Program
• Free Snacks and Beverages

Listed skills

• Quality assurance · Preferred
• Docker · Preferred
• TypeScript · Preferred
• Amazon Web Services · Preferred
• prompt engineering · Preferred
• Python · Preferred

Other relevant skills

Identified from the job description. Confirm important requirements above.

• Quality Assurance
• Test Automation
• Python
• TypeScript
• Large Language Models
• Evaluation Frameworks
• LLM-as-Judge
• Regression Testing
• CI
• Prompt Engineering
• Information Retrieval
• AI Agents
• Adversarial Testing
• Security Testing
• AWS
• Docker
• Claude Code
• Large Language Modeling
• Shift-Left Testing
• Curiosity
• Artificial Intelligence
• Amazon Web Services
• JIRA
• Automation
• Business To Business
• Continuous Integration
• Data Loss Prevention
• Python (Programming Language)
• Docker (Software)
• Large Language Model Evaluation
• Claude AI

Job areas

• Software
• Technology
• Manufacturing
• Security & Safety
• Quality Assurance Developer
• Software Developer / Engineer
• Software Developers