QA Automation Engineer (mwd)
Job Location:
Monthly Salary:
Posted:
Application Deadline:
Vacancies:
Job Summary
Automatisierte Tests für regressionkritische Frontend- API- und Integrationsflows aufbauen und pfelgen
Testautomatisierung in bestehende GitLab-CI/CD-Prozesse integrieren und als QualityGate vor Deployments nutzbar machen
Automatisierte Testfälle für Chatbot API und Frontend definieren
RAG-/LLM-Evaluation
Automatisierte LLM-/RAG-Evaluationen aufsetzen inklusive Eval-DatensätzenQualitätsmetriken Schwellenwerten und reproduzierbaren Eval-Runs
RAG-Antworten anhand definierter Qualitätskriterien prüfen z. B. fachliche Korrektheit Verständlichkeit Prägnanz Zielgruppenorientierung und Quellenbezug
Übergreifend
QA-Automasierungs- und Eval-Prozess für Plattform und Chatbot strukturieren
Testdaten Eval-Sets Testprotokolle und QA-Statusübersichten pflegen
Go-/No-Go-Einschätzung für den Launch vorbereiten
Mehrjährige Erfahrung als QA (Automation) Engineer für Web- Plattform- oder digitale Produktumfelder
Praktische Erfahrung im Aufbau und in der Pflege automatisierter Tests z. B. mit Playwright WebdriverIO oder vergleichbaren Frameworks
Sicher im Umgang mit Testkonzepten Testfällen Bug-Reports und Regressionstests
Erfahrung mit CI/CD-Pipelines idealerweise GitLab und der Integration automatisierter Tests in Deployment-Prozesse
Technisches Verständnis für APIs Web-Frontends CMS-basierte Systeme und integrierte Plattformarchitekturen
Erfahrung in agilen Teams und enger Abstimmung mit Entwicklung und Produktmanagement
Strukturierte analytische und eigenständige Arbeitsweise
Sehr gute Deutschkenntnisse mindestens C1
- Erfahrung mit KI- Chatbot- RAG- oder Multi-Agenten-Systemen
Erfahrung mit LLM-/RAG-Evaluationen idealerweise mit Azure AI Foundry / Azure AIEvaluation SDK Langfuse RAGAS DeepEval Promptfoo LangSmith Arize Phoenixoder vergleichbaren Eval-/Observability-Frameworks
Verständnis von Qualitätsmetriken wie Groundedness Relevance CoherenceFluency und Completeness
Erfahrung mit Eval-Datensätzen Ground Truth Golden Sets oder synthetischenTestfällen
Erfahrung mit API-Tests Performance-Tests oder Penetrationstests
Erfahrung mit Content-Management-Systemen idealerweise Strap
Wie sieht der Rekrutierungsprozess bei Ekkiden aus
Bei Ekkiden sind wir bestrebt jedem Kandidaten eine positive Erfahrung zu bieten.
Obwohl dies unser Standardprozess ist können wir Anpassungen vornehmen die auf spezifischen Umständen basieren.
Required Experience:
IC
