Vereinigte Staaten
Be Structured Technology Group
Anaplan
QA Automation Engineer - KI
Vereinigte Staaten
North Carolina, United States
Python
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Bei Anaplan sind wir ein Team von Innovatoren, die sich darauf konzentrieren, die Geschäftsentscheidungen durch unsere führende KI-gestützte Plattform für Szenarioplanung und -analyse zu optimieren, damit unsere Kunden ihre Konkurrenz und den Markt übertreffen können.
Was Anaplanners teams- und länderübergreifend vereint, ist unser gemeinsames Engagement für den Erfolg unserer Kunden und unsere Winning Culture.
Unsere Kunden gehören zum Who's Who der Fortune 50. Coca-Cola, LinkedIn, Adobe, LVMH und Bayer sind nur einige der über 2,400+ globalen Unternehmen, die sich auf unsere erstklassige Plattform verlassen.
Unsere Winning Culture ist die treibende Kraft hinter unseren Innovatoren-Teams. Wir fördern Vielfalt an Gedanken und Ideen, wir verhalten uns wie Führungskräfte unabhängig von unserem Titel, wir verpflichten uns zur Erreichung ehrgeiziger Ziele und wir feiern gerne unsere Erfolge – große und kleine.
Unterstützt durch operative Prinzipien, strategisch ausgerichtet, wertebasiert anaplan.com/careers/ und diszipliniert in der Ausführung, werden Sie hier inspiriert, vernetzt, gefördert und belohnt. Alles, was Sie einzigartig macht, ist willkommen; schließen Sie sich uns an und lassen Sie uns gemeinsam das Nächste aufbauen!
Wir entwickeln eine neue Rolle, die sich ausschließlich auf die Qualitätssicherung für GenAI/agentische Systeme konzentriert. Als unser QA Automation Engineer im Bereich KI entwickeln Sie Teststrategien, Bewertungsrahmen und Qualitätsmetriken, die speziell für LLM-gestützte Anwendungen entwickelt wurden. Diese Rolle erfordert eine einzigartige Mischung aus QA-Expertise, Verständnis des GenAI-Verhaltens und Automatisierungsfähigkeiten, um sicherzustellen, dass unsere KI-Funktionen zuverlässig, genau und vertrauenswürdig sind.
Unser Engagement für Vielfalt, Gleichberechtigung, Inklusion und Zugehörigkeit (DEIB)
Wir glauben, dass die Gewinnung und Bindung der besten Talente und die Förderung einer integrativen Kultur unser Geschäft stärken. DEIB verbessert unsere Belegschaft, stärkt das Vertrauen unserer Partner und Kunden und treibt den Geschäftserfolg voran. Bauen Sie Ihre Karriere an einem Ort auf, an dem Vielfalt, Gleichberechtigung, Inklusion und Zugehörigkeit nicht nur Worte auf dem Papier sind – das ist es, was unsere Innovation antreibt, wie wir uns verbinden und was uns zu einem Marktführer macht. Wir glauben an ein Einstellungs- und Arbeitsumfeld, in dem alle Menschen respektiert und geschätzt werden, unabhängig von Geschlechtsidentität oder -ausdruck, sexueller Orientierung, Religion, ethnischer Zugehörigkeit, Alter, Neurodiversität, Behinderungsstatus, Staatsbürgerschaft oder jedem anderen Aspekt, der Menschen einzigartig macht. Wir stellen Sie für das ein, was Sie sind, und wir möchten, dass Sie jeden Tag Ihr authentisches Selbst zur Arbeit mitbringen!
Wir werden sicherstellen, dass Menschen mit Behinderungen angemessene Vorkehrungen getroffen werden, um an der Bewerbung oder am Vorstellungsgespräch teilzunehmen, wesentliche Aufgaben zu erfüllen und gerechte Leistungen und alle Privilegien der Beschäftigung zu erhalten. Bitte kontaktieren Sie uns, um eine Unterkunft zu beantragen.
Ihr Einfluss
- Entwicklung und Ausführung einer End-to-End-automatisierten Testabdeckung für Bewertungen, APIs, UIs und Leistungstests unter Verwendung von Python.
- Implementierung von Teststrategien für GenAI-Funktionen, einschließlich konversationeller KI, agentischer Systeme und LLM-gestützter Workflows innerhalb Ihres Arbeitsbereichs.
- Ausführung und Wartung automatisierter Testsuiten für Prompt-Tests, einschließlich Regressionstests zur Erkennung unbeabsichtigter Änderungen im Modellverhalten.
- Unterstützung und Wartung von Bewertungsrahmen zur Messung der GenAI-Leistung in Bezug auf Genauigkeit, Relevanz, Sicherheit, Konsistenz und Latenz.
- Beitrag zur Kuratierung hochwertiger Testdatensätze und "goldener Beispiele", die vielfältige Benutzerszenarien und Edge Cases darstellen.
- Unterstützung bei adversariellen Tests zur Identifizierung potenzieller Modellhalluzinationen oder -verzerrungen und Unterstützung bei der Integration von Produktionswarnsystemen.
- Nutzung interner Tools und Testframeworks, um Entwicklern die einfache Validierung ihres GenAI-Codes zu ermöglichen, und Unterstützung beim User Acceptance Testing.
- Übernahme der Verantwortung für die automatisierte Abdeckung Ihres Arbeitsbereichs, Dokumentation von Testverfahren und bekannten Problemen in klaren, zugänglichen Formaten.
Mindestanforderungen
Ihre Fähigkeiten
- 8+ Jahre solide QA- oder Test-Engineering-Erfahrung, mit Einblicken in oder starkem Interesse an KI/ML-Systemen.
- Praktische Python-Programmiererfahrung.
- Gutes Verständnis von GenAI-Technologien, einschließlich LLMs, Prompt Engineering und KI-Anwendungsmustern.
- Solide Erfahrung mit Testautomatisierungs-Frameworks und Skripting (Python, Pytest, API und UI-Testing).
- Praktische Kenntnisse von Softwaretestmethoden (funktionale Tests, Integrationstests, Regressionstests, Leistungstests, Sicherheitstests).
- Fähigkeit, Testfälle auszuführen und Bewertungskriterien für nicht-deterministische Systeme zu evaluieren.
- Erfahrung mit API-Testtools (Postman, REST Assured) und backend-Tests.
- Vertrautheit mit CI/CD-Pipelines und der Integration automatisierter Tests.
#LI-SP1
Haftungsausschluss für betrügerische Rekrutierung
Es ist uns aufgefallen, dass betrügerische und fiktive Stellenangebote im Internet kursieren. Potenzielle Kandidaten werden von bestimmten Personen kontaktiert, hauptsächlich per Telefon, E-Mail und Korrespondenz, die behaupten, Vertreter von Anaplan zu sein. Der Hauptzweck dieser Korrespondenz und Ankündigungen ist es, privilegierte Informationen von Einzelpersonen zu erhalten.
Anaplan tut Folgendes nicht:
- Bietet Kandidaten Angebote ohne einen umfassenden Interviewprozess mit einem Mitglied unseres Rekrutierungsteams und einem Hiring Manager per Video oder persönlich an.
- Sendet Stellenangebote per E-Mail. Alle Angebote werden zuerst nach Möglichkeit mündlich von einem Mitglied unseres internen Rekrutierungsteams unterbreitet und dann schriftlich nachverfolgt.
Alle E-Mails von Anaplan stammen von einer @anaplan.com-E-Mail-Adresse. Sollten Sie Zweifel an der Echtheit einer E-Mail, eines Briefes oder einer Telefonkommunikation haben, die angeblich von, für oder im Namen von Anaplan stammt, senden Sie bitte eine E-Mail an [email protected], bevor Sie weitere Maßnahmen in Bezug auf die Korrespondenz ergreifen.
Datenschutz- und KI-Hinweis
Kandidatendaten, die während unserer Rekrutierungsaktivitäten verarbeitet werden, werden gemäß unserer Kandidaten-Datenschutzerklärung anaplan.com/legal/candidate-privacy-notice/ behandelt. Dies kann die Nutzung von künstlicher Intelligenz oder automatisierten Tools umfassen, um unser Team bei der Bewertung von Qualifikationen zu unterstützen.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen