NVIDIA
Crimson Education
Senior Software QA Engineer
Die Rolle
Crimson Education ist die weltweit führende Agentur für Studienberatung, mit über 1,490 Angeboten von Ivy-League-Universitäten und 2,410 für die Top 15 der USA. Wir helfen ehrgeizigen Studenten, durch fachkundige Beratung und bewährte, datengesteuerte Strategien an den weltweit führenden Universitäten zugelassen zu werden. Crimson-Studenten haben eine 7-mal höhere Chance, an der Ivy League zugelassen zu werden als ihre Kommilitonen. Wir wurden kürzlich auf der Titelseite des Wall Street Journal vorgestellt.
Crimson ist die einzige Studienberatungsagentur, die Folgendes vereint:
- Ehemalige Zulassungsbeauftragte von Ivy-League- und Top-20-Universitäten, die Bewerbungen streng prüfen und verfeinern
- Professoren und Doktoranden von führenden Universitäten, die Studenten bei originellen, unabhängigen Forschungsarbeiten betreuen – mit Wegen zur selektiven Veröffentlichung in begutachteten Fachzeitschriften oder zur Präsentation auf Konferenzen
- Frühere ISEF-Gewinner und -Juroren, die Studenten coachen, um sich für staatliche, nationale und internationale Wissenschaftspreise zu bewerben
- Capstone-Projektbetreuer, die Studenten helfen, Führungsinitiativen mit realer Wirkung, messbaren Ergebnissen und glaubwürdiger externer Validierung zu entwerfen und zu skalieren
Wir werden von führenden VC-Firmen unterstützt, darunter Tiger Global, Heal Partners, IceHouse Ventures und Movac, und haben kürzlich eine Series-D-Finanzierungsrunde über USD $40 Mio. mit einer Bewertung von USD $640 Mio. abgeschlossen. Wir sind jetzt in 21 Märkten weltweit tätig, darunter die USA, Kanada, Großbritannien, Singapur, Japan, Hongkong, Australien und Neuseeland.
Was sind die Hauptverantwortlichkeiten für diese Rolle?
- Design & Erstellung: Entwicklung, Wartung und Skalierung robuster End-to-End-Automatisierungs-Testframeworks von Grund auf (UI, API und Integrationsschichten).
- CI/CD-Integration: Nahtlose Integration von automatisierten Testsuiten in unsere CI/CD-Pipelines, um schnelle Deployments mit hoher Zuverlässigkeit zu gewährleisten.
- Abdeckungsstrategie: Definition, Verfolgung und Skalierung von Testabdeckungsmetriken (Ziel: hohe Reinheit der API und Abdeckung kritischer UI-Pfade), um regressionsfreie Deployments sicherzustellen.
- Performance & Skalierung: Durchführung von API-Performance-, Last- und Stresstests, um sicherzustellen, dass unsere Infrastruktur mit der Nachfrage Schritt hält.
- KI/LLM-Validierung: Entwurf von Teststrategien für nicht-deterministische Systeme. Sie bewerten LLM-Ausgaben auf Genauigkeit, Voreingenommenheit, Sicherheit und Halluzinationsraten.
- Prompt-Regressionstests: Einrichtung von Benchmarks, um sicherzustellen, dass das Ändern eines KI-Prompts oder das Upgrade eines Basismodells nicht heimlich bestehende Funktionen beeinträchtigt.
- Daten- & Modelldrift-Überwachung: Zusammenarbeit mit Data Scientists und ML Engineers zur Überwachung von Modell-Performance-Metriken in der Produktion.
- Jagd auf Randfälle: Aktive Simulation von adversen Eingaben (Prompt-Injections, Jailbreaks), um sicherzustellen, dass unsere KI-Funktionen sicher und geschützt bleiben.
Welche Fähigkeiten und Erfahrungen sind erforderlich?
- 4+ Jahre Erfahrung in Software-QA-Automatisierung, davon mindestens 1–2 Jahre speziell im Testen von KI/ML-gestützten Anwendungen oder LLM-Integrationen.
- Starke Programmierkenntnisse in Python (sehr bevorzugt für KI-Workflows) oder JavaScript/TypeScript.
- Praktische Erfahrung mit modernen Automatisierungswerkzeugen (z. B. Playwright, Cypress, Selenium).
- Expertise in API-Testwerkzeugen (z. B. Postman, RestAssured, PyTest).
- Vertrautheit mit KI-Evaluierungsframeworks (z. B. Ragas, TruLens, Deepchecks) oder nachgewiesene Fähigkeit, benutzerdefinierte Evaluationsskripte für probabilistische Ausgaben zu schreiben.
- Grundlegendes Verständnis von Vektordatenbanken, Embeddings und wie Datenpipelines in ML-Modelle einfließen.
- Bachelor-Abschluss in Informatik, Ingenieurwesen oder gleichwertige praktische Erfahrung.
Bonuspunkte
- Vertrautheit mit Cloud-Plattformen (AWS, GCP oder Azure) und Containerisierung (Docker, Kubernetes).
- Eine gesunde Besessenheit von KI-Sicherheit und Ethik.
Warum bei Crimson arbeiten?
- Schnell wachsendes Startup mit einer flexiblen Arbeitsumgebung, in der Sie die Art und Weise, wie Sie arbeiten, selbst gestalten können
- Grenzenlose Entwicklung und Einblicke – unsere internen Beförderungen/Rollenwechsel machten letztes Jahr 33% aller Einstellungen aus
- $1000 individuelles Schulungsbudget pro Jahr, wir lieben es, uns weiterzuentwickeln ('Level Up' ist einer unserer Kernwerte)!
- Psychologe im Team
- Aufschlussreiche Kamingespräche und Workshops zur Unterstützung unseres leistungsstarken und ehrgeizigen Teams
- Radikale Ehrlichkeit ist ein Feedback-Ansatz, den wir leben
- Wir sind ein globaler Akteur mit 28 Märkten (und wachsend) weltweit. Die meisten Rollen bieten die Möglichkeit, von einem unserer vielen Büros aus zu arbeiten oder remote!
Wenn Sie leidenschaftlich gerne in einem schnelllebigen, kollaborativen Umfeld wachsen und mit modernster Technologie arbeiten möchten, dann würden wir uns freuen, von Ihnen zu hören!
Bitte behalten Sie Ihren Spam-/Junk-E-Mail-Ordner für Korrespondenz von Team Tailor im Auge.
