Brasilien
SONDA
Jobgether
AI Evaluation Engineer
Brasilien
Brazil
TypeScriptPythonGo
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Diese Stelle wird im Namen eines Partnerunternehmens ausgeschrieben, das alle Bewerbungen und weiteren Schritte verwaltet. Unser Partner sucht einen AI Evaluation Engineer mit Sitz in Brasilien.
So funktioniert Jobgether
Wir verwenden einen KI-gestützten Matching-Prozess, um sicherzustellen, dass Ihre Bewerbung schnell, objektiv und fair anhand der Kernanforderungen der Stelle geprüft wird. Unser System identifiziert die am besten passenden Kandidaten, und diese Shortlist wird direkt an das einstellende Unternehmen weitergeleitet. Die endgültige Entscheidung und die nächsten Schritte (Vorstellungsgespräche, Bewertungen) werden von deren internem Team verwaltet.
Wir danken Ihnen für Ihr Interesse und wünschen Ihnen viel Erfolg!
Warum über Jobgether bewerben?
Datenschutzhinweis: Mit Einreichung Ihrer Bewerbung erklären Sie sich damit einverstanden, dass Jobgether Ihre personenbezogenen Daten zur Prüfung Ihrer Kandidatur verarbeitet und relevante Informationen an den einstellenden Arbeitgeber weitergibt. Diese Verarbeitung basiert auf berechtigtem Interesse und vorvertraglichen Maßnahmen gemäß den geltenden Datenschutzgesetzen (einschließlich der DSGVO). Sie können Ihre Rechte (Zugriff, Berichtigung, Löschung, Widerspruch) jederzeit ausüben.
#LI-CL1
Als Gründungs-AI Evaluation Engineer entwerfen und entwickeln Sie die Infrastruktur für Evaluierung, Tests und Observability, die sicherstellt, dass produktionsreife KI-Agenten zuverlässig, sicher und effizient arbeiten. Sie entwickeln automatisierte Testsysteme für komplexes Schlussfolgern, Multi-Turn-Konversationen und Agenteninteraktionen, die APIs, Datenbanken und Codeausführung umfassen. In der Schnittstelle zwischen KI-Engineering, Softwaretests und Infrastruktur erstellen Sie skalierbare Evaluierungspipelines, die über traditionelle QA und manuelles Prompt-Testing hinausgehen. Sie etablieren robuste Regressionstests, statistische Evaluierungsmethoden und Adversarial-Szenarien, um Schwachstellen vor der Bereitstellung zu identifizieren. Dies ist eine Gelegenheit, die Verantwortung für eine Evaluierungsarchitektur von Grund auf zu übernehmen und dabei mit modernen KI-Technologien in einer vollständig remote arbeitenden, global verteilten Umgebung tätig zu sein. Ihre Arbeit trägt direkt zur Zuverlässigkeit, Sicherheit und kontinuierlichen Verbesserung fortschrittlicher KI-Systeme bei.
Aufgaben
- Entwerfen, Erstellen und Pflegen von automatisierten CI/CD Test-Pipelines zur Validierung des KI-Agentenverhaltens vor der Bereitstellung und während des gesamten Entwicklungszyklus.
- Entwickeln und Pflegen von Golden Datasets mit Regression-Prompts, Edge Cases und synthetischen Szenarien zur Messung von Genauigkeit, Sicherheit, Leistung und Latenz des Agenten.
- Implementieren von schnellen, kostengünstigen, deterministischen Evaluierungsprüfungen, bevor LLM-as-a-judge-Ansätze eingeführt werden, einschließlich JSON Schema-Validierung, regulärer Ausdrücke, API Statusprüfungen und Einbettungsähnlichkeit.
- Erstellen umfassender Testsuiten für Multi-Turn-Agentenkonversationen, die Kontextspeicherung, Zustands konsistenz, Schlussfolgerungsverhalten und Schutzmaßnahmen gegen endlose Tool-Calling-Schleifen bewerten.
- Entwerfen und Implementieren von gegnerischen Testszenarien zur Bewertung der Widerstandsfähigkeit gegen Prompt Injection, fehlerhafte Eingaben, unerwartete Tool-Antworten und andere potenzielle Sicherheitslücken.
- Erstellen von Frameworks für statistische Auswertungen zur Messung von nicht-deterministischem KI-Verhalten unter Verwendung von Erfolgsquoten über mehrere Durchläufe, Konfidenzintervallen und anderen quantitativen Zuverlässigkeitsmetriken.
- Integrieren von Evaluierungs-Workflows in GitHub Actions oder vergleichbare CI-Systeme unter Verwendung von SDK-Level-Ausführung und automatisierten Testpraktiken.
- Implementieren von Beobachtbarkeits- und Tracing-Lösungen mit Tools wie OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave oder äquivalenten Plattformen zur Überwachung der Agentenausführung und Diagnose von Fehlern.
- Optimieren der Effizienz und Kosten der Evaluierung durch Caching, Mocking und andere Techniken, die unnötige LLM API Aufrufe reduzieren.
- Validieren von strukturierten Ausgaben, einschließlich JSON Schemata, OpenAPI-Spezifikationen und Function-Calling-Payloads, um sicherzustellen, dass Agenten zuverlässig mit externen Systemen interagieren.
- Bewerten und Verbessern der Agentenleistung unter Last, unter Berücksichtigung variabler Antwortzeiten und nicht-deterministischem Endpunktverhalten.
- Unabhängiges Entwerfen und Verantworten der Evaluierungsarchitektur, Etablieren von Best Practices, Teststandards und skalierbaren Prozessen für die laufende Qualitätssicherung.
Anforderungen
- Starke Kenntnisse in Python oder TypeScript, insbesondere für API-Tests, Headless-Ausführung, asynchrone Programmierung und automatisierte Testsysteme.
- Praktische Erfahrung im Aufbau von LLM-Evaluierungs-Pipelines, KI-Test-Frameworks oder statistischen Testsystemen, die in der Lage sind, die Leistung über wiederholte Durchläufe zu messen.
- Erfahrung in der Integration von automatisierten Tests in CI/CD Umgebungen, insbesondere GitHub Actions oder ähnliche Plattformen, mit SDK-Level-Ausführung.
- Umfassende Kenntnisse in der Validierung strukturierter Daten und Ausgaben, einschließlich JSON Schema, OpenAPI-Spezifikationen und Function-Calling-Payloads.
- Vertrautheit mit Beobachtbarkeits- und Tracing-Tools wie OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave oder benutzerdefinierten Logging-Lösungen.
- Fähigkeit, eine Evaluierungsarchitektur unabhängig von Grund auf zu entwerfen, zu implementieren und zu pflegen, mit einem starken Verantwortungsbewusstsein und technischem Urteilsvermögen.
- Ausgezeichnete schriftliche und mündliche Englischkenntnisse mit der Fähigkeit, technische Ergebnisse in einem verteilten Team klar zu kommunizieren.
- Verfügbarkeit, um mindestens drei Stunden pro Tag mit den Geschäftszeiten der US Central Time zu überschneiden.
- Erfahrung mit Code-Ausführungs-Sandboxes oder KI-Agenten-Frameworks wie LangChain, LlamaIndex, AutoGen oder CrewAI.
- Starkes Verständnis von Einbettungsmodellen, Vektordatenbanken und deren Anwendungen in der KI-Evaluierung und Ähnlichkeits-basierten Tests.
- Erfahrung mit Lasttests von nicht-deterministischen Endpunkten und Bewertung des Systemverhaltens unter verschiedenen Arbeitslasten.
- Ein proaktiver, analytischer Ansatz zur Problemlösung, mit der Fähigkeit, unabhängig zu arbeiten, sich an sich entwickelnde Technologien anzupassen und Testmethoden kontinuierlich zu verbessern.
Vorteile
- Vollständig remote: Arbeiten Sie von überall mit einer zuverlässigen Internetverbindung, mit der Flexibilität, Ihre bevorzugte Zeitzone und Arbeitszeiten zu wählen.
- Flexible Arbeitszeiten: Organisieren Sie Ihren Arbeitstag nach Ihrer Produktivität und halten Sie gleichzeitig die erforderliche Überschneidung mit der US Central Time ein.
- Berufliche Weiterentwicklung: Zugang zu bezahlten Schulungen und anderen Möglichkeiten, um Ihre technischen Fähigkeiten zu erweitern und Ihr Karrierewachstum zu unterstützen.
- Moderne Technologie: Arbeiten Sie mit zeitgemäßen KI-Tools, Frameworks und Engineering-Praktiken in einer Umgebung, die Innovation und kontinuierliche Verbesserung schätzt.
- Konstante Projektmöglichkeiten: Profitieren Sie von einem stetigen Strom an ansprechenden und herausfordernden Produktentwicklungsarbeiten.
- Leistungsanerkennung: Starke Leistung und Engagement können durch jährliche Gehaltserhöhungen belohnt werden.
- Verhandelbare Vergütung: Ihr anfänglicher Stundenlohn wird auf der Grundlage Ihrer Fähigkeiten, Erfahrungen und Qualifikationen festgelegt.
- Unabhängige Auftragnehmervereinbarung: Die Vergütung basiert auf den geleisteten Arbeitsstunden, die Zahlungen erfolgen monatlich per Überweisung.
- Flexible Arbeitsumgebung: Genießen Sie die Autonomie, in einer Umgebung zu arbeiten, die Ihren Fokus, Ihre Unabhängigkeit und Ihre berufliche Entwicklung unterstützt.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen