Brasilien
Orange Business
Circle
Lead Engineer, AI Platform
RemoteBrasilien
São Paulo, São Paulo, Brazil
PythonRuby
Automatische Übersetzung. Prüfe das Original.
Über uns
Circle baut die weltweit führende KI-gestützte All-in-One-Plattform für digitale Unternehmen auf. Wir ermöglichen es Kreativen, Coaches, Pädagogen und Unternehmen, ihr Publikum mit ansprechenden Diskussionen, Live-Streams, Events, Chat, Kursen und Zahlungen zusammenzubringen – alles an einem Ort, unter ihrer eigenen Marke.
Wir sind stolz darauf, ein vollständig Remote-Unternehmen mit rund 270 (und wachsenden!) Teammitgliedern aus über 30 Ländern weltweit zu sein. Wir suchen außergewöhnliche Talente auf der ganzen Welt, statten sie aus, damit sie die beste Arbeit ihres Lebens leisten können, und schaffen damit einen bedeutenden Einfluss auf ihr eigenes Leben. Wir verfolgen keine Arbeitszeiten, aber wir managen hohe Erwartungen sehr eng. Wir arbeiten über Zeitzonen hinweg zusammen, sind stark asynchron und dokumentieren gerne viel.
Zweimal im Jahr bringen wir das gesamte Unternehmen an wunderschönen Orten auf der ganzen Welt zu unseren Offsites zusammen. Bisher haben wir Offsites in der Türkei, Portugal, Mexiko, Thailand, Kolumbien, Italien, Irland und mehr veranstaltet, und es kommen noch weitere hinzu!
Besuchen Sie unsere Karriereseite für weitere Informationen über die Arbeit bei Circle.
Über die Rolle
Das KI-Qualitätssicherungs-Team bei Circle ist verantwortlich für die Grundlage zur Messung, Diagnose und Verbesserung der Qualität der KI-gestützten Funktionen von Circle. Dieses Team konzentriert sich auf den Aufbau der Infrastruktur zur Messung, Diagnose und Verbesserung von Produktions-KI-Systemen, anstatt auf ML-Forschung oder Modelltraining.
Wir suchen einen Lead Engineer, der uns beim Aufbau der Evaluierungs-Frameworks, Observability-Tools und Diagnose-Infrastruktur unterstützt, die uns sagen, ob unsere KI-Agenten gut funktionieren, wo wir sie verbessern können und wie wir sie schneller und kosteneffizienter machen können.
Dies ist eine hands-on Player-Coach-Rolle. Sie werden auch das KI-Qualitätssicherungs-Team leiten und managen, mit einer ambitionierten und wachsenden Roadmap.
Wenn Sie begeistert davon sind, KI-Systeme zuverlässig, effizient und skalierbar zu machen, ist dies das Richtige für Sie.
Was Sie tun werden
- Erstellen und Verwalten unserer Evaluierungs-Infrastruktur. Entwerfen Sie die CI/CD-Pipelines, Scorer und Datensätze, die uns sagen, ob die KI-Agenten von Circle (Planer, Tool-Caller und Sub-Agenten) tatsächlich funktionieren, von einem einzelnen Tool-Aufruf bis hin zu einer vollständigen Multi-Turn-Konversation.
- Diagnostizieren Sie genau, wo die Qualität zusammenbricht. Verfolgen Sie Fehler über die Agenten-Pipeline hinweg, einschließlich Planerstellung vs. Ausführung, Tool-Auswahl, Tool-Trajektorie in komplexen Bereichen wie Workflows, Site Builder und Analysen. Wandeln Sie Ihre Erkenntnisse in Prototypen um, die das Problem lösen, oder identifizieren Sie Prioritäten, bei denen die KI-Kernentwicklung helfen kann.
- Erweitern Sie die Datensätze, die die Evaluierung ermöglichen. Richten Sie Annotations-Workflows ein und erstellen Sie KI-generierte und simulierte Konversationen, damit wir mehr vom Produkt abdecken können, schneller als mit manueller Kennzeichnung allein.
- Führen Sie strukturierte Experimente mit Prompts, Modellen und dem Agenten-Harness durch. Bewerten Sie neue und Open-Source-Modelle anhand unseres Produktions-Baselines, erstellen Sie das Framework, mit dem wir entscheiden, wann Modelle gewechselt werden, und jagen Sie Kosten- und Latenzgewinne durch Modellwechsel, Caching und Routing nach Plan-Komplexität.
- Leiten und entwickeln Sie das KI-Qualitätssicherungs-Team. Legen Sie die technische Richtung fest und managen Sie die täglichen Prioritäten, während Sie selbst hands-on am Code bleiben.
- Arbeiten Sie eng mit der KI-Kernentwicklung zusammen. Arbeiten Sie mit den Ingenieuren zusammen, die die KI-Produkte von Circle entwickeln, damit diese echtes Vertrauen haben, dass ihre Änderungen die Qualität tatsächlich verbessern und nicht nur ausgeliefert werden.
Was Sie für den Erfolg benötigen
- 7+ Jahre Erfahrung im Aufbau und Versand von Produktionssoftware, idealerweise einschließlich LLM-gestützter Agenten, die reale Aktionen in einem Produkt ausführen. Sie haben an komplexen, werkzeugnutzenden Systemen gearbeitet (mehrere Werkzeuge, Planung oder Orchestrierung, Sub-Agenten), nicht nur an einfachen Single-Turn-Assistenten, und Sie können uns durch etwas führen, das Sie ausgeliefert haben, und wie Sie wussten, dass es tatsächlich funktionierte.
- Komfortabel in Ruby on Rails / Python oder bereit, sie schnell zu erlernen. Ruby on Rails ist unser Produktionssystem und die Grundlage, auf der die KI-Agenten von Circle aufgebaut sind, und Kenntnisse in Python sind ein starkes Plus, insbesondere für die Daten- und Evaluierungsseite der Arbeit.
- Erfahrung im Aufbau von Evaluierungs- oder Observability-Infrastrukturen für ML/KI-Systeme. Sie haben bereits Eval-Pipelines, Scorer, Dashboards oder CI/CD für Evals erstellt und verfügen über Erfahrung mit Evaluierungs-Frameworks wie Braintrust, LangSmith oder ähnlichen.
- Erfahrung im Entwurf von Datensätzen, Annotations-Workflows oder Labeling-Pipelines für die ML/KI-Evaluierung. Sie wissen, wie man Rohbeispiele durch menschliche Annotation, KI-generierte Daten oder Simulation in einen vertrauenswürdigen Datensatz verwandelt.
- Schnell lernen, aggressiv experimentieren und in einer hochdynamischen Umgebung erfolgreich sein. Sie müssen sich wohl fühlen, viele Experimente durchzuführen und die Ergebnisse die Argumente entscheiden zu lassen, einschließlich derer, die nicht funktionieren (was am Anfang viele sein werden).
- Komfortabel in einem schnelllebigen Umfeld mit Ambiguität. Sie müssen neue Technologien lernen und anwenden, wenn Projekte dies erfordern.
- Starke Übereinstimmung mit unseren Unternehmenswerten.
- Sie beherrschen Englisch (gesprochen, geschrieben und gelesen) auf CEFR-Niveau C2 / ILR-Niveau 5.
Vergütung & Leistungen
Circle bietet global eine an US-Benchmarks angelehnte Vergütung, Unternehmensanteile mit laufenden Auffrischungszuschüssen und 35 Tage bezahlten Urlaub pro Jahr.
Wir sind ein reines Remote-Team, das sich zweimal im Jahr zu Firmen-Retreats an unglaublichen Orten auf der ganzen Welt trifft. Neben unglaublicher Flexibilität und Autonomie bieten wir ein Leistungspaket, das Gesundheit, Wohlbefinden und berufliches Wachstum unterstützt. Erfahren Sie mehr in unserem Candidate Hub.
Mehr erfahren
Hinweis zur Kandidatensicherheit & zum Interviewprozess
Vielfalt, Gleichberechtigung & Inklusion
Wie wir Kandidatendaten verwenden
Chancengleichheit im Beschäftigungsverhältnis
Besuchen Sie unseren Candidate Hub, um mehr über die Arbeit bei Circle, unsere Leistungen und unseren Einstellungsprozess zu erfahren.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen