Esri
Veritus
Voice AI QA Analyst
Über die Stelle
Voice AI QA Analyst
Veritus Agent entwickelt KI-Agenten für die Kundenkommunikation im gesamten Lebenszyklus der Konsumentenkreditvergabe: Origination, Servicing und Collections. Jeder Agent, den wir liefern, wird anhand echter Gespräche getestet, bevor er einen Kunden erreicht, und jeder Live-Agent wird kontinuierlich auf Qualität und Leistung überwacht.
Diese Rolle befindet sich an der Schnittstelle von Testing, QA und Performance-Analyse. Sie helfen sicherzustellen, dass unsere Agenten startklar sind, überwachen ihre Leistung in der Produktion und nutzen sowohl Einzelgesprächsbewertungen als auch aggregierte Gesprächsdaten, um Möglichkeiten zur Leistungssteigerung für unsere Kunden zu identifizieren.
Aufgaben
- Durchführung strukturierter UAT für KI-Sprachagenten vor der Kundenfreigabe: Testanrufe tätigen und empfangen, Randfälle und Fehlermodi untersuchen und Fehler mit klaren, reproduzierbaren Schritten dokumentieren
- Testen von geskripteten und adversariellen Szenarien (Identitätsprüfung, Zahlungsverhandlung, Eskalations-/Übergabe-Trigger), um zu bestätigen, dass der Agent vor dem Go-Live wie erwartet funktioniert
- Überwachung der laufenden Leistung von Live-Agenten über verschiedene Kundeneinsätze hinweg, sowohl durch QA auf Anrufebene als auch durch aggregierte Leistungsmetriken
- Anhören und Bewerten von Live-Agentenanrufen anhand der QA-Scorecard von Veritus, Bewertung von Genauigkeit, Compliance und Tonfall
- Analyse von Anrufdaten zur Identifizierung von Trends, wiederkehrenden Fehlermodi, Ausreißern und Verbesserungsmöglichkeiten für die Agentenleistung
- Verfolgung von Leistungskennzahlen im Zeitverlauf und Untersuchung von Änderungen oder Anomalien im Agentenverhalten
- Zusammenarbeit mit Customer Success zur Erstellung von vierteljährlichen Kundenleistungsberichten, die quantitative Analysen mit Erkenntnissen aus Gesprächsbewertungen kombinieren
- Hilfe bei der Übersetzung von Gesprächs- und Leistungsdaten in klare, umsetzbare Empfehlungen für Kunden und interne Teams
- Kennzeichnung systemischer Probleme – einschließlich wiederkehrender Fehlermuster, Scorecard-Drift und aufkommender Randfälle – für Customer Success und Engineering-Teams
- Pflege klarer, konsistenter Dokumentation von Testergebnissen, Anrufnoten, Analysen und Erkenntnissen in unseren Tracking-Tools
Mindestanforderungen
- 2–4 Jahre Erfahrung in QA, Qualitätsanalyse, Operations Analyst oder ähnlichen Bereichen, idealerweise in einem Callcenter für Konsumentenkredite oder einer sprachbasierten Umgebung
- Vertrautheit mit US-amerikanischen Gesetzen und Vorschriften für Konsumentenkredite wie FDCPA, TCPA, ECOA und SCRA
- Hohe Detailgenauigkeit und Komfort beim Befolgen strukturierter Testpläne und Scorecards
- Komfort bei der Arbeit mit quantitativen Daten und grundlegenden Statistiken zur Identifizierung von Trends und zur Bewertung der Leistung
- Erfahrung mit Tabellenkalkulationen oder Datenanalysetools zur Analyse von Betriebs- oder Kundeninteraktionsdaten
- Fähigkeit, quantitative und qualitative Ergebnisse in klare Schlussfolgerungen und Empfehlungen umzuwandeln
- Klares schriftliches Englisch für Fehlerberichte, Anrufnotizen und kundenorientierte Leistungszusammenfassungen
- Komfort bei der Erteilung und Entgegennahme detaillierter Rückmeldungen zu Qualitätsproblemen
Bildungsanforderungen
BS bevorzugt; gleichwertige Berufserfahrung in QA, Operations oder Analytics ist ausreichend
Wünschenswert (aber nicht zwingend erforderlich)
- Erfahrung im Testen von KI-/Voicebot- oder IVR-Systemen
- Vorerfahrung mit UAT oder Pre-Release-Tests für ein Softwareprodukt
- Erfahrung in der Analyse von Contact-Center- oder Anruf-Leistungsdaten
- Erfahrung in der Erstellung von kundenorientierten Leistungsberichten oder der engen Zusammenarbeit mit Customer Success Teams
- Vertrautheit mit SQL, BI-Tools oder anderen Datenanalysetools
