Vereinigte Staaten
HEARTLAND BUSINESS SYSTEMS LLC
Black Canyon Consulting
Content Pipeline Engineer
Vereinigte Staaten
Bethesda, Maryland, United States
PythonAWS
Automatische Übersetzung. Prüfe das Original.
Überblick
Wir suchen einen Content Pipeline Engineer für den Entwurf und die Implementierung wiederverwendbarer Pipelines zur Extraktion, Strukturierung, Indizierung und Abfrage von Informationen aus Genehmigungsunterlagen, Karten und anderen unstrukturierten Inhalten.
Der Content Pipeline Engineer entwickelt Funktionen zur Dokumentenverarbeitung, die OCR, Dokumenten-Parsing, multimodale Extraktion, Metadatenanreicherung, Vektorindizierung, semantische Suche und agentenbasierte Workflows umfassen. Die Rolle unterstützt Dokumente wie PDFs, gescannte Formulare, Bohrprotokolle, Lagepläne, Vermessungszeichnungen, Karten sowie rechtliche Beschreibungen und stellt deren Inhalte für nachgelagerte Anwendungen und KI-Dienste bereit.
Diese Position ist remote.
Wenn Sie gerne Teil einer leistungsstarken, professionellen und technologieorientierten Organisation sein möchten, bewerben Sie sich noch heute!
Aufgaben und Verantwortlichkeiten
- Entwurf und Implementierung wiederverwendbarer Ingestions- und Verarbeitungspipelines für PDFs, gescannte Dokumente, Bilder, Formulare, Karten und andere unstrukturierte Inhalte.
- Implementierung von OCR- und multimodalen Dokumentenverarbeitungs-Workflows sowohl für Standarddokumente als auch für kartenbezogene Materialien.
- Extraktion von Text, Tabellen, Metadaten, Identifikatoren und domänenspezifischen Attributen aus Quelldokumenten.
- Unterstützung bei der Extraktion von Informationen aus Lageplänen und Vermessungszeichnungen, einschließlich rechtlicher Beschreibungen, Beschriftungen, Peilungen, Entfernungen und anderer räumlich relevanter Informationen.
- Entwicklung von Prozessen für Dokumenten-Parsing, Klassifizierung, Normalisierung, Chunking und Metadatenanreicherung.
- Aufrechterhaltung der Verknüpfung und Herkunftsnachweise zwischen extrahierten Informationen, Quelldokumenten, Ursprungssystemen und zugehörigen Geschäftsunterlagen.
- Erstellung von Dokumenten- und Vektorindizes unter Verwendung von OpenSearch oder vergleichbaren Technologien.
- Implementierung von Embeddings, semantischer Suche und Abfrage-Pipelines.
- Entwicklung von APIs und wiederverwendbaren Schnittstellen, die es nachgelagerten Anwendungen und KI-Diensten ermöglichen, Dokumenteninhalte zu durchsuchen und abzurufen.
- Implementierung agentenbasierter Workflows für Aktivitäten wie Dokumentenklassifizierung, Auswahl der Extraktionsstrategie, Validierung, Ausnahmebehandlung und Qualitätssicherung.
- Festlegung von Konfidenzschwellenwerten und Prozessen für die manuelle Überprüfung bei unsicheren oder mehrdeutigen Extraktionen.
- Zusammenarbeit mit GIS-Ingenieuren, um Karten- und Dokumentenextraktionsergebnisse mit georeferenzierten und vektorisierten Geometrien zu verbinden.
- Zusammenarbeit mit Data Scientists zur Erstellung von Evaluierungsdatensätzen und zur Messung der Qualität von OCR, Extraktion, Abfrage und Klassifizierung.
- Aufbau von automatisierten Tests, Monitoring und Observability für Dokumentenverarbeitungspipelines.
- Optimierung der Verarbeitung hinsichtlich Genauigkeit, Durchsatz, Wiederholbarkeit und Kosten.
Bildungsvoraussetzungen
- Bachelor-Abschluss in Informatik, Softwaretechnik, Data Science, Wirtschaftsinformatik oder einem verwandten technischen Bereich.
Anforderungen
- 5+ Jahre Erfahrung in der Softwareentwicklung, Datentechnik, Suche, Dokumentenverarbeitung oder einem verwandten Bereich.
- Fundierte Erfahrung in der Entwicklung mit Python sowie Erfahrung im Aufbau von produktionsreifen Daten- oder Content-Verarbeitungspipelines.
- Praktische Erfahrung in der Verarbeitung von PDFs, Bildern, gescannten Dokumenten und halbstrukturierten Inhalten unter Verwendung von OCR- und Dokumentenextraktionstechnologien.
- Erfahrung mit Dokumentenspeichern, Suchmaschinen oder Vektordatenbanken, einschließlich Embeddings und semantischer Suche.
- Erfahrung mit Dokumenten-Parsing, Klassifizierung, Chunking, Metadatenanreicherung und der Wahrung der Herkunftsnachweise.
- Erfahrung mit LLM-gestützten oder agentenbasierten Workflows zur Dokumentenverarbeitung, einschließlich Extraktion, Validierung, Routing oder Ausnahmebehandlung.
- Erfahrung im Aufbau robuster Pipelines mit automatisierten Tests, Logging, Monitoring, Fehlerbehandlung und Qualitätskontrollen.
- Erfahrung in der Bewertung der OCR- und Extraktionsqualität anhand messbarer Kriterien und Konfidenzschwellenwerte.
- Starke Problemlösungsfähigkeiten für die Arbeit mit komplexen und inkonsistenten Dokumentenformaten.
Zusatzqualifikationen
- Erfahrung mit OpenSearch.
- Erfahrung mit AWS-Diensten für Dokumentenverarbeitung, KI oder machine-learning.
- Erfahrung mit agentenbasierten Frameworks wie LangChain, LangGraph oder ähnlichen Orchestrierungs-Frameworks.
- Erfahrung mit multimodalen Modellen, Vision-Language-Modellen oder LLM-basierter Dokumentenextraktion.
- Erfahrung im Aufbau von RAG- oder semantischen Unternehmenssuchlösungen.
- Erfahrung mit Karten, technischen Zeichnungen, Lageplänen, Vermessungsunterlagen oder rechtlichen Beschreibungen.
- Erfahrung bei der Extraktion von Peilungen, Entfernungen, Koordinaten oder anderen raumbezogenen Informationen aus Dokumenten.
- Erfahrung in der Arbeit im Bereich der US-Bundesregierung.
- Erfahrung mit Genehmigungs-, Umwelt-, Energie-, Landmanagement- oder Regulierungsdokumenten.
Leistungen und Gehalt
Wir gewinnen die besten Talente der Branche mit unserem wettbewerbsfähigen Leistungspaket, das Kranken-, Zahn- und Augenversicherung, einen 401k-Plan mit Arbeitgeberzuschuss, bezahlte Feiertage, Urlaub und die Erstattung von Studiengebühren umfasst.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen