Estados Unidos
HEARTLAND BUSINESS SYSTEMS LLC
Black Canyon Consulting
Engenheiro de Pipeline de Conteúdo
Estados Unidos
Bethesda, Maryland, United States
PythonAWS
Tradução automática. Consulte o original.
Visão Geral
Estamos em busca de um Engenheiro de Pipeline de Conteúdo para projetar e implementar pipelines reutilizáveis para extrair, estruturar, indexar e recuperar informações de documentos de licenciamento, mapas e outros conteúdos não estruturados.
O Engenheiro de Pipeline de Conteúdo desenvolverá capacidades de processamento de documentos que abrangem OCR, análise de documentos, extração multimodal, enriquecimento de metadados, indexação vetorial, recuperação semântica e fluxos de trabalho baseados em agentes. A função dará suporte a documentos como PDFs, formulários digitalizados, arquivos de poços, plantas, desenhos de levantamento, mapas e descrições legais, disponibilizando seu conteúdo para aplicações downstream e serviços de IA.
Esta posição é remota.
Se você gosta de fazer parte de uma organização de alto desempenho, focada em serviços profissionais e tecnologia, inscreva-se hoje mesmo!
Deveres e Responsabilidades
- Projetar e implementar pipelines reutilizáveis de ingestão e processamento para PDFs, documentos digitalizados, imagens, formulários, mapas e outros conteúdos não estruturados.
- Implementar fluxos de trabalho de OCR e processamento de documentos multimodal para documentos padrão e materiais relacionados a mapas.
- Extrair texto, tabelas, metadados, identificadores e atributos específicos do domínio a partir de documentos de origem.
- Dar suporte à extração de informações de plantas e desenhos de levantamento, incluindo descrições legais, rótulos, azimutes, distâncias e outras informações espacialmente relevantes.
- Desenvolver processos de análise, classificação, normalização, fragmentação (chunking) e enriquecimento de metadados de documentos.
- Manter a vinculação e a procedência entre as informações extraídas, os documentos de origem, os sistemas de origem e os registros comerciais relacionados.
- Construir índices de documentos e vetoriais usando OpenSearch ou tecnologias comparáveis.
- Implementar embeddings, busca semântica e pipelines de recuperação.
- Desenvolver APIs e interfaces reutilizáveis que permitam que aplicações downstream e serviços de IA pesquisem e recuperem o conteúdo dos documentos.
- Implementar fluxos de trabalho baseados em agentes para atividades como classificação de documentos, seleção de estratégia de extração, validação, tratamento de exceções e garantia de qualidade.
- Estabelecer limites de confiança e processos de revisão humana para extrações incertas ou ambíguas.
- Trabalhar com engenheiros de GIS para conectar os resultados da extração de mapas e documentos com geometrias georreferenciadas e vetorizadas.
- Trabalhar com Cientistas de Dados para criar conjuntos de dados de avaliação e medir a qualidade de OCR, extração, recuperação e classificação.
- Construir testes automatizados, monitoramento e observabilidade para pipelines de processamento de documentos.
- Otimizar o processamento para precisão, rendimento, repetibilidade e custo.
Requisitos Educacionais
- Bacharelado em Ciência da Computação, Engenharia de Software, Ciência de Dados, Sistemas de Informação ou área técnica relacionada.
Requisitos
- 5+ anos de experiência em engenharia de software, engenharia de dados, busca, processamento de documentos ou área relacionada.
- Sólida experiência em desenvolvimento com Python e experiência na construção de pipelines de processamento de dados ou conteúdo em nível de produção.
- Experiência prática no processamento de PDFs, imagens, documentos digitalizados e conteúdo semiestruturado usando tecnologias de OCR e extração de documentos.
- Experiência com armazenamentos de documentos, mecanismos de busca ou bancos de dados vetoriais, incluindo embeddings e recuperação semântica.
- Experiência com análise, classificação, fragmentação, enriquecimento de metadados e preservação da procedência da fonte de documentos.
- Experiência com fluxos de trabalho de processamento de documentos baseados em LLM ou agentes, incluindo extração, validação, roteamento ou tratamento de exceções.
- Experiência na construção de pipelines robustos com testes automatizados, registro (logging), monitoramento, tratamento de erros e controles de qualidade.
- Experiência na avaliação da qualidade de OCR e extração usando critérios mensuráveis e limites de confiança.
- Fortes habilidades de resolução de problemas para trabalhar com formatos de documentos complexos e inconsistentes.
Habilidades Bônus
- Experiência com OpenSearch.
- Experiência com processamento de documentos, IA ou serviços de machine-learning na AWS.
- Experiência com frameworks de agentes como LangChain, LangGraph ou frameworks de orquestração similares.
- Experiência com modelos multimodais, modelos de visão-linguagem ou extração de documentos baseada em LLM.
- Experiência na construção de soluções de RAG ou busca semântica corporativa.
- Experiência com mapas, desenhos de engenharia, plantas, documentos de levantamento ou descrições legais.
- Experiência na extração de azimutes, distâncias, coordenadas ou outras informações geoespaciais de documentos.
- Experiência de trabalho no setor do Governo Federal dos EUA.
- Experiência com documentos de licenciamento, ambientais, de energia, gestão de terras ou regulatórios.
Benefícios e Salário
Atraímos os melhores profissionais do mercado com nosso pacote de benefícios competitivo, que inclui cobertura médica, odontológica e oftalmológica, plano 401k com contribuição do empregador, feriados pagos, férias e reembolso de mensalidades escolares.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil