Estados Unidos
Roku
3M Consultancy
Databricks Developer (Java y Apache Spark) con autorización IRS MBI requerida
RemotoEstados Unidos
United States
PythonJavaSQLKubernetes
Traducción automática. Consulta el original.
Título del puesto: Databricks Developer (Java y Apache Spark)
Este es un puesto remoto.
Ubicación: Remoto
Duración: Tiempo Completo
Requisitos mínimos
SE REQUIERE Autorización IRS MBI.
Lo que buscamos
- Autorización federal activa de antecedentes (un portátil proporcionado por el cliente es un plus)
- Título de Grado en Informática o un campo relacionado
- 8+ años de experiencia práctica en ingeniería de datos o desarrollo de big data
Habilidades Técnicas
Datos y Sistemas
- Experiencia trabajando con sistemas de datos empresariales o gubernamentales a gran escala
- Buen entendimiento de estructuras de datos, seguridad y cumplimiento
Java
- Sólida experiencia con Java 8 o versiones más recientes
- Comodidad con Streams, Lambdas y diseño orientado a objetos
Apache Spark
- Experiencia práctica con Spark Core, Spark SQL y DataFrames
- Comprensión de RDDs y cuándo usarlos
- Experiencia con procesamiento por lotes y streaming
- Sólidas habilidades en la optimización del rendimiento de Spark
- Capacidad para depurar trabajos utilizando la interfaz de usuario y los registros de Spark
Herramientas de Big Data
- Experiencia con herramientas como HDFS, Hive o HBase
- Familiaridad con Kafka, S3 o data lakes basados en la nube
- Experiencia con formatos Parquet, Avro u ORC
ETL y Procesamiento de Datos
- Experiencia en la construcción de pipelines ETL por lotes y en tiempo real
- Experto en limpieza, transformación y enriquecimiento de datos
DevOps y Despliegue
- Experiencia ejecutando Spark en YARN, Kubernetes o plataformas en la nube
- Familiaridad con herramientas de CI/CD como Jenkins o GitHub Actions
- Experiencia con herramientas de monitorización y registros de producción
Pruebas y Calidad del Código
- Pruebas unitarias utilizando JUnit o TestNG
- Experiencia con Mockito o herramientas similares
- Comodidad validando datos y probando trabajos de Spark
Formas de tener éxito
- Estás acostumbrado a trabajar en equipos Agile
- Documentas tu trabajo claramente
- Mantienes la calma y te concentras al solucionar problemas de producción
Buscamos un desarrollador Databricks que pueda diseñar, construir y dar soporte a soluciones de procesamiento de datos a gran escala. Este rol se centra en trabajar con datos complejos y de gran volumen en un entorno seguro. Deberías sentirte cómodo escribiendo código Java limpio, creando trabajos Spark y mejorando el rendimiento en sistemas distribuidos.
Trabajarás en estrecha colaboración con ingenieros, analistas y equipos de negocio para entregar pipelines de datos fiables que escalen bien y cumplan con los requisitos de seguridad y cumplimiento.
Qué harás
- Construir y mantener pipelines de datos utilizando Apache Spark en Databricks
- Escribir código Java limpio y eficiente (Java 8 o superior) siguiendo las mejores prácticas de codificación
- Trabajar con grandes conjuntos de datos estructurados y semiestructurados
- Ajustar trabajos de Spark para mejorar el rendimiento, la estabilidad y el coste
- Colaborar con otros equipos para comprender los requisitos y entregar soluciones
- Asegurarse de que el manejo de datos sigue los estándares de seguridad y gobernanza
- Investigar y solucionar problemas en entornos de producción
A tener en cuenta
- Experiencia con Scala o Python en Spark
- Experiencia práctica con Databricks o Google Dataproc
- Conocimiento de Delta Lake o Apache Iceberg
- Experiencia en modelado de datos y diseño de rendimiento
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil