Ingeniero Principal - Ingeniero de datos Databricks

México

Guadalajara, Sonora, Mexico

Traducción automática. Consulta el original.

Descripción de la empresa

Somos una empresa de ingeniería de productos digitales que está creciendo a gran escala. Creamos productos, servicios y experiencias que inspiran, entusiasman y deleitan. Trabajamos a gran escala, en todos los dispositivos y medios digitales, y nuestro equipo se encuentra en todo el mundo (más de 15000 expertos en 26 países, para ser exactos). Nuestra cultura de trabajo es dinámica y no jerárquica. Buscamos nuevos compañeros excelentes. ¡Ahí es donde entras tú!

Descripción del puesto

Descripción del puesto:

Auditar el estado actual del espacio de trabajo de Databricks, incluyendo entornos, clústeres, configuración de Unity Catalog, controles de acceso y configuración de costes.

Implementar y reforzar Unity Catalog, incluyendo la estructura de espacios de nombres, controles de acceso, políticas de clúster y separación de entornos.

Definir estándares de espacio de trabajo, convenciones de nomenclatura, flujos de trabajo de solicitud de acceso y procesos de incorporación de usuarios/equipos.

Establecer marcos de calidad de datos, incluyendo SLA, criterios de certificación y modelos de propiedad de datos.

Crear plantillas de automatización para operaciones rutinarias del espacio de trabajo, tales como la gestión del ciclo de vida de los clústeres, alertas de costes y supervisión de la utilización.

Configurar paneles de observabilidad que cubran la salud de la plataforma, costes, tasas de éxito de trabajos y KPI de SLA de calidad de datos, y supervisar el linaje de los activos de datos principales en todos los espacios de trabajo.

Crear manuales de procedimientos (runbooks) para tareas operativas recurrentes que puedan ser ejecutadas por un ingeniero de nivel medio/junior sin apoyo continuo del recurso senior.

Realizar sesiones de transferencia de conocimientos con el equipo de ingeniería de plataformas.

Proporcionar documentación final que cubra las decisiones de arquitectura, estándares operativos, elementos pendientes y recomendaciones para el perfil de contratación permanente.

Responsabilidades clave.

Evaluar y optimizar los entornos de Databricks, incluyendo espacios de trabajo, clústeres, catálogos, permisos y configuraciones de seguridad.

Definir e implementar estándares de gobernanza para garantizar operaciones de plataforma seguras, escalables y conformes a la normativa.

Liderar la adopción de Unity Catalog, diseñando estructuras de datos, modelos de acceso y estrategias de segregación de entornos.

Establecer políticas de RBAC, estándares de espacio de trabajo, convenciones de nomenclatura y procesos de acceso de usuarios.

Impulsar iniciativas de gobernanza de datos, incluyendo marcos de calidad de datos, modelos de propiedad, SLA, linaje y prácticas de administración de datos.

Desarrollar soluciones de automatización y marcos de Infraestructura como Código (IaC) para agilizar la administración de la plataforma y reducir el esfuerzo manual.

Implementar prácticas de optimización de costes, supervisión y excelencia operativa en los entornos de Databricks.

Diseñar paneles de observabilidad y rendimiento para realizar un seguimiento de la salud de la plataforma, la utilización, las tasas de éxito de los trabajos y los KPI de calidad de datos.

Crear documentación operativa, manuales de procedimientos y procedimientos de soporte para mejorar la fiabilidad de la plataforma y la preparación del equipo.

Colaborar con los equipos de seguridad, cumplimiento, infraestructura e ingeniería de datos para alinear las capacidades de la plataforma con las necesidades del negocio.

Proporcionar formación, mentoría y sesiones de transferencia de conocimientos para capacitar a los administradores de plataformas y a los equipos de ingeniería.

Recomendar mejoras de la plataforma y estrategias a largo plazo para mejorar la gobernanza, la escalabilidad y la madurez organizativa.

Cualificaciones

Habilidades obligatorias: Azure Data Factory, Databricks, Unity Catalog

Habilidades deseables: Implementación de plataformas de datos, administración de Google Workspace

Región de servicio: UCC

Idiomas

Ingeniero Principal - Ingeniero de datos Databricks

Descripción de la empresa

Descripción del puesto

Responsabilidades clave.

Cualificaciones

Tu próximo empleoya está buscándote.

Más oportunidades con un solo perfil

Sigue explorando

Ingeniero de Despliegue (Forward Deployed Engineer), Mid-Market - Ciudad de México 🇲🇽

Forward Deployed Engineer, Enterprise - Ciudad de México 🇲🇽

Ingeniero de Soporte Tecnológico