Ingeniero/a de fiabilidad de inferencia de IA (Senior/Junior), Infraestructura de computación

Buscamos un ingeniero de software, con mentalidad de fiabilidad pero que siga siendo un constructor, para hacerse cargo de lo que sucede en producción en el plano de control nativo de Kubernetes que aprovisiona y ejecuta nuestra flota de inferencia de GPU. El equipo de plataforma construye la API basada en manifiestos y los controladores que permiten al equipo de inferencia declarar lo que necesitan (un clúster, un despliegue de modelo, un cambio de capacidad) y conseguir que se reconcilie por debajo. Tu trabajo consiste en mantener esa promesa vigente en el mundo real: clasificar problemas de InfiniBand cuando los nodos de prefill y decode se bloquean al intercambiar KV cache a través de RDMA, diagnosticar fallos en modelos hero y de servicio de LoRA que no aparecen en las comprobaciones de salud genéricas, y ampliar el sistema de autocuración automatizado para que cada nuevo modo de fallo se convierta en una solución permanente en lugar de una incidencia recurrente.

El valor fundamental que buscamos es mantener el desacoplamiento real incluso cuando las cosas se rompen, y mantener la flota eficiente sin que esa eficiencia se convierta en una nueva fuente de inestabilidad. Serás responsable de los SLO y los presupuestos de error para el servicio de inferencia, liderarás la respuesta ante incidentes y convertirás lo que aprendas en los postmortems en cambios reales en los controladores y la automatización, no solo en manuales de procedimientos actualizados. También trabajarás en el aspecto de fiabilidad de la eficiencia de capacidad, ya que una desfragmentación o un paso de bin-packing mal ajustados son en sí mismos un riesgo para la producción. Los candidatos sólidos tienen experiencia práctica en fiabilidad de producción en sistemas distribuidos o de servicio de GPU a gran escala, se sienten cómodos solucionando problemas de InfiniBand/RDMA y plataformas basadas en controladores/CRD de Kubernetes, y consideran la infraestructura de GPU, y las herramientas que la mantienen fiable, como software que debe ser diseñado.

Se aplica una mentalidad de producto: la experiencia de guardia, la claridad de una alerta y el criterio integrado en una remediación automatizada son cosas que entregas e iteran.

Ofrecemos una compensación competitiva, capital de startup, seguro médico y otros beneficios competitivos. El rango salarial base en EE. UU. para este puesto a tiempo completo es: $160,000 - $280,000 + capital + beneficios. Nuestros rangos salariales se determinan según la ubicación, el nivel y el puesto. La compensación individual se determinará según la experiencia, las habilidades y los conocimientos relacionados con el trabajo.

Together AI es un empleador que ofrece igualdad de oportunidades y se enorgullece de ofrecer igualdad de oportunidades de empleo a todos, independientemente de la raza, color, ascendencia, religión, sexo, origen nacional, orientación sexual, edad, ciudadanía, estado civil, discapacidad, identidad de género, condición de veterano y más.

Por favor, consulta nuestra política de privacidad en together.ai/privacy.