Como parte del equipo de Ingenieros de Datos, serás responsable del diseño, desarrollo y operaciones de sistemas de datos a gran escala que operan a escala de petabytes. Te centrarás en la gestión de datos en tiempo real, el análisis de streaming, el big data distribuido y la infraestructura de aprendizaje automático. Interactuarás con ingenieros, gerentes de producto, desarrolladores de inteligencia empresarial y arquitectos para ofrecer soluciones técnicas robustas y escalables. Requisitos: Mínimo de 6 a 8 años de experiencia en desarrollo de big data. Se requiere experiencia actualizada en ingeniería de datos y desarrollo de pipelines de datos complejos. Experiencia en modelos ágiles. Diseñar, desarrollar, implementar y optimizar sistemas y pipelines distribuidos a gran escala que procesan grandes volúmenes de datos, priorizando la escalabilidad, la baja latencia y la tolerancia a fallos en cada sistema. Experiencia con Java y Python para la creación de pipelines de datos y capas de procesamiento. Experiencia en Airflow y Github. Inglés conversacional. Experiencia en la creación de trabajos de map-reduce. Se requiere experiencia en la creación de consultas complejas y altamente optimizadas en grandes conjuntos de datos. Experiencia demostrada con tecnologías de big data como Hadoop, Hive, Kafka, Presto, Spark y HBase. Alto nivel de SQL. Experiencia con GCP Se valorará la experiencia con modelos relacionales y almacenes de datos en memoria (Oracle, Cassandra, Druid) Proporciona y da soporte a la implementación y operación de canalizaciones de datos y soluciones analíticas. Experiencia en optimización del rendimiento de sistemas que trabajan con grandes conjuntos de datos. Experiencia en servicios de datos de API REST: Consumo de datos. Se valorará la experiencia en comercio minorista. #J-18808-Ljbffr
Data Engineer
AXITY
estado de méxico, estado de méxico
Publicado hace 7 días
Denunciar empleo