Big Data Engineer

Necesitamos incorporar personas con ganas de desarrollar su profesión en torno a las tecnologías y paradigmas más punteros e innovativos alrededor de la ingeniería y analítica de datos en una compañía global líder en servicios profesionales de Business Analytics y Data-Driven Solutions, que trabaja con más de 500 clientes en el mundo en una amplia gama de servicios y soluciones. Esta propuesta se enfoca en la práctica de Data Technologies y en el ámbito de lo que tradicionalmente se llamaba Big Data y ahora se engloba en algo más grande, Extreme Data, donde la principal actividad es coleccionar, gobernar y procesar datos para disponerlos para su consumo con las estrategias, metodologías y tecnologías más avanzadas. Se convivirá además con otras áreas de trabajo, teniendo la oportunidad de co-trabajar con ingenieros del ámbito de Modern Data Management, de sistemas de IA y Machine Learning además de Arquitectura Cloud, xOps y otras tecnologías emergentes. 

Quiénes somos:

SDG Group es una firma de consultoría global focalizada exclusivamente en proyectos de Data & Analytics, en cualquier punto de su cadena de valor. Somos una compañía líder en el mercado español, con la mayor plantilla de profesionales dedicados al mundo del dato, y una presencia relevante en países como Estados Unidos, Reino Unido o Italia, entre otros. SDG ha mantenido una trayectoria ascendente a lo largo de sus más de 25 años de historia, con un ritmo de crecimiento notable y sostenido durante los últimos años, y un plan estratégico ambicioso fundado nuestra capacidad de crecimiento sostenible.

La posición abierta es para la incorporación a la Práctica de Data Technologies: departamento de SDG integrado por equipos de especialistas, que promueve la excelencia técnica en la compañía. Se trata de una práctica transversal que da servicio al resto de prácticas y equipos que conforman SDG, y participa en iniciativas y proyectos de relevancia estratégica. Data Technologies se segmenta en diferentes áreas de conocimiento: Innovation, Advisory & Solutioning, Data Management, Extreme Data, AI Engineering y Cloud Architecture, xOps & Emerging Tools. En concreto, el área de la posición a cubrir es Extreme Data.

La actividad del área de Extreme Data abarca un abanico muy amplio de diciplinas dentro de la ingeniería de datos: fundación de Data Lakes, Lake House y Data Clouds, construcción de plataformas de Enterprise Searching e ingeniería alrededor de casos de uso Near Real Time mediante plataformas y soluciones de Event Streming Processing. En todas ellas principalmentese desarrollan etapas de ingesta, procesamiento, limpieza, gobierno, gestión del ciclo de vida de datos, etc  siguiendo las best-practice de las últimas tendencias basadas en conceptos como Data Fabric driven by Metadata y Data Ops.

Qué nos hace diferentes: 

Modelo de trabajo Smart Work con una combinación de remoto y tiempo en oficina en localizaciones donde haya oficina y 100% remoto en el resto.

Desarrollo de una carrera como Extreme Data Architect en una compañía de corte internacional tanto desde la perspectiva más tecnológica como de la más metodológica.

Ser parte de una cultura colaborativa dinámica donde de forma apasionada convergen el conocimiento en diferentes industrias, el buen management y la tecnología.

Trabajo rodeado de un equipo de práctica con grandes especialistas y referentes profesionales que impulsan y motivan el desarrollo y la realización profesional.

Contacto y apoyo constante por parte de la dirección y de los diferentes leads

Pensando siempre en el next-step de Data & Analytics colaborando con el departamento de Innovación.

Horario laboral flexible y facilidad para la conciliación laboral familiar

Retribución flexible de salario anual con el objetivo de obtención de ventaja fiscal mediante Tickets Restaurant

Opción de seguro médico para ti y tu familia, además de otros beneficios sociales.

Un plan de Educación que atiende a todos los momentos de la carrera laboral.

Posición con amplias posibilidades de crecimiento mediante un plan de carrera fuertemente tecnológico y especializado además de cuidadosamente diseñado y en constante evolución para ayudarte a conseguir tus metas profesionales:

Retrospectivas y revisiones cada 6 meses

Valoraciones estrictamente meritocráticas y en base a las 6 dimensiones de crecimiento profesional que establece SDG para cada categoría profesional (Práctica, Operaciones, Equipo, Cliente, Negocio e Influencia).

Make your own SDG: consensua tus objetivos con tus managers y adapta tu plan de carrera a tus aspiraciones de crecimiento de acuerdo con tu contexto personal en cada momento.

Grandes clientes de todos los sectores:

Ecosistemas tecnológicos variados y de gran envergadura.

Importantes iniciativas de transformación en la mayoría de proyectos.

Trabajo en colaboración con otras áreas de Data Technologies y otras prácticas y equipos de SDG: Innovation, Advisory & Solutioning, AI Engineering, Extreme Data, Cloud Architecture, xOps & Emerging Tools, Advanced Analytics y Software Factor

Proyectos liderados y gestionados por SDG en su mayoría: el outsourcing no es la base del negocio de SDG.

Tu día a día con nosotros:

Definir y diseñar plataformas de data moderno en nube pública o en nube privada, con la estrategia correcta: Data Lake, Lake House, Data Cloud, Data Warehouse Augmenting, Data AnalyticsLake, etc. Teniendo en cuenta todo el ciclo de vida de datos bajo una estrategia dirigida por metadatos y fundametanda en DataOps

Desplegar, integrar y configurar todos aquellos componentes para la disponibilización de dichas plataformas de datos, entendiendo en profundidad su uso y aplicación en el contexto real de analítica descriptiva y predictiva, y garantizando las características requeridas por en función de todo ello, aplicándose para ello técnicas de DataOps junto con equipos de cloud engineers.

Desarrollar soluciones de Big Data, Event Streaming o Enterprise Searching end-to-end como parte de equipos multidisciplinares, colaborando en la definición de la solución y llevando a cabo la implementación de todos los procesos involucrados en la construcción y aplicación

Conocer, gestionar y utilizar las diferentes herramientas y plataformas disponibles en las distintas nubes para el desarrollo de soluciones de Extreme Data: Azure Data Factory, Azure Functions y DataBricks, GCP Dataflow, GCP Dataproc y GCP BigQuery, Confluent, Apache Kafka, Kafka Streams, Schema Registry, kSQL, Elastic Search, SolR, Open Search, AWS EMR, AWS Glue, AWS Redshift  y otros servicios del ecosistema de extreme-data de las diferentes nubes que pivoten principalmente entre Apache Spark y Apache Kafka.

Aplicar nuevas prácticas y tecnológicas emergentes del desarrollo del software más tradicional o del mundo SaaS o K8s native, a la dimensión de extreme data: Python, Docker, Airflow, Apache Beam. Great Expectations, DBT Cloud, FiveTran, HVR, Argo, etc.

Participar en la elección de nuevas plataformas de datos, nuevas estrategias de desarrollos, nuevas metodologías, nuevos partnership con los Lead de la compañía y el departamento de innovación.

Participar junto en el departamento de impulso y los diferentes equipos de cliente y expertos en industria en el desarrollo de propuestas comerciales desde el papel de desarrollo de negocio definiendo la solución, la arquitectura funcional lógica y física y la estimación de esfuerzos y costes de operación.

Co-trabajar con el departamento de innovación en la labor de perfeccionar y aumentar el portfolio mediante el desarrollo de artefactos de ingeniería aplicables al ecosistema de data y analytics.

¿Qué te llevará a conseguir esta posición?

Formación:

Ingeniería Informática, Ingeniería de Telecomunicación u otra salida academia que te haya dotado de capacidad de desarrollo y pensamiento crítico en este ambiente.

Se valora de forma muy positiva tener formación a través de un Master u otras alternativas que aumenten tus skills, por ejemplo, un Máster en Big Data y Analytics

Experiencia:

A partir de 5 años trabajando en equipo para disponer soluciones productivas de ingeniería de datos extremas en contextos empresariales e industriales.

A partir de 4 años desarrollando la actividad de (Big) Data Engineer en el ámbito técnico que se propone posteriormente o en ambientes técnicos semejantes que te hayan proporcionado de las mismas habilidades de ingeniería y pensamiento crítico y constructivo.

A partir de 2 años trabajando en el modelado de Datos, Eventos y diseño de Capas en ambientes Data Lake, Lake House, Data Cloud, Kafka Topics & Partitioning, Schema Registry, etc.

A partir de 1 años cuidando la calidad de datos aplicando las mejores técnicas, productos, frameworks y estrategias para ello.

A partir de 1 años realizando la labor de desarrollo de negocio desde la perspectiva de diseño de soluciones de analítica y estimación de esfuerzos.

Se valoran certificaciones profesionales en Cloud y/o productos del ecosistema de data & analytics.

Conocimientos teórico-prácticos:

Conocimiento de arquitectura y ciclo de vida de los datos en ambientes de Data Lake, Lake House, Data Cloud, Event Streaming y Enterprise Search Data Platforms

Conocimiento de las diferentes estrategias de mover datos hacia o desde un repositorio de datos central, esto es Data Collection y Data Delivery y las diferentes técnicas asociadas a cada una de ellas: Change Data Capture, Ingesta de ficheros (Parquet, Avro, Text-File, etc.) en modo batch o microbatch, tratamiento de eventos y sus esquemas, Ingesta desde APIs, Data Sharing, etc.

Conocimiento de diferentes formas de confeccionar Data Platforms, ya sea Cloud Native o no.

Conocimientos técnicos:

Lenguajes,

Dominio alto de SQL, además se valorará otras variantes y experiencias como puede ser PL/SQL

Dominio alto de Python, Java y Scala (al menos uno de estos lenguajes)

Dominio medio de Bash u otro paradigma de scripting en Unix

Conocimiento de un porcentaje medio de herramientas y frameworks específicas ligadas a Extreme Data, algunas que consideramos interesantes: Apache Spark, Apache Flink, Apache Kafka dbt Cloud / CLI, Azure Data Factory, Fivetran, Debezium, Apache Hop, Apache Nifi, Apache Beam, Otras herramientas de integración de datos y orquestación

Conocimiento de herramientas de orquestación y ejecución de procesos: Apache Airflow, Kedro, Argo, Prefect…

Conocimiento de al menos una plataforma de datos con profundidad: DataBricks, AWS EMR, AWS Glue, Confluent, Elastic Search, GCP Dataflow & Dataproc, etc.

Conocimiento y experiencia en el uso de sistemas de control de versiones (SCM), esencialmente Git.

Conocimiento de herramientas de automatización bajo un paradigma DataOps: Azure DevOps, Jenkins, AWS CodePipeline, Bitbucket Pipelines, GitHub Actions…

Conocimiento básico con respecto a tecnologías y herramientas de contenerización, esencialmente Docker y Kubernetes.

Experiencia en la utilización de al menos dos de las tres grandes nubes (AWS, Microsoft Azure o Google Cloud Platform), especialmente en lo relativo a los servicios orientados a procesamiento y disposición de datos

Soft skills y otras:

Fuertes habilidades de comunicación y organización con la capacidad de lidiar con la ambigüedad mientras se hacen malabares con múltiples prioridades.

Ganas de innovar y perseguir la excelencia profesional desde la perspectiva de la técnica.

Inquietud por la evolución y el desarrollo profesional constante.

Capacidad de desenvolverse inglés en el entorno profesional