Data Engineer

Le Data Engineer fait partie de la galaxie de ces nouveaux métiers qui ont vu le jour avec l’explosion de ce qu’on appelle la Data ou le Big Data. Par Data, entendez « données », et par Big Data, comprenez qu’il y a beaucoup de données à recueillir, à sécuriser et à analyser. 

Prenons un site internet e-commerce. En fonction de son trafic web et des ventes qu’il génère, il collecte plus ou moins de données. Variées, celles-ci s’organisent en flux. 

Le rôle du Data Engineer est de concevoir les tuyaux adéquats ou pipelines pour les capter. Il crée et paramètre la plateforme sécurisée destinée à les accueillir et à les stocker. Cette dernière doit être constamment mise à jour. Elle doit être capable de supporter le volume de données, d’extraire les données qui ont du sens de façon à ce qu’elles puissent être décortiquées par les autres rois de la data, comme le Data Scientist ou le Data Analyst qui interviennent en amont.

Le Data Engineer fait figure de pierre angulaire, car il est l’administrateur des données : il les identifie, les extrait et les rend accessibles pour l’analyse. Il doit donc assurer une veille technologique, documenter ses travaux et travailler en corrélation avec les équipes Product, Marketing ainsi qu’avec ses collègues de la Data Team : le Data Analyst et le Data Scientist. Généralement, la méthode de travail utilisée est la méthode Agile-Scrum. Il s’agit avant tout d’un état d’esprit qui promeut le fait de travailler en équipe dans l’optique de fournir des solutions opérationnelles à forte valeur ajoutée pour le client ou en interne. Ces dernières peuvent toujours être améliorées, les changements sont donc vécus comme des sources d’optimisation. Une méthode Agile spécifique est aussi utilisée : il s’agit de la méthode CRISP, qui comporte six étapes, de la note de cadrage à la mise en production. 

S’il travaille généralement au desk avec des horaires possibles en télétravail, le Data Engineer peut participer à des conférences nationales ou internationales organisées par des éditeurs de solutions et de logiciels.

Le Data Engineer dispose d’une parfaite connaissance des langages de bases de données ainsi que de leur conception et de leur gestion. Il maîtrise les langages de programmation, mais aussi les outils de requêtage et de stockage. Il doit également être capable de se familiariser très vite avec un environnement ou une technologie qu’il n’a pas étudié.

Ce contexte technique posé, est-il vraiment nécessaire de préciser que le Data Engineer dispose d’excellentes capacités de synthèse, qu’il est rigoureux et organisé et qu’il a le goût de l’innovation ? En effet, ce professionnel a un petit côté Shiva, la déesse aux bras multiples : il identifie les données, les capte, les héberge en toute sécurité, offre un espace fonctionnel au sein duquel elles seront exploitables et relie les différents langages et outils qui lui permettent de mener à bien l’ensemble de sa mission. 

Il a donc tout intérêt à aimer l’exploration et la méthode, comme il lui est recommandé de s’y connaître en matière de réglementations européenne et internationale concernant la protection et la sécurisation des données. 

Une parfaite maîtrise de l’anglais technique est souvent souhaitée. Des compétences en sciences statistiques et modélisation sont appréciées. 

Le Data Engineer doit maîtriser les langages de programmation dits structurés, comme Javascript, Scala ou Python, piliers en matière de développement. Ainsi, Python est utilisé par de grandes firmes comme Google ou Instagram. Javascript est une référence pour la conception de logiciels, de sites web, d’applications, ainsi que l’unification des développements front-end et back-end. 

Il dispose de connaissance en solutions de base de données SQL et NoSQL. Il maîtrise aussi les systèmes d’exploitation et les technologies qui permettent la manipulation d’un très grand nombre de données en temps réel, à l’instar des frameworks Hadoop, Spark, Kafka, Flink et Storm. Des notions en Business Intelligence et Machine Learning sont appréciées. Une parfaite connaissance en matière de services Cloud facilite aussi son intégration dans une entreprise.

Étant donné que ce métier est relativement récent, il n’y a pas de voie royale, mais de prestigieux sillons. L’un d’eux est la formation classique en école d’ingénieurs – Telecom Paris, Epitech, Ingésup, Polytech, IMT Mines – ou en école de commerce et de management – Essec, EM Grenoble – avec une spécialisation en analyse de données. 

Il est aussi possible de suivre un cursus en école informatique avec une spécialité Exploration des données et Décisionnel ou un master spécialisé soit dans la Data Science, soit dans l’Intelligence artificielle. Sachez enfin qu’il existe une certification de Data Engineer délivrée par Google et que de nouvelles écoles spécialisées voient le jour, à l’instar de l’École de la Data fondée en 2019.

Le Data Engineer débutant démarre avec un salaire de l’ordre de 45 K€/an. Lorsqu’il a acquis de l’expérience, la moyenne nationale fait état de 60 K€/an. Ce montant peut varier si le Data Engineer est un consultant indépendant ou en fonction du secteur d’activité. La taille des équipes affectées au développement, à la recherche et à l’innovation est aussi déterminante.

Les secteurs les plus en recherche de ce type de compétences sont la santé, les transports, l’énergie, la transition écologique, la finance, la distribution et le commerce. Dans ce cadre, le Data Engineer peut s’orienter vers des projets d’envergure variés. 

À terme, il peut devenir Data Scientist, Data Analyst ou directeur informatique. Il est aussi possible, après deux ou trois ans d’expérience, d’opter pour des missions de consultant.