Le Big Data a changé la face du monde

DATAROCKSTARS
7 min readJun 28, 2021

Saviez-vous que chaque seconde, 29000 GO d’informations sont publiés dans le monde, soit 2.5 exaoctets par jour ? Avec ces données, les entreprises ont accès à un large éventail d’informations sur leurs utilisateurs, leur marché et bien plus encore. L’utilisation de ces données permet d’améliorer constamment leurs produits et services.

Source Unsplash

Les entreprises ont en effet bien compris les opportunités offertes par l’exploitation de ce big data. L’envol du métier de Data Engineer et Data Scientist nous le montre bien.

En 2011, le Harvard Business Review a même élu le job de Data Scientist comme étant le job le plus « sexy » du 21ème siècle, pour souligner le succès de cette profession !

Cependant, ce domaine d’activité n’est pas encore tout à fait mûr, et la notion des métiers data reste parfois assez floue. Pour beaucoup, c’est un ensemble de « choses » techniques et floues, qui pourraient potentiellement aider leur produit ou service.

Les incompréhensions autour de ces métiers peuvent provoquer une mauvaise utilisation des ressources offertes par la data. Commençons par les fondamentaux de ces professions et décryptons la valeur de chacune d’elles.

Quelles sont les différences entre un Data Engineer et un Data Scientist ?

Quand une entreprise produit un service ou un bien, elle a besoin d’informations exploitables pour comprendre leurs marchés, obtenir des informations sur les concurrents, créer un produit, comprendre les clients, et plein d’autres données.

Mais avant que le grand public commence à collecter de la donnée pour nourrir ce qu’on appelle aujourd’hui le « big data », les entreprises n’ont pas le choix de devoir :

- Faire leurs propres analyses

- Utiliser leurs intuitions pour prendre des décisions

Pour résumer, il leur fallait de l’expérience (ou de la chance) pour matcher avec les attentes du marché.

Les technologies modernes sont la 4ème révolution et le big data a offert une quantité astronomique de nouvelles possibilités pour créer de meilleures entreprises.

Mais tirer profit du Big Data nécessite des process, de l’organisation, des outils et le plus important : des personnes capables de les gérer.

En fonction de ce que vous voulez faire, les Data Engineers et Data Scientists seront des éléments cruciaux pour la réalisation de certaines missions du processus.

La pyramide des besoins en Data Science

La pyramide des besoins en Data Science représente bien la complexité du processus de la gestion des données.

Les Data Engineers collectent les données exploitables. Ils déplacent et transforment ces données dans des « pipelines » pour l’équipe chargée de la Data Science. Ils utilisent majoritairement des langages de programmation comme Java, Scala, C++ ou Python, en fonction de leurs missions.

Les Data Scientists analysent, testent, granulent, optimisent les données et font des reportings pour l’entreprise.

Quelques entreprises avec des processus avancés, complètent leurs équipes avec des AI Engineers, Machine Learning Engineers ou des Deep Learning Engineers.

Il est devenu tout à fait compréhensible que toutes ces tâches doivent être divisées et confiées à des professionnels spécifiques de la data.

Data Engineer, la partie techniques des données (Conception — Construction — Modification)

Les Data Engineers sont spécialisés dans 3 domaines principaux : concevoir, construire et organiser les « pipelines » de données. Ce sont en quelque sorte des architectes de la données. Les Data Engineers ont souvent des compétences de fond en ingénierie informatique ou en création de systèmes.

Parcours des données brutes à travers la pipeline de données. Source : Colleen Farrely, Data Scientist et Topologiste

“Les pipelines de données sont des séquences d’étapes de traitement et d’analyse appliquées aux données dans un but précis. Ils sont utiles dans les projets de production, mais aussi si l’on s’attend à rencontrer le même type de question commerciale à l’avenir, afin d’économiser du temps de conception et de codage. Par exemple, on peut supprimer les données aberrantes, appliquer des techniques de réduction de la dimensionnalité, puis faire passer le résultat par un classificateur de forêt aléatoire pour fournir une classification automatique sur un ensemble de données particulier qui est extrait chaque semaine.”

Quelles sont les missions d’un Data Engineer ?

- Concevoir les infrastructures big data et les rendre analysables

- Construire des requêtes complexes pour créer des pipelines

- Résoudre les problèmes dans les systèmes de programmation

Quelles sont les compétences attendues d’un Data Engineer ?

- Esprit logique

- Savoir quelles données extraire

- Compétences de management et organisationnelles

- Travailler en transversalité avec les autres équipes

Data Scientist : Analyser — Tester — Créer — Présenter

Le Data Scientist a normalement 4 tâches principales quand il travaille en entreprise. Il analyse, teste, crée et présente les résultats à l’équipe.

Les Data Scientist ont un bagage scientifique (mathématiques et statistiques). Ils doivent aussi être confortables avec la création de modèles de machine learning et d’intelligence artificielle.

Quelles sont les missions d’un Data Scientist ?

- Travailler sur des données préalablement nettoyées

- Trouver des solutions à partir de ces données

- Partager les analyses avec l’équipe

- Trouver des solutions aux problèmes

Quelles sont les compétences attendues d’un Data Engineer ?

- Des bonnes compétences en communication

- Capacité d’analyse

- Bonne synthèse

- Large connaissance des différentes techniques d’apprentissage automatique, d’exploration de données, de statistiques et d’infrastructures de big data

- Savoir résoudre les problèmes

Comme vous avez pu le constater, les Data Engineers et Scientists ont un panel de compétences et un profil différent.

De plus, les Data Scientists doivent avoir de très bonnes compétences en communication pour présenter leurs analyses et justifier leurs décisions.

Qu’en est-il des offres d’emploi et des salaires dans tout cela ?

Selon Glassdoor, au 6 juin 2021, le salaire moyen d’un Data Scientist est :

https://www.glassdoor.fr/Salaires/data-scientist-salaire-SRCH_KO0,14.htm

Pour un Data Engineer, le salaire est similaire :

https://www.glassdoor.fr/Salaires/data-engineer-salaire-SRCH_KO0,13.htm?clickSource=searchBtn

“Le nombre d’offres d’emploi pour Data Engineer est presque cinq fois plus élevé que le nombre d’offres d’emploi pour les Data Scientists. Cela est logique car la plupart des organisations ont besoin de plus d’ingénieurs de données que de scientifiques de données dans leur équipe”, selon Glassdoor.

Data Engineer vs Data Scientist : quel est l’état du marché de l’emploi dans le domaine des données ?

Data Scientist, un métier en développement

Le poste de Data Scientist est un métier de rêve sur le papier :

- Bon salaire

- Un job avec du challenge où les problématiques sont diversifiées et complexes

Cependant, les Data Scientist, en travaillant dans des petites structures, se retrouvent parfois à se transformer en employés multitâches.

Lorsque les Data Scientists doivent faire face à toute la hiérarchie des données, il peut devenir difficile de faire le travail car ils ne sont pas des Data Engineer ou des Software Engineer.

Cela peut se traduire soit par une dévalorisation de la profession, soit par un gaspillage de ressources pour l’entreprise.

Parfois, être un Data Scientist dans une entreprise peut ressembler à cela :

Selon Mydatacompany.fr : Parmi les experts data des DSI, 44% anticipent de changer d’employeur durant l’année en cours, dont 21% cherchent d’ores et déjà un nouveau poste. Les data scientists se plaignent de la part trop importante du travail de préparation des données et du manque d’impact sur le business.

Il est certain que le marché de l’emploi en science des données est un environnement florissant qui permet de changer pour le projet que l’employé aime le plus.

Cependant, cela montre également qu’un grand nombre de scientifiques de la donnée essaient de trouver une meilleure place sur le marché.

La pénurie de Data Engineer

Les Data Engineer sont devenus une denrée rare.

Glassdoor recense plus de 100 000 offres de poste en Data Engineering. La demande est tellement élevé que tout le monde a été touché par cette pénurie :

“Même les entreprises les plus chaudes de la Silicon Valley ne parviennent pas à atteindre un ratio de un pour deux. […] Vous n’avez pas assez de talents en ingénierie. C’est très cher”, explique Tomer Shiran, PDG et cofondateur de Gremio, un développeur de middleware pour le big data.

Mais pourquoi les recruteurs ont-ils des difficultés à trouver des ingénieurs en données aujourd’hui ?

Parce que le processus de recherche de Data Engineers nécessite du temps et de l’énergie que les entreprises n’ont pas nécessairement.

L’un des objectifs des agences de recrutement est de combler ce fossé entre la demande et l’offre.

En cherchant quotidiennement les meilleures recrues sur un domaine spécifique, ils sont en mesure de répondre à cette problématique majeure.

Vous cherchez une nouvelle opportunité dans le domaine du Big Data ? Cliquez ici pour accéder en avant-première à notre nouvelle plateforme d’emploi boostée à l’IA.

Merci pour votre lecture ! Si vous souhaitez lire nos prochains articles autour de la Data Science, vous pouvez nous suivre sur Medium, Facebook, LinkedIn et Twitter pour être notifié lorsqu’un nouvel article est publié !

--

--