Xavier P.

web scraping, automatisation, collecte de données

Paris, France

  • 48.8546
  • 2.3477
Proposer un projet

Vérifications

Influence

Github

Github : Xavatar Xavatar
  • 39 Followers
  • 10 Repos
  • 0 Gists

Stack Overflow

Stack Overflow : user170412 user170412
  • 1 Réputation
  • 1 Bronze
  • 0 Argent
  • 0 Or
Rejoignez la communauté Malt pour découvrir le profil complet de Xavier P.
Rejoignez la communauté Malt pour découvrir le profil complet de Xavier P.

Découvrez ce que recherche Xavier

Déplacement
Travaille en partie dans vos locaux et en partie en télétravail
Zone d'activité
Recherche des missions à Paris et 100km autour, Nancy et 100km autour, Strasbourg et 100km autour
Compétences
Recherche des missions en Web Scraping, Formation, MongoDB, Node.js, API
Durée de mission
Recherche des missions ≤ 1 semaine, ≤ 1 mois, entre 1 et 3 mois, entre 3 et 6 mois

Xavier en quelques mots

Gagnez du temps grâce à l'automatisation**: restez focus sur les tâches à valeur ajoutée !

Développeur et ingénieur back-end, je propose **audits et expertise
en Automatisation et Web Scraping pour vos besoins en:
  • automatisation des tâches répétitives et chronophages
  • extraction données
  • création base de données
  • génération fichiers de leads
  • développement moteur de recherche full-text
  • Growth Hacking

Je fais aussi des formations et initiations :
  • Web Scraping
  • Node.js / Puppeteer
  • MongoDB
  • Apache SOLR
  • Formation Growth Hacking
  • PhantomBuster

Je mets en oeuvre des robots de web scraping sur mesure pour:
  • scraper les données de profils de réseaux sociaux
  • extraire les données de contacts de sites annuaires
  • collecter les prix de fiches produits de N sites (veille tarifaire)
  • récolter les données d'annonces immobilières / automobiles
  • scraper les avis/reviews de consommateurs
  • automatiser la recherche de données depuis formulaires complexes
  • enrichir des données existantes via API

Je conçois des architectures de scraping full stack distribuées avec entre autre:
  • Nodejs
  • Headless Chrome + Puppeteer
  • MongoDB
  • RabbitMQ
  • SOLR / ElasticSearch
  • GraphQL
  • API
  • Electron

Les robots d'extraction de données sont personnalisés selon les structures des sites et des données. Toute action humaine est automatisable: étapes de login, infinite scroll, gestion pagination, clics sur boutons, filtres, ...

Pour comprendre vos besoins d'extraction de données, en vue d'un devis / audit, doivent être identifiés:

  • 1: les sources: sites à partir desquels sont extraites les données
  • 2: le chemin de navigation: cheminement à suivre depuis page d'accueil pour arriver aux données (clics sur catégories / menu, gestion pagination, etc)
  • 3: la liste des données à extraire
  • 4: le format du livrable des données extraites (JSON, CSV,..)
  • 5: fréquence des automatisations si scraping nécessitant des MAJ et extractions de données régulières

Portfolio

Portfolio uniquement accessible aux membres

Expériences

octobre 2019 | Paris, France

Versailles Voyage

Enrichissement de données OpenStreetMap avec API Nominatim

A partir de données brutes récupérées depuis l'API Overpass (OpenStreetMap), les données de découpage administratif correspondantes devaient être trouvées et utilisées pour enrichir ces dernières.
octobre 2019 | Paris, France

Versailles Voyage

Extraction d'un important jeux de données depuis l'API Overpass (OpenStreetMap API)

  • Apprentissage et analyse de la documentation d'OpenStreetMap + API Overpass
  • Ecriture et tests de requêtes Overpass QL en vue du requêtage de l'API Overpass
  • Extraction d'importants jeux de données d'OpenStreetMap via l'API Overpass et des requêtes Overpass QL spécifiques
  • Développement du script Node.js d'interrogation de l'API Overpass + stockage en base de données (MongoDB), conversation des données JSON en CSV
  • Collecte de données
  • Node.js
  • API
  • Data Extraction
  • Overpass API
  • OpenStreetMap
  • Overpass QL
septembre 2019 | Paris, France

Versailles Voyage

Audit pour la création d'une base de données des zones côtières dans le monde

Le challenge ici était d'identifier la meilleure source en vue de la création d'une base de données de lieux très spécifiques. La "meilleure source" tant d'un point de vue pertinence, que facilité d'exploitation, et qualité/exhaustivité des données. Pour ce travail, j'ai étudié, analysé et décortiqué l'API Overpass afin de pouvoir extraire des données de Open Street Map, en testant divers requêtes via l'interface Web de Overpass Turbo.
  • Collecte de données
  • Node.js
  • API
  • Data Extraction
  • OpenStreetMap
  • Overpass
  • Overpass Turbo
  • NodeJS
janvier 2019 | Paris, France

Edition de logiciels

E-Motion

Automatisation extraction de données candidats en recherche d'emplois, et scraping CV depuis sites RH

9 missions Malt

Satisfaction des clients Malt : 5.0/5 (7 avis)

16 recommandations externes

Formations

Certifications

Langues

Groupes freelances

Groupes freelances uniquement accessible aux membres

charter modal image

Notre succès est une oeuvre collective

Contribuez à cette réussite et au sérieux de la communauté en signant la charte du freelance Malt.

Signer la charte