Exploration récursive, structurée

API d'exploration Web pour transformer des sites en jeux de données

Transformez une seule URL en un jeu de données composé de pages épurées. Notre robot d'exploration récursif gère les fichiers robots.txt, le rendu JavaScript et les limites de pages — idéal pour le RAG, l'entraînement d'IA et la migration de sites.

Commencez gratuitement

Aucune carte bancaire requise500 requêtes gratuitesAccessible sans code

Espace de test de l'API d'exploration Web

Explorez un site. Examinez le JSON structuré.

Exploration en direct

https://docs.olostep.com

Saisissez une URL pour lancer un crawl en direct. Une tâche d'exploration s'exécute de manière asynchrone — cet espace de test interroge régulièrement l'état de la tâche et les pages au fur et à mesure de leur traitement.

Données structurées au format JSON

{
  "start_url": "https://docs.olostep.com",
  "crawl_id": null,
  "status": null,
  "pages_count": 0,
  "pages": []
}

Expérience développeur

Créez une tâche. Interrogez son état jusqu'à ce qu'elle soit terminée.

Les explorations s'exécutent de manière asynchrone : lancez-en une avec une URL et une limite de pages, puis interrogez son état jusqu'à ce qu'elle soit terminée, et affichez la liste des pages qu'elle a trouvées.

API RESTAuthentification par clé APITâche asynchrone + interrogation (polling)robots.txt respectéRendu JSNotifications par webhook

Consultez la documentation

# 1. Start the crawl
curl --request POST \
  --url https://api.olostep.com/v1/crawls \
  --header 'Authorization: Bearer YOUR_API_KEY' \
  --header 'Content-Type: application/json' \
  --data '{
    "start_url": "https://docs.olostep.com",
    "max_pages": 5,
    "include_urls": ["/**"]
  }'

# 2. Poll for status (repeat until status is "completed")
curl --url https://api.olostep.com/v1/crawls/CRAWL_ID \
  --header 'Authorization: Bearer YOUR_API_KEY'

# 3. List crawled pages
curl --url 'https://api.olostep.com/v1/crawls/CRAWL_ID/pages?cursor=0&limit=25' \
  --header 'Authorization: Bearer YOUR_API_KEY'

Les meilleures start-up du monde nous font confiance

Le problème

Transformer un site web en données exploitables est plus difficile qu'il n'y paraît

Vous ne connaissez pas toutes les URL
Les sites ne fournissent pas de liste complète de leurs pages : pour les découvrir, vous devez suivre les liens vous-même.
Les sites modernes nécessitent un navigateur
Les applications monopage affichent leur contenu à l'aide de JavaScript ; par conséquent, une simple requête HTTP ne permet pas d'obtenir la majeure partie de la page.
Pour évoluer à grande échelle, il faut gérer les files d'attente
Explorer des centaines de pages implique de gérer la concurrence, les nouvelles tentatives et les limites de débit — autant d'aspects où il est facile de se tromper.

Tâche asynchrone, pages structurées

Lancez un crawl, puis interrogez les résultats

Envoyez une URL de départ et une limite de pages, interrogez l'état de la tâche jusqu'à ce qu'elle soit terminée, puis obtenez une liste claire de toutes les pages qu'elle a trouvées.

Découverte récursiveLimites de pages et de profondeurMotifs globaux d'inclusion/d'exclusion d'URLWebhook à l'achèvementrobots.txt respectéContenu de la page complète sur demande

{
  "id": "crawl_20tyuvpx78",
  "status": "completed",
  "pages_count": 3,
  "pages": [
    { "url": "https://example.com/", "retrieve_id": "ftfky1o5lo" },
    { "url": "https://example.com/docs", "retrieve_id": "gr427f2yny" }
  ]
}

Fonctionnalités

Conçu pour intégrer des sites entiers, et pas seulement des pages isolées

Exploration récursive
Commencez par une URL et suivez les liens dans tout le domaine, jusqu'à une page ou une profondeur limite que vous contrôlez.
Rendu JS
Les pages sont rendues à l'aide d'un véritable navigateur, ce qui permet de capturer intégralement les applications monopage et les sites fortement basés sur JavaScript.
robots.txt respecté
Par défaut, les explorations respectent le fichier robots.txt, ce qui vous permet de rester dans le cadre des règles d'exploration définies par le site.
Données de page structurées
Chaque page explorée est renvoyée avec son URL et un retrieve_id permettant de récupérer l'intégralité de son contenu.
Modèle de tâche asynchrone
Lancez un crawl et interrogez son état : pas de connexion maintenue pendant une longue durée, pas de délai d'expiration de votre côté.
Workflows adaptés au traitement par lots
Explorez de nombreux domaines selon un calendrier défini afin de maintenir vos ensembles de données et vos bases de connaissances à jour.

Cas d'usage

Transformez n'importe quel site en un jeu de données propre et exploitable

Bases de connaissances RAG
Intégrez la documentation et les sites des centres d'aide pour ancrer les modèles d'IA dans du contenu réel.
Audits SEO
Explorez un domaine pour examiner sa structure, son contenu et la couverture de ses pages.
Migration de contenu
Extrayez l'ensemble du contenu d'un site sous forme de pages épurées avant une migration vers un CMS ou une autre plateforme.
Market intelligence
Surveillez les sites de vos concurrents pour détecter les nouvelles pages, les changements de prix ou les modifications de produits.
Cartographie du site
Comprenez la structure d'un domaine et ses liens internes avant de procéder à une analyse plus approfondie.
Ensembles de données hors ligne
Créez un instantané du contenu d'un site à des fins d'entraînement ou d'analyse.

Comment cela fonctionne

D'une seule URL à un jeu de données complet

01
Lancer un crawl
Envoyez une URL de départ, une limite de pages et, si vous le souhaitez, des modèles d'inclusion/d'exclusion. Vous recevez immédiatement un identifiant de tâche.
02
Exploration récursive
Olostep consulte les pages, suit les liens et traite le domaine jusqu'à vos limites.
03
Récupérer les pages
Interrogez le statut, puis listez les pages trouvées — chacune accompagnée d'un retrieve_id permettant d'accéder à son contenu complet.

Comparaison

Développer un robot d'indexation en interne ou utiliser une API ?

Exigence

Développer en interne

Utilisez l'API

Découverte de liens

Écrire un spider

Définir une URL de départ

Rendu JS

Exécutez vous-même des navigateurs sans interface graphique

Géré automatiquement

Limitation du taux de requêtes et tentatives de nouvelle exécution

Mettre en place une infrastructure de file d'attente

Géré pour vous

Gestion du fichier robots.txt

Mettre en œuvre et maintenir

Respecté par défaut

Limites de pages et filtres

Logique personnalisée

max_pages, include/exclude

Temps passé par les développeurs

Coût récurrent élevé

Une seule requête + sondage

Ancrez votre IA sur l'ensemble d'un site, et non sur une seule page

Intégrez la documentation, les centres d'aide et les bases de connaissances en un seul crawl — des pages nettoyées, prêtes pour les pipelines RAG, les ensembles de données d'entraînement ou les migrations.

Tarifs

Tarifs de l'API de crawl Web

Commencez par 500 requêtes gratuites, puis augmentez le nombre de crawlings à mesure que le volume croît.

Starter
$9/ mois
Pour les tests, les prototypes et les petitscrawlings.
- Tout ce qui est inclus dans l'offre Gratuite
- 5 000 requêtes réussies
- 150 requêtes simultanées
Commencer
Standard
$99/ mois
Pour les explorations récurrentes et les bases de connaissances.
- Tout ce qui est inclus dans l'offre Starter
- 200 000 requêtes réussies
- 500 requêtes simultanées
Achetez maintenant
Scale
$399/ mois
Pour les plateformes traitant de gros volumes et les workflows d'entreprise.
- Tout ce qui est inclus dans l'offre Standard
- 1 million de requêtes réussies
- Automatisations de navigateur optimisées par l'IA
Passez à l'échelle dès maintenant

Avant de procéder à l'achat, vérifiez les tarifs en vigueur et les limites de votre forfait dans le tableau de bord.

Foire aux questions

Produit et fonctionnalités

Qu'est-ce qu'une API de crawl Web ?
Une API de crawl Web part d'une URL et suit de manière récursive les liens présents sur un site, en renvoyant le contenu de chaque page qu'elle visite — jusqu'à atteindre le nombre de pages ou la profondeur d'exploration que vous avez définis.
Quelle est la différence entre le crawling et le scraping ?
Le scraping extrait des données à partir d'une seule URL connue. Le crawling commence à partir d'une URL et découvre automatiquement d'autres pages du site, ce qui vous évite d'avoir besoin de la liste complète des URL dès le départ.
Prend-il en charge les sites générés par JavaScript ?
Oui. Les pages sont rendues dans un véritable navigateur avant que leur contenu ne soit capturé. Ainsi, les applications monopage développées avec React, Next.js et des frameworks similaires sont traitées correctement.

Utilisation et automatisation

Le robot d'indexation respecte-t-il le fichier robots.txt ?
Oui, par défaut. Ce paramètre peut être modifié si vous disposez de l'autorisation d'explorer un site de manière plus étendue.
Comment savoir quand un crawl est terminé ?
Interrogez le point de terminaison de statut de l'exploration jusqu'à ce que le statut indique « completed », ou fournissez une webhook_url pour être averti automatiquement.
Puis-je limiter ou filtrer ce qui est exploré ?
Oui. Définissez max_pages et max_depth pour limiter l'exploration, et utilisez les motifs glob include_urls / exclude_urls pour cibler des sections spécifiques d'un site.
Comment puis-je obtenir le contenu d'une page explorée ?
Chaque page figurant dans les résultats de l'exploration contient un retrieve_id. Utilisez-le avec le point de terminaison retrieve pour récupérer l'intégralité du contenu HTML ou Markdown de cette page.

Tarifs et abonnements

Comment un crawl est-il facturé ?
La facturation est basée sur les pages traitées avec succès : un crawl de 50 pages compte pour 50 requêtes dans le cadre de votre forfait.
Les pages qui n'ont pas été traitées avec succès sont-elles comptabilisées dans ma limite ?
Non, seules les pages traitées avec succès vous sont facturées.
Existe-t-il un niveau gratuit ?
Oui, vous bénéficiez de 500 requêtes gratuites à l'inscription — de quoi explorer plusieurs petits sites ou tester l'API.

Collectez le contenu d'un site sans avoir à gérer une infrastructure d'exploration (crawl)

Commencez par une seule URL et reliez des pages propres et structurées à vos flux de travail RAG, d'entraînement, de migration ou de recherche.

Obtenir votre clé API

API d'exploration Web pour transformer des sites en jeux de données

Explorez un site. Examinez le JSON structuré.

Créez une tâche. Interrogez son état jusqu'à ce qu'elle soit terminée.

Les meilleures start-up du monde nous font confiance

Transformer un site web en données exploitables est plus difficile qu'il n'y paraît

Vous ne connaissez pas toutes les URL

Les sites modernes nécessitent un navigateur

Pour évoluer à grande échelle, il faut gérer les files d'attente

Lancez un crawl, puis interrogez les résultats

Conçu pour intégrer des sites entiers, et pas seulement des pages isolées

Exploration récursive

Rendu JS

robots.txt respecté

Données de page structurées

Modèle de tâche asynchrone

Workflows adaptés au traitement par lots

Transformez n'importe quel site en un jeu de données propre et exploitable

Bases de connaissances RAG

Audits SEO

Migration de contenu

Market intelligence

Cartographie du site

Ensembles de données hors ligne