Cliquez pour essayer
Un instant…

Explorez de nombreuses pages.
Récupérez du contenu à la demande.

Le point de terminaison Crawl détecte et traite les sous-pages selon vos règles, puis vous récupérez le HTML ou le Markdown de chaque page via l'endpoint retrieve.

Commencer gratuitement Lire la documentation
Merci ! Votre envoi a bien été reçu !
Oups ! Un problème est survenu lors de l'envoi du formulaire.

Reconnu et choisi par les meilleures start-ups start-ups dans le monde

De l'URL de départ à de nombreuses pages

Orchestrez l'extraction sur plusieurs pages sans avoir à développer votre propre robot d'exploration.

  • Lancer un crawl

    Envoyez une requête POST sur start_url avec include_urls, exclude_urls, max_pages et, en option, max_depth.

  • Interrogation ou webhook

    Effectuez des requêtes GET /v1/crawls/{id} jusqu'à ce que le statut indique « completed », ou transmettez webhook_url pour recevoir une notification push.

  • Lister les pages et les extraire

    Paginez la requête GET /v1/crawls/{id}/pages, puis récupérez chaque retrieve_id via /v1/retrieve pour obtenir le contenu au format Markdown ou HTML.

https://docs.olostep.com/
Niveau 1
Niveau 2
Niveau 3
Exploré/Inclus
Exclu par les règles

Conçu pour les tâches portant sur plusieurs pages

L'API /v1/crawls se situe entre les extractions ponctuelles et les très longues listes d'URL traitées par lots.

  • Exploration limitée

    Contrôlez la profondeur et le paramètre max_pages pour que les explorations restent prévisibles.

  • Webhooks

    webhook_url facultatif lorsque le crawl est terminé.

  • Pagination par curseur

    Diffusez les pages pendant que le crawl est en cours ou une fois qu'il est terminé.

  • Récupérer le pipeline

    Associez les explorations à /v1/retrieve pour obtenir les résultats aux formats Markdown, HTML ou JSON.

Lancer un crawl. Interroger. Lister les pages.

Utilisez des webhooks pour recevoir des signaux d'achèvement ; paginez les pages à l'aide d'un curseur et d'une limite.

Indexer toutes les sous-pages

Logo Python
Python
NodeJS
cURL
 
1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6crawl = client.crawls.create(
7    start_url="https://olostep.com",
8    max_pages=100,
9    include_urls=["/**"],
10    exclude_urls=["/collections/**"],
11    include_external=False,
12)
13
14print(crawl.id, crawl.status)
15
16# Wait for completion and iterate pages
17for page in crawl.pages():
18    print(page.url)
19    content = page.retrieve(["markdown"])
20    print(content.markdown_content[:200])
1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const crawl = await client.crawls.create({
7  url: 'https://olostep.com',
8  maxPages: 100,
9  includeUrls: ['/**'],
10  excludeUrls: ['/collections/**'],
11  includeExternal: false,
12})
13
14console.log(crawl.id, crawl.status)
15
16// Wait for completion and iterate pages
17for await (const page of crawl.pages()) {
18  console.log(page.url)
19  const content = await client.retrieve({ retrieveId: page.retrieve_id, formats: ['markdown'] })
20  console.log(content.markdown_content.slice(0, 200))
21}
1# Start crawl
2curl -s -X POST "https://api.olostep.com/v1/crawls" \
3  -H "Authorization: Bearer <YOUR_API_KEY>" \
4  -H "Content-Type: application/json" \
5  -d '{
6    "start_url": "https://olostep.com",
7    "max_pages": 100,
8    "include_urls": ["/**"],
9    "exclude_urls": ["/collections/**"],
10    "include_external": false
11  }'
12
13# Check status (replace <CRAWL_ID>)
14curl -s "https://api.olostep.com/v1/crawls/<CRAWL_ID>" \
15  -H "Authorization: Bearer <YOUR_API_KEY>"
16
17# Get pages (replace <CRAWL_ID>)
18curl -s "https://api.olostep.com/v1/crawls/<CRAWL_ID>/pages" \
19  -H "Authorization: Bearer <YOUR_API_KEY>"
20
21# Retrieve content (replace <RETRIEVE_ID>)
22curl -s -G "https://api.olostep.com/v1/retrieve" \
23  -H "Authorization: Bearer <YOUR_API_KEY>" \
24  --data-urlencode "retrieve_id=<RETRIEVE_ID>" \
25  --data-urlencode "formats=markdown"
Documentation

Ce que vous pouvez créer

Alimentez l'enrichissement, le suivi et les workflows d'IA à partir de pages web en direct.

  • Miroirs de documentation

    Récupérez toutes les pages de la documentation pour une recherche hors ligne ou pour le RAG.

  • Catalogues d'e-commerce

    Explorez les sections de produits à l'aide de filtres d'inclusion (include patterns).

  • Archives de conformité

    Capturez de nombreuses pages d'un même domaine, accompagnées de métadonnées d'audit.

Découvrir d'autres cas d'usage

Des équipes remarquables qui façonnent l'avenir de l'IA nous font confiance

  • Michelle Julia
    Cofondatrice et PDG d'Aurium

    Olostep, c'est le top !!! Nous avons automatisé des pipelines de données entiers grâce à une simple requête.

  • Richard He
    Cofondateur et PDG d'Openmart

    Olostep est devenu l'infrastructure de couche Web par défaut de notre entreprise.

  • Max Brodeur-Urbas
    Cofondateur et PDG de Gumloop

    Olostep fonctionne à merveille ! Et votre service client est exceptionnel

  • Rob Hayes
    Cofondateur de Merchkit

    Olostep nous permet de transformer n'importe quel site web en une API. Excellent produit, équipe formidable

  • Brandon Cohen
    Cofondateur et directeur technique de CivilGrid

    Je recommande vivement Olostep : c'est un excellent produit !

  • Cofondateur et PDG de Gedd.it

    Nous vérifions les codes promo à grande échelle. J'adore Olostep. Ça fonctionne sur n'importe quel site e-commerce.

  • Trevor West
    Cofondateur et PDG de Podqi

    Olostep est la meilleure API pour rechercher, extraire et structurer des données sur le Web. Heureux d'être clients

  • Rida Naveed
    Cofondateur de Zecento

    Nous utilisons /batches en combinaison avec des analyseurs syntaxiques, et c'est vraiment impressionnant de voir comment nous pouvons obtenir des données structurées à grande échelle.

  • Kieran V.
    Growth PlotsEvents

    Olostep nous a permis de rechercher et de structurer des données sur des événements à travers le Web.

  • Paul Mit
    Fondateur de Foundbase

    API fiable et économique pour travailler avec des données. Félicitations pour ce super produit

Commencez à crawler avec Olostep

Obtenir données nettoyées pour votre IA, à partir de n'importe quel site web, grâce à Olostep
L'API la plus économique. Conçue pour évoluer.

Êtes-vous un agent IA ? Commencez ici

Foire aux questions

Produit et fonctionnalités

  • À quoi sert le point de terminaison Crawl ?

    Il parcourt un site (dans les limites que vous avez définies) et renvoie des enregistrements de pages que vous pourrez ensuite récupérer via /v1/retrieve — une solution idéale pour extraire du contenu sur plusieurs pages sans avoir à gérer chaque URL vous-même.

  • Comment puis-je obtenir le contenu d'une page ?

    Récupérez la liste des pages depuis /v1/crawls/{id}/pages, puis appelez /v1/retrieve avec le retrieve_id de chaque page. Privilégiez l'utilisation de l'endpoint /retrieve plutôt que les champs de contenu en ligne désormais obsolètes sur les pages.

Utilisation et automatisation

  • Puis-je filtrer les URL qui sont explorées ?

    Oui. Utilisez les globs include_urls et exclude_urls, ainsi que les paramètres search_query, top_n et autres paramètres associés, tels que documentés.

Tarifs et abonnements

  • Combien coûte le crawling ?

    Le crawl est facturé par page explorée (voir les tarifs actuels dans la documentation).