Reconnu et choisi par les meilleures start-ups start-ups dans le monde
De l'URL de départ à de nombreuses pages
Orchestrez l'extraction sur plusieurs pages sans avoir à développer votre propre robot d'exploration.
-
Envoyer l'URL du site
Envoyez une requête POST avec l'URL de la page d'accueil ou n'importe quelle URL d'entrée à partir de laquelle vous souhaitez découvrir les chemins.
-
Inclure ou exclure des chemins
Utilisez des motifs glob tels que /blog/** pour vous concentrer sur les sections qui vous intéressent.
-
Obtenir les URL + paginer
Recevez jusqu'à de grands lots par réponse ; utilisez le curseur lorsque d'autres URL sont disponibles.
Conçu pour la découverte à grande échelle
L'API /v1/maps est optimisée pour les sites de grande taille et pour des règles de chemin flexibles.
-
Découverte de l'ensemble du site
Identifiez des URL au-delà d'un simple fichier sitemap — particulièrement utile lorsque les sitemaps sont désorganisés ou incomplets.
-
Filtres glob
include_urls et exclude_urls pour limiter la recherche aux produits, aux documents ou aux sections du blog.
-
Contrôle top_n
Limitez le nombre d'URL que vous extrayez lorsque vous n'avez besoin que d'un échantillon.
-
Préparation des traitements par lots et de l'exploration (crawl)
Intégrez les URL découvertes dans des extractions ou des lots, à grande échelle.
Cartographiez un site web en un seul appel
Paramètres optionnels : include_urls, exclude_urls, top_n et cursor pour la pagination.
Obtenir toutes les URL d'un site web
1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6sitemap = client.maps.create(
7 url="https://docs.olostep.com",
8 include_urls=["/features/**"],
9 top_n=100,
10)
11
12print(f"Map ID: {sitemap.id}")
13
14# Iterate all URLs (handles pagination automatically)
15for url in sitemap.urls():
16 print(url)1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const map = await client.maps.create({
7 url: 'https://docs.olostep.com',
8 includeUrls: ['/features/**'],
9 topN: 100,
10})
11
12console.log(`Map ID: ${map.id}`)
13
14// Iterate all URLs (handles pagination automatically)
15for await (const url of map.urls()) {
16 console.log(url)
17}1curl -s -X POST "https://api.olostep.com/v1/maps" \
2 -H "Authorization: Bearer <YOUR_API_KEY>" \
3 -H "Content-Type: application/json" \
4 -d '{
5 "url": "https://docs.olostep.com",
6 "include_urls": ["/features/**"],
7 "top_n": 100
8 }'
Ce que vous pouvez créer
Alimentez l'enrichissement, le suivi et les workflows d'IA à partir de pages web en direct.
-
Audits SEO
Dressez l'inventaire des URL indexables et comparez-les aux sitemaps.
-
Migrations de sites
Exportez des listes d'URL pour les redirections et le contrôle qualité.
-
Agents d'IA
Fournissez aux agents une liste limitée de pages à lire ou à résumer.
Des équipes remarquables qui façonnent l'avenir de l'IA nous font confiance
-
Michelle JuliaCofondatrice et PDG d'AuriumOlostep, c'est le top !!! Nous avons automatisé des pipelines de données entiers grâce à une simple requête.
-
Richard HeCofondateur et PDG d'OpenmartOlostep est devenu l'infrastructure de couche Web par défaut de notre entreprise.
-
Max Brodeur-UrbasCofondateur et PDG de GumloopOlostep fonctionne à merveille ! Et votre service client est exceptionnel
-
Rob HayesCofondateur de MerchkitOlostep nous permet de transformer n'importe quel site web en une API. Excellent produit, équipe formidable
-
Brandon CohenCofondateur et directeur technique de CivilGridJe recommande vivement Olostep : c'est un excellent produit !
-
Cofondateur et PDG de Gedd.itNous vérifions les codes promo à grande échelle. J'adore Olostep. Ça fonctionne sur n'importe quel site e-commerce.
-
Trevor WestCofondateur et PDG de PodqiOlostep est la meilleure API pour rechercher, extraire et structurer des données sur le Web. Heureux d'être clients
-
Rida NaveedCofondateur de ZecentoNous utilisons /batches en combinaison avec des analyseurs syntaxiques, et c'est vraiment impressionnant de voir comment nous pouvons obtenir des données structurées à grande échelle.
-
Kieran V.Growth PlotsEventsOlostep nous a permis de rechercher et de structurer des données sur des événements à travers le Web.
-
Paul MitFondateur de FoundbaseAPI fiable et économique pour travailler avec des données. Félicitations pour ce super produit
Commencer à cartographier le Web
Obtenir données nettoyées pour votre IA, à partir de n'importe quel site web, grâce à Olostep
L'API la plus économique. Conçue pour évoluer.
Foire aux questions
-
À quoi sert le point de terminaison Crawl ?
Il parcourt un site (dans les limites que vous avez définies) et renvoie des enregistrements de pages que vous pourrez ensuite récupérer via /v1/retrieve — une solution idéale pour extraire du contenu sur plusieurs pages sans avoir à gérer chaque URL vous-même.
-
Comment puis-je obtenir le contenu d'une page ?
Récupérez la liste des pages depuis /v1/crawls/{id}/pages, puis appelez /v1/retrieve avec le retrieve_id de chaque page. Privilégiez l'utilisation de l'endpoint /retrieve plutôt que les champs de contenu en ligne désormais obsolètes sur les pages.
-
Puis-je filtrer les URL qui sont explorées ?
Oui. Utilisez les globs include_urls et exclude_urls, ainsi que les paramètres search_query, top_n et autres paramètres associés, tels que documentés.
-
Combien coûte le crawling ?
Le crawl est facturé par page explorée (voir les tarifs actuels dans la documentation).