Reconnu et choisi par les meilleures start-ups start-ups dans le monde
De la liste d'URL au contenu extrait
Orchestrez l'extraction sur plusieurs pages sans avoir à développer votre propre robot d'exploration.
-
Envoyer des éléments
Envoyez une requête POST contenant un tableau d'éléments avec custom_id et url — et, en option, un analyseur au niveau du lot pour obtenir un JSON structuré.
-
Attendre la fin du traitement
Interrogez GET /v1/batches/{id} jusqu'à ce que l'opération soit terminée — ou indiquez une URL de webhook lors de la création pour recevoir une requête HTTP POST lorsque le lot est finalisé (avec des tentatives de relance).
-
Lister et récupérer
Effectuez un GET /v1/batches/{id}/items avec un curseur ; puis un /v1/retrieve par retrieve_id pour obtenir le résultat au format Markdown ou JSON.
Conçu pour les listes volumineuses
L'API /v1/batches vient compléter les opérations de scraping pour les workflows à fort volume.
Débit élevé
Traitez de longues listes d'URL en une seule tâche, au lieu de procéder à des milliers de requêtes distinctes.
Durée d'exécution prévisible
Les tâches s'achèvent en environ 5 à 8 minutes, quelle que soit la taille du lot (dans les limites prévues).
Pagination par curseur
Parcourez les éléments à l'aide d'un curseur et d'une limite pendant l'exécution du lot ou une fois celle-ci terminée.
Prêt pour les analyseurs syntaxiques
Associez des analyseurs pour renvoyer des données JSON normalisées pour tous les éléments.
Webhooks de fin d'exécution
Évitez les requêtes d'interrogation rapprochées : indiquez un webhook lors de la création pour qu'un POST soit envoyé lorsque le lot est terminé, avec des tentatives automatiques en cas d'échec de la livraison.
Métadonnées des lots et des éléments
Ajoutez des métadonnées clé-valeur, à la manière de Stripe, à l'ensemble du lot ou à chaque élément, afin de faciliter le suivi, le filtrage et les jointures dans votre pile technologique.
Webhooks et métadonnées
Options de premier ordre sur POST /v1/batches, afin que les pipelines de production
ne dépendent pas uniquement du polling et peuvent transmettre votre propre contexte à chaque tâche.
Webhooks
Transmettre webhook avec une HTTPS public URL (pas localhost). Lorsque le traitement du lot est terminé, Olostep envoie une requête HTTP POST contenant une charge utile d'événement structurée. Les livraisons qui échouent sont nouvelles tentatives avec temporisation exponentielle (plusieurs tentatives sur environ 30 minutes). Répondez avec 2xx dans les 30 secondes et utiliser l'événement id pour gérer les doublons en toute sécurité.
Référence de l'API WebhooksMétadonnées
Ajouter métadonnées au niveau au niveau du lot (même requête que éléments) et/ou sur chaque élément pour les balises au niveau des lignes — idéales pour les identifiants de projet, les étapes du pipeline ou pour corréler les résultats avec votre entrepôt de données. Les clés et les valeurs respectent les limites documentées (à la manière de Stripe). Les métadonnées sont renvoyées dans les réponses GET ultérieures ; vous pouvez également fusionner et mettre à jour les métadonnées d'un lot via une requête PATCH.
Référence de l'API des métadonnéesLancer un lot. Interrogation ou webhook. Récupérer les éléments.
Analyseur pour JSON, curseur sur les éléments, ainsi qu'un webhook optionnel et
métadonnées du lot/de l'élément — voir Créer un lot dans la référence de l'API.
Traitez jusqu'à 10 000 URL en un seul lot. Obtenez des résultats en 5 à 8 minutes
1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6batch = client.batches.create(
7 urls=[
8 {"custom_id": "item-1", "url": "https://www.google.com/search?q=stripe&gl=us&hl=en"},
9 {"custom_id": "item-2", "url": "https://www.google.com/search?q=paddle&gl=us&hl=en"},
10 ],
11 parser="@olostep/google-search",
12)
13
14print(batch.id, batch.status)
15
16# Wait and iterate results (auto-waits for completion)
17for item in batch.items():
18 content = item.retrieve(["json"])
19 print(item.url, item.custom_id)
20 print(content.json_content)1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const batch = await client.batches.create([
7 { url: 'https://www.google.com/search?q=stripe&gl=us&hl=en', customId: 'item-1' },
8 { url: 'https://www.google.com/search?q=paddle&gl=us&hl=en', customId: 'item-2' },
9], {
10 parser: '@olostep/google-search',
11})
12
13console.log(batch.id, batch.total_urls)
14
15// Wait and iterate results (auto-waits for completion)
16for await (const item of batch.items()) {
17 const content = await item.retrieve(['json'])
18 console.log(item.url, item.custom_id)
19 console.log(content.json_content)
20}1curl -s -X POST "https://api.olostep.com/v1/batches" \
2 -H "Authorization: Bearer <YOUR_API_KEY>" \
3 -H "Content-Type: application/json" \
4 -d '{
5 "items": [
6 {"custom_id": "item-1", "url": "https://www.google.com/search?q=stripe&gl=us&hl=en"},
7 {"custom_id": "item-2", "url": "https://www.google.com/search?q=paddle&gl=us&hl=en"}
8 ],
9 "parser": {"id": "@olostep/google-search"}
10 }'
Ce que vous pouvez créer
Surveillance, enrichissement et collecte de données d'entraînement à grande échelle.
-
SERP et suivi
Faites passer de nombreuses URL de recherche ou d'annonces dans un analyseur, en un seul lot.
-
Importation de catalogues
Fournissez des URL de produits ou de répertoires à grande échelle.
-
Pipelines de données
Déléguez les tâches nocturnes depuis votre entrepôt de données ou votre orchestrateur.
Des équipes remarquables qui façonnent l'avenir de l'IA nous font confiance
-
Michelle JuliaCofondatrice et PDG d'AuriumOlostep, c'est le top !!! Nous avons automatisé des pipelines de données entiers grâce à une simple requête.
-
Richard HeCofondateur et PDG d'OpenmartOlostep est devenu l'infrastructure de couche Web par défaut de notre entreprise.
-
Max Brodeur-UrbasCofondateur et PDG de GumloopOlostep fonctionne à merveille ! Et votre service client est exceptionnel
-
Rob HayesCofondateur de MerchkitOlostep nous permet de transformer n'importe quel site web en une API. Excellent produit, équipe formidable
-
Brandon CohenCofondateur et directeur technique de CivilGridJe recommande vivement Olostep : c'est un excellent produit !
-
Cofondateur et PDG de Gedd.itNous vérifions les codes promo à grande échelle. J'adore Olostep. Ça fonctionne sur n'importe quel site e-commerce.
-
Trevor WestCofondateur et PDG de PodqiOlostep est la meilleure API pour rechercher, extraire et structurer des données sur le Web. Heureux d'être clients
-
Rida NaveedCofondateur de ZecentoNous utilisons /batches en combinaison avec des analyseurs syntaxiques, et c'est vraiment impressionnant de voir comment nous pouvons obtenir des données structurées à grande échelle.
-
Kieran V.Growth PlotsEventsOlostep nous a permis de rechercher et de structurer des données sur des événements à travers le Web.
-
Paul MitFondateur de FoundbaseAPI fiable et économique pour travailler avec des données. Félicitations pour ce super produit
Commencer à traiter les URL par lots
Obtenir données nettoyées pour votre IA, à partir de n'importe quel site web, grâce à Olostep
L'API la plus économique. Conçue pour évoluer.
Foire aux questions
-
Quand faut-il privilégier les extractions par lots plutôt que les extractions en parallèle ?
Le mode Batch est optimisé pour traiter de quelques centaines à plusieurs dizaines de milliers d'URL, avec un temps réel (wall-clock time) globalement constant. Pour de petits ensembles d'URL, les appels parallèles /v1/scrapes sont souvent plus rapides à exécuter.
-
Puis-je utiliser Batch pour suivre les prix e-commerce à très grande échelle ?
Oui. Les équipes suivent des millions de pages produit en exécutant de nombreux lots en parallèle (chacun dans les limites de votre compte). Associez un analyseur au niveau du lot afin de n'extraire que les données JSON dont vous avez besoin — prix, avis, vendeur, délai de livraison, disponibilité — au lieu du code HTML complet, puis regroupez l'ensemble à l'aide de custom_id.
-
Qu'en est-il de la création d'un moteur de recherche vertical basé sur l'IA, couvrant des millions d'URL et de PDF ?
Batch s'intègre bien aux pipelines d'ingestion à grande échelle : soumettez de très longues listes d'URL (y compris des pages qui renvoient vers des PDF ou des documents), attendez que la tâche se termine dans un délai prévisible, puis parcourez les éléments à l'aide d'un curseur et récupérez, pour chaque URL, le contenu structuré ou au format Markdown via /v1/retrieve. Faites évoluer horizontalement en répartissant les domaines ou les cohortes entre plusieurs lots.
-
Comment Batch peut-il être utile pour le SEO ou le GEO (suivi des requêtes sur les LLM) ?
Oui. Utilisez les globs include_urls et exclude_urls, ainsi que les paramètres search_query, top_n et autres paramètres associés, tels que documentés.
-
Qu'est-ce que custom_id ?
Votre identifiant stable par ligne, qui vous permet de relier les résultats des lots à vos systèmes internes.
-
Comment obtenir des données JSON structurées ?
Appliquez un analyseur au lot (par exemple, l'analyseur google-search) afin que les éléments renvoient des données JSON que vous pourrez ensuite récupérer via /v1/retrieve.
-
Comment fonctionnent les webhooks par lot ?
Indiquez une URL de webhook HTTPS publique lorsque vous créez le lot. Olostep envoie un événement de fin de traitement (par exemple, batch.completed) lorsque le traitement est terminé, avec le nombre d'éléments et l'identifiant du lot dans la charge utile. En cas d'échec d'une livraison, de nouvelles tentatives sont effectuées avec un délai croissant entre elles (jusqu'à 5 tentatives sur environ 30 minutes). Renvoyez rapidement un code 2xx et effectuez une déduplication à l'aide de l'identifiant de l'événement. Consultez la documentation sur les webhooks pour connaître la structure de l'enveloppe et les bonnes pratiques.
-
À quoi servent les métadonnées de lot et d'élément ?
Les métadonnées sont des données facultatives de type clé-valeur (au niveau du lot dans le corps de la requête, ou par élément à l'intérieur de chaque objet dans items). Utilisez-les pour associer des tâches à des noms de projets, à des identifiants internes, à une étape du pipeline, ou à tout autre élément dont vous avez besoin pour relier les lots dans vos propres systèmes. Les valeurs respectent les limites de type Stripe (par exemple, 50 clés maximum). Vous pouvez également fusionner et mettre à jour les métadonnées ultérieurement en utilisant une requête PATCH sur le lot. Consultez la documentation sur les métadonnées pour connaître les règles de validation.
-
Y a-t-il des limites applicables aux comptes ?
Les nouveaux comptes peuvent être soumis à une limite du nombre d'éléments par lot ; contactez Olostep pour l'augmenter. Consultez l'avertissement dans la documentation pour plus de détails.