Olostep Batch-Endpoint
Verarbeite Tausende URLs in einem Job.
Das Vertrauen von Teams weltweit
Von der URL-Liste zum abgerufenen Inhalt
Ein Batch-Job statt Tausende Scrape-Aufrufe von Hand zu programmieren.
Step 1
Items übermitteln
Sende per POST ein Array von Items mit custom_id und url — optional einen Parser auf Batch-Ebene für strukturiertes JSON.
Step 2
Auf Abschluss warten
Frage GET /v1/batches/{id} ab, bis completed — oder übergib beim Erstellen eine Webhook-URL, um bei Abschluss des Batches einen HTTP POST zu erhalten (mit Wiederholungsversuchen).
Step 3
Auflisten & abrufen
GET /v1/batches/{id}/items mit cursor; anschließend /v1/retrieve pro retrieve_id für Markdown oder JSON.
POST /v1/batches
{
"items": [
{ "custom_id": "a1", "url": "https://…",
"metadata": { "sku": "SKU-1" } },
{ "custom_id": "a2", "url": "https://…" }
],
"parser": { "id": "@olostep/google-search" },
"metadata": { "job": "nightly-prices" },
"webhook": "https://api.you.com/olostep"
}Für große Listen gebaut
Die /v1/batches-API ergänzt Scrapes für Workflows mit hohem Volumen.
Hoher Durchsatz
Verarbeite große URL-Listen in einem Job statt in Tausenden separaten Anfragen.
Vorhersehbare Laufzeit
Jobs sind unabhängig von der Batch-Größe in etwa 5–8 Minuten abgeschlossen (innerhalb der Limits).
Parser-bereit
Hänge Parser an, um normalisiertes JSON über alle Items hinweg zurückzugeben.
Cursor-Paginierung
Durchlaufe Items mit cursor und limit, während der Batch läuft oder nachdem er abgeschlossen ist.
Abschluss-Webhooks
Vermeide dauerhaftes Polling: Übergib webhook beim Erstellen, um bei Abschluss des Batches einen POST zu erhalten, mit automatischen Wiederholungen bei fehlgeschlagener Zustellung.
Batch- und Item-Metadaten
Hänge Stripe-artige Schlüssel-Wert-Metadaten an den gesamten Batch oder an jedes Item, für Tracing, Filterung und Joins in deinem Stack.
Webhooks & Metadaten
Erstklassige Optionen bei POST /v1/batches damit Produktions-Pipelines sich nicht allein auf Polling verlassen müssen und deinen eigenen Kontext durch jeden Job tragen können.
Webhooks
Übergib webhook mit einer öffentlichen HTTPS -URL (nicht localhost). Wenn der Batch abgeschlossen ist, sendet Olostep einen HTTP POST mit einem strukturierten Event-Payload. Fehlgeschlagene Zustellungen werden mit Backoff wiederholt (mehrere Versuche über etwa 30 Minuten). Antworte innerhalb von 30 Sekunden mit 2xx und verwende die Event- id , um Duplikate sicher zu behandeln.
Metadaten
Füge metadata auf Batch-Ebene hinzu (gleiche Anfrage wie items) und/oder für jedes Item für Tags auf Zeilenebene — ideal für Projekt-IDs, Pipeline-Stufe oder das Korrelieren von Ergebnissen mit deinem Data Warehouse. Schlüssel und Werte folgen den dokumentierten Limits (Stripe-artig). Metadaten werden in nachfolgenden GET-Antworten zurückgegeben; du kannst Batch-Metadaten auch per PATCH per Merge aktualisieren.
Was du bauen kannst
Monitoring, Anreicherung und die Sammlung von Trainingsdaten im großen Maßstab.
SERP & Monitoring
Führe viele Such- oder Listing-URLs in einem Batch durch einen Parser.
Katalog-Ingestion
Speise Produkt- oder Verzeichnis-URLs in großem Maßstab ein.
Daten-Pipelines
Übergib nächtliche Jobs aus deinem Data Warehouse oder Orchestrator.
Extraktion im großen Maßstab
Batch starten. Abfragen oder Webhook nutzen. Items abrufen.
Parser für JSON, Cursor auf Items, plus optionaler Webhook und Batch-/Item-Metadaten — siehe Create batch in der API-Referenz.
{
"items": [
{
"custom_id": "item-1",
"url": "https://www.google.com/search?q=stripe&gl=us&hl=en",
"metadata": { "campaign": "brand-track" }
},
{
"custom_id": "item-2",
"url": "https://www.google.com/search?q=paddle&gl=us&hl=en"
}
],
"parser": { "id": "@olostep/google-search" },
"metadata": { "batch_name": "weekly-serp" },
"webhook": "https://your-server.com/webhooks/olostep"
}{
"id": "batch_z7n7hwh45x",
"object": "batch",
"status": "in_progress",
"total_urls": 2,
"completed_urls": 0,
"parser": "@olostep/google-search",
"metadata": { "batch_name": "weekly-serp" },
"webhook": "https://your-server.com/webhooks/olostep"
}Häufig gestellte Fragen
Produkt & Funktionen
- Wann sollte ich Batch statt paralleler Scrapes verwenden?
Batch ist für Hunderte bis Zehntausende von URLs mit annähernd konstanter Laufzeit optimiert. Bei kleinen URL-Mengen sind parallele /v1/scrapes-Aufrufe oft schneller abgeschlossen.
- Kann ich Batch für E-Commerce-Preisverfolgung in sehr großem Maßstab nutzen?
Ja. Teams verfolgen Millionen von Produktseiten, indem sie viele parallele Batches ausführen (jeweils innerhalb deiner Kontolimits). Hänge einen Parser auf Batch-Ebene an, sodass du nur das benötigte JSON abrufst — Preis, Bewertungen, Verkäufer, Versandzeit, Verfügbarkeit — statt vollständigem HTML, und führe dann alles über custom_id wieder zusammen.
- Was ist mit dem Aufbau einer vertikalen KI-Suchmaschine über Millionen von URLs und PDFs?
Batch passt zu großen Ingestion-Pipelines: übermittle riesige URL-Listen (einschließlich Seiten, die auf PDFs oder Dokumente verlinken), warte, bis der Job in vorhersehbarer Zeit abgeschlossen ist, liste dann Items mit cursor auf und rufe strukturierten oder Markdown-Inhalt pro URL über /v1/retrieve ab. Skaliere, indem du Domains oder Kohorten auf mehrere Batches aufteilst.
Nutzung & Automatisierung
- Wie hilft Batch bei SEO oder GEO (Tracking von Prompts auf LLMs)?
Für generative Engine Optimization kannst du die URLs oder Suchergebnisse, die dich interessieren, in Batches zusammenfassen — Markensuchen, Wettbewerber-SERPs, Zitationsseiten — und Parser nutzen, um Titel, Snippets und strukturierte Felder zu normalisieren. Das macht es praktikabel zu überwachen, wie Marken und Themen über viele Prompts und Seiten hinweg erscheinen, nicht nur bei Einzel-Scrapes.
- Was ist custom_id?
Deine stabile Kennung pro Zeile, mit der du Batch-Ergebnisse mit deinen internen Systemen verknüpfen kannst.
- Wie bekomme ich strukturiertes JSON?
Übergib einen Parser auf dem Batch (z. B. den google-search-Parser), sodass Items JSON zurückgeben, das du über /v1/retrieve abrufen kannst.
Preise & Tarife
- Wie funktionieren Batch-Webhooks?
Gib beim Erstellen des Batches eine öffentliche HTTPS-Webhook-URL an. Olostep sendet per POST ein Abschluss-Event (z. B. batch.completed), wenn die Verarbeitung abgeschlossen ist, mit Item-Anzahl und Batch-ID im Payload. Fehlgeschlagene Zustellungen werden mit exponentiellem Backoff wiederholt (bis zu 5 Versuche über ~30 Minuten). Antworte schnell mit 2xx und dedupliziere anhand der Event-ID — siehe die Webhook-Dokumentation für die Form des Envelopes und Best Practices.
- Wofür sind Batch- und Item-Metadaten?
Metadaten sind optionale Schlüssel-Wert-Daten (auf Batch-Ebene im Anfrage-Body oder pro Item innerhalb jedes Objekts in items). Nutze sie, um Jobs mit Projektnamen, internen IDs, Pipeline-Stufe oder allem zu taggen, was du zur Korrelation von Batches in deinen eigenen Systemen brauchst. Werte folgen Stripe-artigen Limits (z. B. maximal 50 Schlüssel). Du kannst Metadaten später auch per PATCH auf dem Batch aktualisieren. Siehe die Metadaten-Dokumentation für Validierungsregeln.
- Gibt es Kontolimits?
Neue Konten haben möglicherweise ein Item-Limit pro Batch; kontaktiere Olostep, um es zu erhöhen. Details siehe den Hinweis in der Dokumentation.
Starte mit dem Batch-Verarbeiten von URLs
500 kostenlose Credits zum Ausprobieren
Keine Kreditkarte erforderlich.