Vertraut von den besten Startups Startups weltweit
Von der URL-Liste zu abgerufenen Inhalten
Orchestrieren Sie mehrseitige Extraktion, ohne einen eigenen Crawler zu bauen.
Items übermitteln
Senden Sie ein Array von Items mit custom_id und url per POST — optional mit einem Parser auf Batch-Ebene für strukturiertes JSON.
Auf den Abschluss warten
Pollen Sie GET /v1/batches/{id}, bis der Status completed ist — oder übergeben Sie beim Erstellen eine Webhook-URL, um einen HTTP-POST zu erhalten, sobald der Batch abgeschlossen ist (mit Wiederholungsversuchen).
Auflisten & abrufen
GET /v1/batches/{id}/items mit Cursor; anschließend /v1/retrieve pro retrieve_id für Markdown oder JSON.
Für große Listen gebaut
Die /v1/batches-API ergänzt Scrapes für Workflows mit hohem Volumen.
Hoher Durchsatz
Verarbeiten Sie große URL-Listen in einem Job statt in Tausenden einzelner Anfragen.
Vorhersehbare Laufzeit
Jobs sind unabhängig von der Batch-Größe in etwa 5–8 Minuten abgeschlossen (innerhalb der Limits).
Cursor-Paginierung
Durchlaufen Sie Items mit cursor und limit, während der Batch läuft oder nachdem er abgeschlossen ist.
Parser-bereit
Fügen Sie Parser hinzu, um normalisiertes JSON für alle Items zu erhalten.
Abschluss-Webhooks
Verzichten Sie auf engmaschiges Polling: Übergeben Sie webhook beim Erstellen für einen POST, sobald der Batch abgeschlossen ist, mit automatischen Wiederholungsversuchen bei fehlgeschlagener Zustellung.
Batch- & Item-Metadaten
Fügen Sie Metadaten im Stripe-Stil (Schlüssel-Wert) für den gesamten Batch oder für jedes einzelne Item hinzu — für Tracing, Filterung und Verknüpfungen in Ihrem Stack.
Webhooks & Metadaten
Erstklassige Optionen bei POST /v1/batches, damit Produktions-Pipelines
sich nicht nur auf Polling verlassen müssen und eigenen Kontext durch jeden Job tragen können.
Webhooks
Übergeben Sie webhook mit einer öffentlichen HTTPS-URL (nicht localhost). Sobald der Batch abgeschlossen ist, sendet Olostep einen HTTP-POST mit einem strukturierten Event-Payload. Fehlgeschlagene Zustellungen werden mit Backoff wiederholt (mehrere Versuche über etwa 30 Minuten). Antworten Sie innerhalb von 30 Sekunden mit 2xx und nutzen Sie die Event-id, um Duplikate sicher zu behandeln.
Webhooks-API-ReferenzMetadata
Fügen Sie metadata auf Batch-Ebene (in derselben Anfrage wie items) und/oder pro Item für Tags auf Zeilenebene hinzu — ideal für Projekt-IDs, Pipeline-Phasen oder die Zuordnung von Ergebnissen zu Ihrem Data Warehouse. Schlüssel und Werte folgen den dokumentierten Limits (im Stripe-Stil). Metadaten werden in nachfolgenden GET-Antworten zurückgegeben; Sie können Batch-Metadaten auch per PATCH zusammenführen und aktualisieren.
Metadaten-API-ReferenzStarten Sie einen Batch. Pollen oder per Webhook. Rufen Sie Items ab.
Parser für JSON, Cursor auf Items, sowie optional Webhook und
Batch-/Item-Metadaten — siehe Create batch in der API-Referenz.
Verarbeiten Sie bis zu 10.000 URLs in einem Batch. Erhalten Sie Ergebnisse in 5–8 Minuten
1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6batch = client.batches.create(
7 urls=[
8 {"custom_id": "item-1", "url": "https://www.google.com/search?q=stripe&gl=us&hl=en"},
9 {"custom_id": "item-2", "url": "https://www.google.com/search?q=paddle&gl=us&hl=en"},
10 ],
11 parser="@olostep/google-search",
12)
13
14print(batch.id, batch.status)
15
16# Wait and iterate results (auto-waits for completion)
17for item in batch.items():
18 content = item.retrieve(["json"])
19 print(item.url, item.custom_id)
20 print(content.json_content)1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const batch = await client.batches.create([
7 { url: 'https://www.google.com/search?q=stripe&gl=us&hl=en', customId: 'item-1' },
8 { url: 'https://www.google.com/search?q=paddle&gl=us&hl=en', customId: 'item-2' },
9], {
10 parser: '@olostep/google-search',
11})
12
13console.log(batch.id, batch.total_urls)
14
15// Wait and iterate results (auto-waits for completion)
16for await (const item of batch.items()) {
17 const content = await item.retrieve(['json'])
18 console.log(item.url, item.custom_id)
19 console.log(content.json_content)
20}1curl -s -X POST "https://api.olostep.com/v1/batches" \
2 -H "Authorization: Bearer <YOUR_API_KEY>" \
3 -H "Content-Type: application/json" \
4 -d '{
5 "items": [
6 {"custom_id": "item-1", "url": "https://www.google.com/search?q=stripe&gl=us&hl=en"},
7 {"custom_id": "item-2", "url": "https://www.google.com/search?q=paddle&gl=us&hl=en"}
8 ],
9 "parser": {"id": "@olostep/google-search"}
10 }'
Was Sie damit bauen können
Monitoring, Anreicherung und die Sammlung von Trainingsdaten im großen Maßstab.
SERP & Monitoring
Verarbeiten Sie viele Such- oder Listing-URLs in einem Batch über einen Parser.
Katalog-Ingestion
Speisen Sie Produkt- oder Verzeichnis-URLs im großen Maßstab ein.
Datenpipelines
Übergeben Sie nächtliche Jobs aus Ihrem Data Warehouse oder Orchestrator.
Vertraut von großartigen Teams, die die Zukunft der KI gestalten
Olostep ist das Beste!!! Wir haben komplette Datenpipelines mit nur einem Prompt automatisiert
Olostep ist zur Standard-Web-Layer-Infrastruktur unseres Unternehmens geworden
Olostep funktioniert wie ein Zauber! Und Ihr Kundenservice ist hervorragend
Mit Olostep können wir jede Website in eine API verwandeln. Tolles Produkt, tolle Leute
Ich kann Olostep sehr empfehlen, ein großartiges Produkt!
Wir verifizieren Gutscheincodes im großen Maßstab. Wir lieben Olostep. Es funktioniert mit jedem E-Commerce
Olostep ist die beste API, um Daten aus dem Web zu suchen, zu extrahieren und zu strukturieren. Wir sind gerne Kunden
Wir nutzen /batches in Kombination mit Parsern, und es ist erstaunlich, wie wir strukturierte Daten in großem Maßstab erhalten
Mit Olostep konnten wir Eventdaten im gesamten Web suchen und strukturieren
Zuverlässige und kosteneffiziente API für die Arbeit mit Daten. Glückwunsch zum coolen Produkt
Starten Sie das Batchen von URLs
Erhalten Sie saubere Daten für Ihre KI von jeder Website mit Olostep
Die kosteneffizienteste API. Für Skalierung gebaut
Häufig gestellte Fragen
Wann sollte ich Batch statt paralleler Scrapes verwenden?
Batch ist für Hunderte bis Zehntausende URLs mit nahezu konstanter Laufzeit optimiert. Bei kleinen URL-Mengen sind parallele /v1/scrapes-Aufrufe oft schneller abgeschlossen.
Kann ich Batch für E-Commerce-Preisverfolgung in sehr großem Maßstab nutzen?
Ja. Teams verfolgen Millionen von Produktseiten, indem sie viele parallele Batches ausführen (jeweils innerhalb Ihrer Account-Limits). Fügen Sie einen Parser auf Batch-Ebene hinzu, damit Sie nur das benötigte JSON abrufen — Preis, Bewertungen, Verkäufer, Versandzeit, Verfügbarkeit — statt vollständigem HTML, und führen Sie anschließend alles über custom_id wieder zusammen.
Wie sieht es mit dem Aufbau einer vertikalen KI-Suchmaschine über Millionen URLs und PDFs aus?
Batch eignet sich für große Ingestion-Pipelines: Übermitteln Sie riesige URL-Listen (einschließlich Seiten, die auf PDFs oder Dokumente verlinken), warten Sie, bis der Job in vorhersehbarer Zeit abgeschlossen ist, listen Sie dann Items mit Cursor auf und rufen Sie strukturierte oder Markdown-Inhalte pro URL über /v1/retrieve ab. Skalieren Sie, indem Sie Domains oder Kohorten auf mehrere Batches aufteilen.
Wie hilft Batch bei SEO oder GEO (Tracking von Prompts auf LLMs)?
Ja. Nutzen Sie include_urls- und exclude_urls-Globs, search_query, top_n und weitere dokumentierte Parameter.
Was ist custom_id?
Ihr stabiler Identifikator pro Zeile, mit dem Sie Batch-Ergebnisse Ihren internen Systemen zuordnen können.
Wie erhalte ich strukturiertes JSON?
Übergeben Sie einen Parser für den Batch (z. B. den google-search-Parser), damit Items JSON liefern, das Sie über /v1/retrieve abrufen können.
Wie funktionieren Batch-Webhooks?
Geben Sie beim Erstellen des Batches eine öffentliche HTTPS-Webhook-URL an. Olostep sendet per POST ein Abschluss-Event (z. B. batch.completed), sobald die Verarbeitung abgeschlossen ist, mit Item-Anzahl und Batch-id im Payload. Fehlgeschlagene Zustellungen werden mit exponentiellem Backoff wiederholt (bis zu 5 Versuche über ca. 30 Minuten). Antworten Sie zügig mit 2xx und deduplizieren Sie anhand der Event-id — die Webhook-Dokumentation beschreibt Payload-Struktur und Best Practices.
Wofür sind Batch- und Item-Metadaten?
Metadata sind optionale Schlüssel-Wert-Daten (auf Batch-Ebene im Request-Body oder pro Item innerhalb jedes Objekts in items). Nutzen Sie sie, um Jobs mit Projektnamen, internen IDs, Pipeline-Phasen oder anderen Angaben zu kennzeichnen, die Sie zur Zuordnung von Batches in Ihren eigenen Systemen benötigen. Werte folgen Limits im Stripe-Stil (z. B. max. 50 Schlüssel). Sie können Metadaten später auch per PATCH auf dem Batch zusammenführen und aktualisieren. Die Metadaten-Dokumentation beschreibt die Validierungsregeln.
Gibt es Account-Limits?
Neue Accounts können ein Limit für Items pro Batch haben; kontaktieren Sie Olostep, um es erhöhen zu lassen. Details finden Sie im entsprechenden Hinweis in der Dokumentation.
