Olostep Crawl-Endpoint
Viele Seiten crawlen. Inhalte auf Abruf erhalten.
Das Vertrauen von Teams weltweit
Von der Start-URL zu vielen Seiten
Orchestriere mehrseitige Extraktion, ohne einen eigenen Crawler zu bauen.
Step 1
Einen Crawl starten
Sende start_url per POST mit include_urls, exclude_urls, max_pages und optionalem max_depth.
Step 2
Abfragen oder Webhook
Frage GET /v1/crawls/{id} ab, bis der Status completed ist, oder übergib webhook_url für eine Push-Benachrichtigung.
Step 3
Seiten auflisten & abrufen
Paginiere GET /v1/crawls/{id}/pages, hole dann jede retrieve_id über /v1/retrieve für Markdown oder HTML.
POST /v1/crawls
{
"start_url": "https://example.com",
"max_pages": 100,
"include_urls": ["/**"],
"exclude_urls": ["/admin/**"]
}Für mehrseitige Jobs gebaut
Die /v1/crawls-API liegt zwischen einzelnen Scrapes und großen Batch-URL-Listen.
Begrenzte Erkundung
Steuere depth und max_pages, damit Crawls vorhersehbar bleiben.
Webhooks
Optionale webhook_url bei Abschluss des Crawls.
Cursor-Paginierung
Streame Seiten, während der Crawl läuft oder nach Abschluss.
Retrieve-Pipeline
Kombiniere Crawls mit /v1/retrieve für die Formate Markdown, HTML oder JSON.
Was du bauen kannst
Website-Spiegel erstellen, Datensätze aufbauen und Recherche-Agenten antreiben.
Dokumentations-Spiegel
Rufe jede Doku-Seite für Offline-Suche oder RAG ab.
E-Commerce-Kataloge
Crawle Produktbereiche mit Include-Mustern.
Compliance-Archive
Erstelle Snapshots vieler Seiten einer Domain mit Audit-Metadaten.
Mehrseitige Extraktion
Crawl starten. Abfragen. Seiten auflisten.
Nutze Webhooks für Abschlusssignale; paginiere Seiten mit cursor und limit.
{
"start_url": "https://sugarbooandco.com",
"max_pages": 100,
"include_urls": ["/**"],
"exclude_urls": ["/collections/**"],
"include_external": false
}{
"id": "crawl_…",
"object": "crawl",
"status": "in_progress",
"start_url": "https://sugarbooandco.com",
"pages_count": 0
}Häufig gestellte Fragen
Produkt & Funktionen
- Wofür ist der Crawl-Endpoint gedacht?
Er durchläuft eine Website (innerhalb deiner Limits) und liefert Seiteneinträge zurück, die du später mit /v1/retrieve abrufen kannst — ideal für mehrseitige Extraktion, ohne jede URL selbst zu orchestrieren.
- Wie erhalte ich den Seiteninhalt?
Liste Seiten über /v1/crawls/{id}/pages auf und rufe dann /v1/retrieve mit der retrieve_id jeder Seite auf. Bevorzuge retrieve gegenüber den veralteten Inline-Content-Feldern auf Seiten.
Nutzung & Automatisierung
- Kann ich filtern, welche URLs gecrawlt werden?
Ja. Nutze die Glob-Muster include_urls und exclude_urls, search_query, top_n und verwandte Parameter wie dokumentiert.
Preise & Tarife
- Was kostet das Crawling?
Crawl wird pro gecrawlter Seite abgerechnet (aktuelle Preise siehe Dokumentation).
Starte das Crawling mit Olostep
500 kostenlose Credits zum Ausprobieren
Keine Kreditkarte erforderlich.