Vertraut von den besten Startups Startups weltweit
Von der Start-URL zu vielen Seiten
Orchestrieren Sie die Mehrseiten-Extraktion, ohne einen eigenen Crawler zu bauen.
-
Crawl starten
POST start_url mit include_urls, exclude_urls, max_pages und optional max_depth.
-
Abfragen oder Webhook
Fragen Sie GET /v1/crawls/{id} ab, bis der Status completed ist, oder übergeben Sie webhook_url für eine Push-Benachrichtigung.
-
Seiten auflisten & abrufen
Paginieren Sie GET /v1/crawls/{id}/pages und rufen Sie dann jede retrieve_id über /v1/retrieve für Markdown oder HTML ab.
Gebaut für Mehrseiten-Jobs
Die /v1/crawls-API liegt zwischen einmaligen Scrapes und riesigen Batch-URL-Listen.
-
Begrenzte Exploration
Steuern Sie depth und max_pages, damit Crawls vorhersehbar bleiben.
-
Webhooks
Optionales webhook_url, wenn der Crawl abgeschlossen ist.
-
Cursor-Pagination
Streamen Sie Seiten, während der Crawl läuft oder nach Abschluss.
-
Retrieve-Pipeline
Kombinieren Sie Crawls mit /v1/retrieve für Markdown-, HTML- oder JSON-Formate.
Crawl starten. Abfragen. Seiten auflisten.
Nutzen Sie Webhooks für Abschlusssignale; paginieren Sie Seiten mit cursor und limit.
Crawlen Sie alle Unterseiten
1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6crawl = client.crawls.create(
7 start_url="https://olostep.com",
8 max_pages=100,
9 include_urls=["/**"],
10 exclude_urls=["/collections/**"],
11 include_external=False,
12)
13
14print(crawl.id, crawl.status)
15
16# Wait for completion and iterate pages
17for page in crawl.pages():
18 print(page.url)
19 content = page.retrieve(["markdown"])
20 print(content.markdown_content[:200])1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const crawl = await client.crawls.create({
7 url: 'https://olostep.com',
8 maxPages: 100,
9 includeUrls: ['/**'],
10 excludeUrls: ['/collections/**'],
11 includeExternal: false,
12})
13
14console.log(crawl.id, crawl.status)
15
16// Wait for completion and iterate pages
17for await (const page of crawl.pages()) {
18 console.log(page.url)
19 const content = await client.retrieve({ retrieveId: page.retrieve_id, formats: ['markdown'] })
20 console.log(content.markdown_content.slice(0, 200))
21}1# Start crawl
2curl -s -X POST "https://api.olostep.com/v1/crawls" \
3 -H "Authorization: Bearer <YOUR_API_KEY>" \
4 -H "Content-Type: application/json" \
5 -d '{
6 "start_url": "https://olostep.com",
7 "max_pages": 100,
8 "include_urls": ["/**"],
9 "exclude_urls": ["/collections/**"],
10 "include_external": false
11 }'
12
13# Check status (replace <CRAWL_ID>)
14curl -s "https://api.olostep.com/v1/crawls/<CRAWL_ID>" \
15 -H "Authorization: Bearer <YOUR_API_KEY>"
16
17# Get pages (replace <CRAWL_ID>)
18curl -s "https://api.olostep.com/v1/crawls/<CRAWL_ID>/pages" \
19 -H "Authorization: Bearer <YOUR_API_KEY>"
20
21# Retrieve content (replace <RETRIEVE_ID>)
22curl -s -G "https://api.olostep.com/v1/retrieve" \
23 -H "Authorization: Bearer <YOUR_API_KEY>" \
24 --data-urlencode "retrieve_id=<RETRIEVE_ID>" \
25 --data-urlencode "formats=markdown"
Was Sie bauen können
Treiben Sie Enrichment, Monitoring und KI-Workflows mit Live-Webseiten an.
-
Dokumentations-Spiegel
Rufen Sie jede Docs-Seite für Offline-Suche oder RAG ab.
-
E-Commerce-Kataloge
Crawlen Sie Produktbereiche mit include-Mustern.
-
Compliance-Archive
Erstellen Sie Snapshots vieler Seiten einer Domain mit Audit-Metadaten.
Vertraut von großartigen Teams, die die Zukunft der KI gestalten
-
Michelle JuliaMitgründer & CEO AuriumOlostep ist das Beste!!! Wir haben komplette Datenpipelines mit nur einem Prompt automatisiert
-
Richard HeMitgründer & CEO OpenmartOlostep ist zur Standard-Web-Layer-Infrastruktur unseres Unternehmens geworden
-
Max Brodeur-UrbasMitgründer & CEO GumloopOlostep funktioniert wie ein Zauber! Und Ihr Kundenservice ist hervorragend
-
Rob HayesMitgründer MerchkitMit Olostep können wir jede Website in eine API verwandeln. Tolles Produkt, tolle Leute
-
Brandon CohenMitgründer & CTO CivilGridIch kann Olostep sehr empfehlen, ein großartiges Produkt!
-
Mitgründer & CEO Gedd.itWir verifizieren Gutscheincodes im großen Maßstab. Wir lieben Olostep. Es funktioniert mit jedem E-Commerce
-
Trevor WestMitgründer & CEO PodqiOlostep ist die beste API, um Daten aus dem Web zu suchen, zu extrahieren und zu strukturieren. Wir sind gerne Kunden
-
Rida NaveedMitgründer ZecentoWir nutzen /batches in Kombination mit Parsern, und es ist erstaunlich, wie wir strukturierte Daten in großem Maßstab erhalten
-
Kieran V.Growth PlotsEventsMit Olostep konnten wir Eventdaten im gesamten Web suchen und strukturieren
-
Paul MitGründer FoundbaseZuverlässige und kosteneffiziente API für die Arbeit mit Daten. Glückwunsch zum coolen Produkt
Starten Sie das Crawlen mit Olostep
Erhalten Sie saubere Daten für Ihre KI von jeder Website mit Olostep
Die kosteneffizienteste API. Für Skalierung gebaut
Häufig gestellte Fragen
-
Wofür ist der Crawl-Endpunkt gedacht?
Er durchläuft eine Website (innerhalb Ihrer Limits) und liefert Seiten-Datensätze, die Sie später mit /v1/retrieve abrufen können — ideal für Mehrseiten-Extraktion, ohne jede URL selbst orchestrieren zu müssen.
-
Wie erhalte ich den Seiteninhalt?
Listen Sie Seiten über /v1/crawls/{id}/pages auf und rufen Sie dann /v1/retrieve mit der retrieve_id jeder Seite auf. Bevorzugen Sie retrieve gegenüber veralteten Inline-Content-Feldern auf Seiten.
-
Kann ich filtern, welche URLs gecrawlt werden?
Ja. Verwenden Sie include_urls- und exclude_urls-Globs, search_query, top_n und verwandte Parameter wie dokumentiert.
-
Wie viel kostet das Crawlen?
Crawl wird pro gecrawlter Seite abgerechnet (aktuelle Preise siehe Docs).