Vertraut von den besten Startups Startups weltweit
Von der Start-URL zu vielen Seiten
Orchestrieren Sie die Mehrseiten-Extraktion, ohne einen eigenen Crawler zu bauen.
Crawl starten
POST start_url mit include_urls, exclude_urls, max_pages und optional max_depth.
Abfragen oder Webhook
Fragen Sie GET /v1/crawls/{id} ab, bis der Status completed ist, oder übergeben Sie webhook_url für eine Push-Benachrichtigung.
Seiten auflisten & abrufen
Paginieren Sie GET /v1/crawls/{id}/pages und rufen Sie dann jede retrieve_id über /v1/retrieve für Markdown oder HTML ab.
Gebaut für Mehrseiten-Jobs
Die /v1/crawls-API liegt zwischen einmaligen Scrapes und riesigen Batch-URL-Listen.
Begrenzte Exploration
Steuern Sie depth und max_pages, damit Crawls vorhersehbar bleiben.
Webhooks
Optionales webhook_url, wenn der Crawl abgeschlossen ist.
Cursor-Pagination
Streamen Sie Seiten, während der Crawl läuft oder nach Abschluss.
Retrieve-Pipeline
Kombinieren Sie Crawls mit /v1/retrieve für Markdown-, HTML- oder JSON-Formate.
Crawl starten. Abfragen. Seiten auflisten.
Nutzen Sie Webhooks für Abschlusssignale; paginieren Sie Seiten mit cursor und limit.
Crawlen Sie alle Unterseiten
1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6crawl = client.crawls.create(
7 start_url="https://olostep.com",
8 max_pages=100,
9 include_urls=["/**"],
10 exclude_urls=["/collections/**"],
11 include_external=False,
12)
13
14print(crawl.id, crawl.status)
15
16# Wait for completion and iterate pages
17for page in crawl.pages():
18 print(page.url)
19 content = page.retrieve(["markdown"])
20 print(content.markdown_content[:200])1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const crawl = await client.crawls.create({
7 url: 'https://olostep.com',
8 maxPages: 100,
9 includeUrls: ['/**'],
10 excludeUrls: ['/collections/**'],
11 includeExternal: false,
12})
13
14console.log(crawl.id, crawl.status)
15
16// Wait for completion and iterate pages
17for await (const page of crawl.pages()) {
18 console.log(page.url)
19 const content = await client.retrieve({ retrieveId: page.retrieve_id, formats: ['markdown'] })
20 console.log(content.markdown_content.slice(0, 200))
21}1# Start crawl
2curl -s -X POST "https://api.olostep.com/v1/crawls" \
3 -H "Authorization: Bearer <YOUR_API_KEY>" \
4 -H "Content-Type: application/json" \
5 -d '{
6 "start_url": "https://olostep.com",
7 "max_pages": 100,
8 "include_urls": ["/**"],
9 "exclude_urls": ["/collections/**"],
10 "include_external": false
11 }'
12
13# Check status (replace <CRAWL_ID>)
14curl -s "https://api.olostep.com/v1/crawls/<CRAWL_ID>" \
15 -H "Authorization: Bearer <YOUR_API_KEY>"
16
17# Get pages (replace <CRAWL_ID>)
18curl -s "https://api.olostep.com/v1/crawls/<CRAWL_ID>/pages" \
19 -H "Authorization: Bearer <YOUR_API_KEY>"
20
21# Retrieve content (replace <RETRIEVE_ID>)
22curl -s -G "https://api.olostep.com/v1/retrieve" \
23 -H "Authorization: Bearer <YOUR_API_KEY>" \
24 --data-urlencode "retrieve_id=<RETRIEVE_ID>" \
25 --data-urlencode "formats=markdown"
Was Sie bauen können
Treiben Sie Enrichment, Monitoring und KI-Workflows mit Live-Webseiten an.
Dokumentations-Spiegel
Rufen Sie jede Docs-Seite für Offline-Suche oder RAG ab.
E-Commerce-Kataloge
Crawlen Sie Produktbereiche mit include-Mustern.
Compliance-Archive
Erstellen Sie Snapshots vieler Seiten einer Domain mit Audit-Metadaten.
Vertraut von großartigen Teams, die die Zukunft der KI gestalten
Olostep ist das Beste!!! Wir haben komplette Datenpipelines mit nur einem Prompt automatisiert
Olostep ist zur Standard-Web-Layer-Infrastruktur unseres Unternehmens geworden
Olostep funktioniert wie ein Zauber! Und Ihr Kundenservice ist hervorragend
Mit Olostep können wir jede Website in eine API verwandeln. Tolles Produkt, tolle Leute
Ich kann Olostep sehr empfehlen, ein großartiges Produkt!
Wir verifizieren Gutscheincodes im großen Maßstab. Wir lieben Olostep. Es funktioniert mit jedem E-Commerce
Olostep ist die beste API, um Daten aus dem Web zu suchen, zu extrahieren und zu strukturieren. Wir sind gerne Kunden
Wir nutzen /batches in Kombination mit Parsern, und es ist erstaunlich, wie wir strukturierte Daten in großem Maßstab erhalten
Mit Olostep konnten wir Eventdaten im gesamten Web suchen und strukturieren
Zuverlässige und kosteneffiziente API für die Arbeit mit Daten. Glückwunsch zum coolen Produkt
Starten Sie das Crawlen mit Olostep
Erhalten Sie saubere Daten für Ihre KI von jeder Website mit Olostep
Die kosteneffizienteste API. Für Skalierung gebaut
Häufig gestellte Fragen
Wofür ist der Crawl-Endpunkt gedacht?
Er durchläuft eine Website (innerhalb Ihrer Limits) und liefert Seiten-Datensätze, die Sie später mit /v1/retrieve abrufen können — ideal für Mehrseiten-Extraktion, ohne jede URL selbst orchestrieren zu müssen.
Wie erhalte ich den Seiteninhalt?
Listen Sie Seiten über /v1/crawls/{id}/pages auf und rufen Sie dann /v1/retrieve mit der retrieve_id jeder Seite auf. Bevorzugen Sie retrieve gegenüber veralteten Inline-Content-Feldern auf Seiten.
Kann ich filtern, welche URLs gecrawlt werden?
Ja. Verwenden Sie include_urls- und exclude_urls-Globs, search_query, top_n und verwandte Parameter wie dokumentiert.
Wie viel kostet das Crawlen?
Crawl wird pro gecrawlter Seite abgerechnet (aktuelle Preise siehe Docs).
