Vertraut von den besten Startups Startups weltweit
Von der Start-URL zu vielen Seiten
Orchestrieren Sie die Mehrseiten-Extraktion, ohne einen eigenen Crawler zu bauen.
-
Senden Sie die Site-URL
POSTen Sie die Startseite oder eine beliebige Einstiegs-URL, von der aus Pfade entdeckt werden sollen.
-
Pfade ein- oder ausschließen
Verwenden Sie Glob-Muster wie /blog/**, um sich auf die relevanten Bereiche zu konzentrieren.
-
URLs erhalten + paginieren
Erhalten Sie große Batches pro Antwort; verwenden Sie cursor, wenn weitere URLs verfügbar sind.
Gebaut für Discovery im großen Maßstab
Die /v1/maps-API ist auf große Websites und flexible Pfadregeln abgestimmt.
-
Website-weite Discovery
Finden Sie URLs jenseits einer einzelnen Sitemap-Datei — nützlich bei unvollständigen oder unübersichtlichen Sitemaps.
-
Glob-Filter
include_urls und exclude_urls, um auf Produkt-, Docs- oder Blog-Bereiche einzugrenzen.
-
top_n-Steuerung
Begrenzen Sie, wie viele URLs Sie abrufen, wenn Sie nur eine Stichprobe benötigen.
-
Batch- & Crawl-Vorbereitung
Speisen Sie entdeckte URLs in großem Maßstab in Scrapes oder Batches ein.
Eine Website mit einem Aufruf mappen
Optional include_urls, exclude_urls, top_n und cursor für Pagination.
Alle URLs einer Website abrufen
1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6sitemap = client.maps.create(
7 url="https://docs.olostep.com",
8 include_urls=["/features/**"],
9 top_n=100,
10)
11
12print(f"Map ID: {sitemap.id}")
13
14# Iterate all URLs (handles pagination automatically)
15for url in sitemap.urls():
16 print(url)1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const map = await client.maps.create({
7 url: 'https://docs.olostep.com',
8 includeUrls: ['/features/**'],
9 topN: 100,
10})
11
12console.log(`Map ID: ${map.id}`)
13
14// Iterate all URLs (handles pagination automatically)
15for await (const url of map.urls()) {
16 console.log(url)
17}1curl -s -X POST "https://api.olostep.com/v1/maps" \
2 -H "Authorization: Bearer <YOUR_API_KEY>" \
3 -H "Content-Type: application/json" \
4 -d '{
5 "url": "https://docs.olostep.com",
6 "include_urls": ["/features/**"],
7 "top_n": 100
8 }'
Was Sie bauen können
Treiben Sie Enrichment, Monitoring und KI-Workflows mit Live-Webseiten an.
-
SEO-Audits
Erfassen Sie indexierbare URLs und vergleichen Sie sie mit Sitemaps.
-
Website-Migrationen
Exportieren Sie URL-Listen für Redirects und QA.
-
KI-Agenten
Geben Sie Agenten eine begrenzte Liste von Seiten zum Lesen oder Zusammenfassen.
Vertraut von großartigen Teams, die die Zukunft der KI gestalten
-
Michelle JuliaMitgründer & CEO AuriumOlostep ist das Beste!!! Wir haben komplette Datenpipelines mit nur einem Prompt automatisiert
-
Richard HeMitgründer & CEO OpenmartOlostep ist zur Standard-Web-Layer-Infrastruktur unseres Unternehmens geworden
-
Max Brodeur-UrbasMitgründer & CEO GumloopOlostep funktioniert wie ein Zauber! Und Ihr Kundenservice ist hervorragend
-
Rob HayesMitgründer MerchkitMit Olostep können wir jede Website in eine API verwandeln. Tolles Produkt, tolle Leute
-
Brandon CohenMitgründer & CTO CivilGridIch kann Olostep sehr empfehlen, ein großartiges Produkt!
-
Mitgründer & CEO Gedd.itWir verifizieren Gutscheincodes im großen Maßstab. Wir lieben Olostep. Es funktioniert mit jedem E-Commerce
-
Trevor WestMitgründer & CEO PodqiOlostep ist die beste API, um Daten aus dem Web zu suchen, zu extrahieren und zu strukturieren. Wir sind gerne Kunden
-
Rida NaveedMitgründer ZecentoWir nutzen /batches in Kombination mit Parsern, und es ist erstaunlich, wie wir strukturierte Daten in großem Maßstab erhalten
-
Kieran V.Growth PlotsEventsMit Olostep konnten wir Eventdaten im gesamten Web suchen und strukturieren
-
Paul MitGründer FoundbaseZuverlässige und kosteneffiziente API für die Arbeit mit Daten. Glückwunsch zum coolen Produkt
Starten Sie das Mapping des Webs
Erhalten Sie saubere Daten für Ihre KI von jeder Website mit Olostep
Die kosteneffizienteste API. Für Skalierung gebaut
Häufig gestellte Fragen
-
Wofür ist der Crawl-Endpunkt gedacht?
Er durchläuft eine Website (innerhalb Ihrer Limits) und liefert Seiten-Datensätze, die Sie später mit /v1/retrieve abrufen können — ideal für Mehrseiten-Extraktion, ohne jede URL selbst orchestrieren zu müssen.
-
Wie erhalte ich den Seiteninhalt?
Listen Sie Seiten über /v1/crawls/{id}/pages auf und rufen Sie dann /v1/retrieve mit der retrieve_id jeder Seite auf. Bevorzugen Sie retrieve gegenüber veralteten Inline-Content-Feldern auf Seiten.
-
Kann ich filtern, welche URLs gecrawlt werden?
Ja. Verwenden Sie include_urls- und exclude_urls-Globs, search_query, top_n und verwandte Parameter wie dokumentiert.
-
Wie viel kostet das Crawlen?
Crawl wird pro gecrawlter Seite abgerechnet (aktuelle Preise siehe Docs).