Scelto dalle migliori startup startup al mondo
Da un URL di partenza a molte pagine
Orchestri l'estrazione multipagina senza creare un crawler proprio.
-
Invii l'URL del sito
Invii in POST la homepage o qualsiasi URL di partenza da cui individuare i percorsi.
-
Includa o escluda percorsi
Usi pattern glob come /blog/** per concentrarsi sulle sezioni che le interessano.
-
Ottenga gli URL e usi la paginazione
Riceva batch molto ampi per ogni risposta; usi il cursor quando sono disponibili altri URL.
Pensato per l'individuazione degli URL su larga scala
L'API /v1/maps è ottimizzata per siti di grandi dimensioni e regole flessibili sui percorsi.
-
Individuazione degli URL dell'intero sito
Fa emergere URL oltre il singolo file sitemap: utile con sitemap disordinate o incomplete.
-
Filtri glob
include_urls ed exclude_urls per restringere il campo a sezioni di prodotti, documentazione o blog.
-
Controllo con top_n
Limiti il numero di URL estratti quando le serve solo un campione.
-
Preparazione di batch e crawling
Invii gli URL individuati a scrape o batch su larga scala.
Mappi un sito web con una sola chiamata
Parametri facoltativi include_urls, exclude_urls, top_n e cursor per la paginazione.
Ottenga tutti gli URL di un sito web
1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6sitemap = client.maps.create(
7 url="https://docs.olostep.com",
8 include_urls=["/features/**"],
9 top_n=100,
10)
11
12print(f"Map ID: {sitemap.id}")
13
14# Iterate all URLs (handles pagination automatically)
15for url in sitemap.urls():
16 print(url)1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const map = await client.maps.create({
7 url: 'https://docs.olostep.com',
8 includeUrls: ['/features/**'],
9 topN: 100,
10})
11
12console.log(`Map ID: ${map.id}`)
13
14// Iterate all URLs (handles pagination automatically)
15for await (const url of map.urls()) {
16 console.log(url)
17}1curl -s -X POST "https://api.olostep.com/v1/maps" \
2 -H "Authorization: Bearer <YOUR_API_KEY>" \
3 -H "Content-Type: application/json" \
4 -d '{
5 "url": "https://docs.olostep.com",
6 "include_urls": ["/features/**"],
7 "top_n": 100
8 }'
Cosa può realizzare
Alimenti arricchimento dei dati, monitoraggio e workflow di IA con pagine web in tempo reale.
-
Audit SEO
Inventari gli URL indicizzabili e li confronti con le sitemap.
-
Migrazioni di siti
Esporti elenchi di URL per redirect e controllo qualità.
-
Agenti IA
Fornisca agli agenti un elenco circoscritto di pagine da leggere o riassumere.
Scelto da team straordinari che stanno creando il futuro dell'IA
-
Michelle JuliaCo-founder & CEO AuriumOlostep è il migliore!!! Abbiamo automatizzato intere pipeline di dati con un semplice prompt
-
Richard HeCo-founder & CEO OpenmartOlostep è diventato l'infrastruttura di riferimento per il livello web della nostra azienda
-
Max Brodeur-UrbasCo-founder & CEO GumloopOlostep funziona alla perfezione! E il vostro servizio clienti è eccezionale
-
Rob HayesCo-founder MerchkitOlostep ci permette di trasformare qualsiasi sito web in un'API. Ottimo prodotto, persone fantastiche
-
Brandon CohenCo-founder & CTO CivilGridConsiglio vivamente Olostep, ottimo prodotto!
-
Co-founder & CEO Gedd.itVerifichiamo codici coupon su larga scala. Adoriamo Olostep. Funziona su qualsiasi e-commerce
-
Trevor WestCo-founder & CEO PodqiOlostep è la migliore API per cercare, estrarre e strutturare dati dal web. Siamo felici di essere clienti
-
Rida NaveedCo-founder ZecentoUsiamo /batches insieme ai parser ed è magico come riusciamo a ottenere dati strutturati su larga scala
-
Kieran V.Growth PlotsEventsOlostep ci ha permesso di cercare e strutturare dati sugli eventi in tutto il web
-
Paul MitFounder FoundbaseAPI affidabile e conveniente per lavorare con i dati. Complimenti per l'ottimo prodotto
Iniziare a mappare il web
Ottenga dati puliti per la sua IA da qualsiasi sito web con Olostep
L'API più conveniente. Progettata per scalare
Domande frequenti
-
A cosa serve l'endpoint Crawl?
Percorre un sito (entro i limiti da lei impostati) e restituisce record di pagina che potrà recuperare in seguito con /v1/retrieve: ideale per l'estrazione multipagina senza dover orchestrare ogni singolo URL.
-
Come ottengo il contenuto delle pagine?
Elenchi le pagine da /v1/crawls/{id}/pages, poi chiami /v1/retrieve con il retrieve_id di ciascuna pagina. Preferisca retrieve ai campi di contenuto inline delle pagine, ormai deprecati.
-
Posso filtrare gli URL sottoposti a crawling?
Sì. Utilizzi i glob include_urls ed exclude_urls, search_query, top_n e i parametri correlati indicati nella documentazione.
-
Quanto costa il crawling?
Il crawling viene fatturato per pagina elaborata (consulti i prezzi aggiornati nella documentazione).