Scelto dalle migliori startup startup nel mondo
Dall'URL iniziale a molte pagine
Gestisci l'estrazione di dati da più pagine senza dover sviluppare un crawler tutto tuo.
-
Invia l'URL del sito
Invia con POST l'URL della home page o di qualsiasi pagina di ingresso da cui desideri scoprire i percorsi.
-
Includi o escludi i percorsi
Usa pattern glob come /blog/** per concentrarti sulle sezioni che ti interessano.
-
Ottieni gli URL + imposta la paginazione
Ricevi fino a batch di grandi dimensioni per ogni risposta; utilizza il cursore quando sono disponibili altri URL.
Progettato per l'individuazione su larga scala
L'API /v1/maps è ottimizzata per siti di grandi dimensioni e per regole sui percorsi flessibili.
-
Rilevamento dell'intero sito
Individua gli URL anche al di là di un singolo file sitemap: utile per sitemap disordinate o incomplete.
-
Filtri glob
include_urls ed exclude_urls per restringere la ricerca a prodotti, documenti o sezioni del blog.
-
Controllo top_n
Limita il numero di URL che estrai quando ti serve solo un campione.
-
Preparazione per batch e crawling
Inserisci gli URL rilevati negli scraping o nei batch, su larga scala.
Mappa un sito web con una sola chiamata
Parametri opzionali: include_urls, exclude_urls, top_n e cursor per la paginazione.
Ottieni tutti gli URL di un sito web
1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6sitemap = client.maps.create(
7 url="https://docs.olostep.com",
8 include_urls=["/features/**"],
9 top_n=100,
10)
11
12print(f"Map ID: {sitemap.id}")
13
14# Iterate all URLs (handles pagination automatically)
15for url in sitemap.urls():
16 print(url)
1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const map = await client.maps.create({
7 url: 'https://docs.olostep.com',
8 includeUrls: ['/features/**'],
9 topN: 100,
10})
11
12console.log(`Map ID: ${map.id}`)
13
14// Iterate all URLs (handles pagination automatically)
15for await (const url of map.urls()) {
16 console.log(url)
17}
1curl -s -X POST "https://api.olostep.com/v1/maps" \
2 -H "Authorization: Bearer <YOUR_API_KEY>" \
3 -H "Content-Type: application/json" \
4 -d '{
5 "url": "https://docs.olostep.com",
6 "include_urls": ["/features/**"],
7 "top_n": 100
8 }'
Cosa puoi creare
Potenzia l'arricchimento dei dati, il monitoraggio e i flussi di lavoro dell'intelligenza artificiale utilizzando pagine web in tempo reale.
-
Audit SEO
Esegui l'inventario degli URL indicizzabili e confrontali con le sitemap.
-
Migrazioni di siti
Esporta elenchi di URL per i redirect e per le attività di QA.
-
Agenti IA
Fornisci agli agenti un elenco limitato di pagine da leggere o riassumere.
Scelto da team straordinari che stanno costruendo il futuro dell'IA
-
Michelle JuliaCo-fondatrice e CEO di AuriumOlostep è il top!!! Abbiamo automatizzato intere pipeline di dati con un semplice prompt
-
Richard HeCo-fondatore e CEO di OpenmartOlostep è diventata l'infrastruttura Web Layer predefinita per la nostra azienda
-
Max Brodeur-UrbasCo-fondatore e CEO di GumloopOlostep funziona a meraviglia! E il tuo servizio clienti è eccezionale
-
Rob HayesCo-fondatore di MerchkitOlostep ci permette di trasformare qualsiasi sito web in un'API. Ottimo prodotto, persone fantastiche
-
Brandon CohenCo-fondatore e CTO di CivilGridConsiglio vivamente Olostep: un prodotto fantastico!
-
Co-fondatore e CEO di Gedd.itVerifichiamo i codici sconto su larga scala. Adoro Olostep. Funziona su qualsiasi piattaforma di e-commerce.
-
Trevor WestCo-fondatore e CEO di PodqiOlostep è l'API migliore per cercare, estrarre e strutturare dati dal Web. Siamo felici di essere clienti
-
Rida NaveedCo-fondatore di ZecentoUsiamo /batches insieme ai parser ed è incredibile come riusciamo a ottenere dati strutturati su larga scala.
-
Kieran V.Growth PlotsEventsGrazie a Olostep abbiamo potuto cercare e strutturare i dati sugli eventi presenti in tutta la rete.
-
Paul MitFondatore di FoundbaseAPI affidabile ed economica per lavorare con i dati. Congratulazioni per il prodotto fantastico
Inizia a mappare il web
Ottieni dati puliti per la tua IA da qualsiasi sito web con Olostep
L'API più conveniente. Progettata per scalare