Crawling ricorsivo, strutturato

API di web crawling per trasformare i siti in dataset

Trasformi un singolo URL in un dataset di pagine pulite. Il nostro crawler ricorsivo gestisce robots.txt, rendering JavaScript e limiti di pagine: ideale per RAG, addestramento dell'IA e migrazione di siti.

Iniziare gratuitamente

Nessuna carta di credito500 richieste gratuiteAdatto al no-code

Playground dell'API di web crawling

Esegua il crawling di un sito. Esamini il JSON strutturato.

Crawling in tempo reale

https://docs.olostep.com

Invii un URL per avviare un crawling in tempo reale. Un job di crawling viene eseguito in modo asincrono: questo playground interroga lo stato e le pagine man mano che vengono elaborate.

Dati strutturati JSON

{
  "start_url": "https://docs.olostep.com",
  "crawl_id": null,
  "status": null,
  "pages_count": 0,
  "pages": []
}

Esperienza per gli sviluppatori

Crei un job. Ne controlli lo stato fino al completamento.

I job di crawling vengono eseguiti in modo asincrono: ne avvii uno con un URL e un limite di pagine, poi ne controlli lo stato fino al completamento ed elenchi le pagine trovate.

API RESTAutenticazione tramite chiave APIJob asincrono + pollingRispetto di robots.txtRendering JavaScriptNotifiche webhook

Leggere la documentazione

# 1. Start the crawl
curl --request POST \
  --url https://api.olostep.com/v1/crawls \
  --header 'Authorization: Bearer YOUR_API_KEY' \
  --header 'Content-Type: application/json' \
  --data '{
    "start_url": "https://docs.olostep.com",
    "max_pages": 5,
    "include_urls": ["/**"]
  }'

# 2. Poll for status (repeat until status is "completed")
curl --url https://api.olostep.com/v1/crawls/CRAWL_ID \
  --header 'Authorization: Bearer YOUR_API_KEY'

# 3. List crawled pages
curl --url 'https://api.olostep.com/v1/crawls/CRAWL_ID/pages?cursor=0&limit=25' \
  --header 'Authorization: Bearer YOUR_API_KEY'

Scelto dalle migliori startup del mondo

Il problema

Trasformare un sito web in dati utilizzabili è più difficile di quanto sembri

Non conosce tutti gli URL
I siti non forniscono un elenco completo delle pagine: per scoprirle deve seguire i link da solo.
I siti moderni richiedono un browser
Le single-page app generano i contenuti con JavaScript, quindi una semplice richiesta HTTP perde gran parte della pagina.
La scalabilità richiede la gestione delle code
Il crawling di centinaia di pagine comporta richieste simultanee, nuovi tentativi e rate limit: è facile sbagliare.

Job asincrono, pagine strutturate

Avvii un crawl, interroghi i risultati

Invii un URL di partenza e un limite di pagine, interroghi il job fino al completamento e riceva un elenco pulito di tutte le pagine trovate.

Individuazione ricorsivaLimiti di pagine e profonditàGlob di inclusione/esclusione degli URLWebhook al completamentoRispetto di robots.txtContenuto completo delle pagine su richiesta

{
  "id": "crawl_20tyuvpx78",
  "status": "completed",
  "pages_count": 3,
  "pages": [
    { "url": "https://example.com/", "retrieve_id": "ftfky1o5lo" },
    { "url": "https://example.com/docs", "retrieve_id": "gr427f2yny" }
  ]
}

Funzionalità

Progettata per acquisire interi siti, non solo singole pagine

Crawling ricorsivo
Parta da un URL e segua i link in tutto il dominio, fino a un limite di pagine o di profondità stabilito da lei.
Rendering JS
Le pagine vengono renderizzate con un browser reale, così single-page app e siti ricchi di JS vengono acquisiti per intero.
Rispetto di robots.txt
Per impostazione predefinita i crawl seguono robots.txt, così lei resta entro le regole di crawling dichiarate dal sito.
Dati strutturati delle pagine
Ogni pagina sottoposta a crawling viene restituita con il suo URL e un retrieve_id per recuperarne il contenuto completo.
Modello a job asincroni
Avvii un crawl e ne interroghi lo stato: nessuna connessione prolungata, nessun timeout dal suo lato.
Workflow pronti per i batch
Esegua il crawling programmato di molti domini per mantenere aggiornati dataset e knowledge base.

Casi d'uso

Trasformi qualsiasi sito in un dataset pulito e utilizzabile

Knowledge base per RAG
Acquisisca siti di documentazione e help center per ancorare i modelli di IA a contenuti reali.
Audit SEO
Esegua il crawling di un dominio per esaminarne struttura, contenuti e copertura delle pagine.
Migrazione dei contenuti
Estragga l'intero contenuto di un sito in pagine pulite in vista di una migrazione di CMS o piattaforma.
Market intelligence
Monitori i siti dei concorrenti per individuare nuove pagine, variazioni di prezzo o modifiche ai prodotti.
Mappatura del sito
Comprenda la struttura e i link interni di un dominio prima di un'analisi più approfondita.
Dataset offline
Crei uno snapshot dei contenuti di un sito per addestramento o analisi.

Come funziona

Da un URL a un dataset completo

01
Avviare un crawl
Invii un URL di partenza, un limite di pagine e pattern facoltativi di inclusione/esclusione. Riceverà subito un id del job.
02
Spidering ricorsivo
Olostep visita le pagine, segue i link ed elabora il dominio entro i limiti da lei stabiliti.
03
Recuperare le pagine
Interroghi lo stato, quindi elenchi le pagine trovate, ognuna con un retrieve_id per il contenuto completo.

Confronto

Sviluppare un crawler interno o usare un'API?

Requisito

Sviluppo interno

Usare l'API

Individuazione dei link

Scrivere uno spider

Impostare un URL di partenza

Rendering JS

Gestire in proprio i browser headless

Gestito automaticamente

Rate limiting e retry

Sviluppare un'infrastruttura di code

Gestito per lei

Gestione di robots.txt

Implementare e mantenere

Rispettato per impostazione predefinita

Limiti di pagine e filtri

Logica personalizzata

max_pages, include/exclude

Tempo degli sviluppatori

Costo continuo elevato

Una richiesta + polling

Ancori la sua IA a un intero sito, non a una sola pagina

Acquisisca documentazione, help center e knowledge base con un solo crawl: pagine pulite pronte per pipeline RAG, set di addestramento o migrazioni.

Prezzi

Prezzi dell'API di web crawling

Inizi con 500 richieste gratuite, poi scali i crawl man mano che il volume cresce.

Starter
$9/ mese
Per test, prototipi e piccoli crawl.
- Tutto ciò che è incluso nel piano Free
- 5.000 richieste riuscite
- 150 richieste simultanee
Iniziare gratuitamente
Standard
$99/ mese
Per crawl ricorrenti e knowledge base.
- Tutto ciò che è incluso nel piano Starter
- 200.000 richieste riuscite
- 500 richieste simultanee
Acquistare ora
Scale
$399/ mese
Per piattaforme ad alto volume e workflow enterprise.
- Tutto ciò che è incluso nel piano Standard
- 1 milione di richieste riuscite
- Automazioni del browser basate sull'IA
Passare a Scale

Verifichi i prezzi e i limiti attuali dei piani nella dashboard prima dell'acquisto.

Domande frequenti

Prodotto e funzionalità

Che cos'è un'API di web crawling?
Un'API di web crawling parte da un URL e segue ricorsivamente i link di un sito, restituendo il contenuto di ogni pagina visitata, fino al limite di pagine o di profondità da lei impostato.
Qual è la differenza tra crawling e scraping?
Lo scraping estrae dati da un singolo URL noto. Il crawling parte da un URL e individua automaticamente le altre pagine del sito, quindi non serve conoscere in anticipo l'elenco completo degli URL.
Gestisce i siti renderizzati con JavaScript?
Sì. Le pagine vengono renderizzate con un browser reale prima di acquisirne i contenuti, così le single-page app realizzate con React, Next.js e framework simili vengono gestite correttamente.

Utilizzo e automazione

Il crawler rispetta robots.txt?
Sì, per impostazione predefinita. Il comportamento può essere modificato se ha l'autorizzazione a eseguire un crawling più esteso del sito.
Come verifico se un crawl è terminato?
Interroghi l'endpoint di stato del crawl finché lo stato non è completed, oppure indichi un webhook_url per ricevere una notifica automatica.
Posso limitare o filtrare ciò che viene sottoposto a crawling?
Sì. Imposti max_pages e max_depth per delimitare il crawl e usi i pattern glob include_urls / exclude_urls per mirare a sezioni specifiche del sito.
Come ottengo il contenuto di una pagina sottoposta a crawling?
Ogni pagina nei risultati del crawl include un retrieve_id: lo utilizzi con l'endpoint retrieve per recuperare il contenuto completo della pagina in HTML o Markdown.

Prezzi e piani

Come viene fatturato un crawl?
La fatturazione si basa sulle pagine elaborate con successo: un crawl di 50 pagine conta come 50 richieste sul suo piano.
Le pagine non riuscite vengono conteggiate nel mio limite?
No, vengono fatturate solo le pagine elaborate con successo.
Esiste un piano gratuito?
Sì, 500 richieste gratuite alla registrazione: sufficienti per il crawling di diversi piccoli siti o per testare l'API.

Raccolga i contenuti di un sito senza gestire un'infrastruttura di crawling

Parta da un URL e colleghi pagine pulite e strutturate a workflow di RAG, addestramento, migrazione o ricerca.

Ottenere la chiave API

API di web crawling per trasformare i siti in dataset

Esegua il crawling di un sito. Esamini il JSON strutturato.

Crei un job. Ne controlli lo stato fino al completamento.

Scelto dalle migliori startup del mondo

Trasformare un sito web in dati utilizzabili è più difficile di quanto sembri

Non conosce tutti gli URL

I siti moderni richiedono un browser

La scalabilità richiede la gestione delle code

Avvii un crawl, interroghi i risultati

Progettata per acquisire interi siti, non solo singole pagine

Crawling ricorsivo

Rendering JS

Rispetto di robots.txt

Dati strutturati delle pagine

Modello a job asincroni

Workflow pronti per i batch

Trasformi qualsiasi sito in un dataset pulito e utilizzabile

Knowledge base per RAG

Audit SEO

Migrazione dei contenuti

Market intelligence

Mappatura del sito

Dataset offline

Da un URL a un dataset completo

Avviare un crawl

Spidering ricorsivo

Recuperare le pagine

Sviluppare un crawler interno o usare un'API?

Ancori la sua IA a un intero sito, non a una sola pagina

Prezzi dell'API di web crawling

Domande frequenti

Raccolga i contenuti di un sito senza gestire un'infrastruttura di crawling