Scelto dalle migliori startup startup nel mondo
Dall'URL iniziale a molte pagine
Gestisci l'estrazione di dati da più pagine senza dover sviluppare un crawler tutto tuo.
-
Avvia un crawl
Esegui una richiesta POST su start_url specificando include_urls, exclude_urls, max_pages e, facoltativamente, max_depth.
-
Polling o webhook
Esegui il polling di GET /v1/crawls/{id} finché lo stato non diventa "completed", oppure passa webhook_url per ricevere una notifica push.
-
Elenca le pagine ed esegui il recupero
Applica la paginazione alla richiesta GET /v1/crawls/{id}/pages, quindi recupera ogni retrieve_id tramite /v1/retrieve per ottenere il contenuto in formato Markdown o HTML.
Progettato per attività su più pagine
L'API /v1/crawls si colloca a metà strada tra gli scraping una tantum e le enormi liste di URL elaborate in batch.
-
Esplorazione con limiti definiti
Controlla la profondità e il parametro max_pages per mantenere i crawl prevedibili.
-
Webhook
webhook_url facoltativo al termine del crawling.
-
Paginazione con cursore
Trasmetti le pagine in streaming mentre il crawling è in corso o una volta completato.
-
Recupera la pipeline
Abbina i crawl all'endpoint /v1/retrieve per ottenere i risultati nei formati Markdown, HTML o JSON.
Avvia un crawl. Esegui il polling. Elenca le pagine.
Usa i webhook per i segnali di completamento; imposta la paginazione delle pagine con cursor e limit.
Esegui il crawling di tutte le sottopagine
1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6crawl = client.crawls.create(
7 start_url="https://olostep.com",
8 max_pages=100,
9 include_urls=["/**"],
10 exclude_urls=["/collections/**"],
11 include_external=False,
12)
13
14print(crawl.id, crawl.status)
15
16# Wait for completion and iterate pages
17for page in crawl.pages():
18 print(page.url)
19 content = page.retrieve(["markdown"])
20 print(content.markdown_content[:200])
1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const crawl = await client.crawls.create({
7 url: 'https://olostep.com',
8 maxPages: 100,
9 includeUrls: ['/**'],
10 excludeUrls: ['/collections/**'],
11 includeExternal: false,
12})
13
14console.log(crawl.id, crawl.status)
15
16// Wait for completion and iterate pages
17for await (const page of crawl.pages()) {
18 console.log(page.url)
19 const content = await client.retrieve({ retrieveId: page.retrieve_id, formats: ['markdown'] })
20 console.log(content.markdown_content.slice(0, 200))
21}
1# Start crawl
2curl -s -X POST "https://api.olostep.com/v1/crawls" \
3 -H "Authorization: Bearer <YOUR_API_KEY>" \
4 -H "Content-Type: application/json" \
5 -d '{
6 "start_url": "https://olostep.com",
7 "max_pages": 100,
8 "include_urls": ["/**"],
9 "exclude_urls": ["/collections/**"],
10 "include_external": false
11 }'
12
13# Check status (replace <CRAWL_ID>)
14curl -s "https://api.olostep.com/v1/crawls/<CRAWL_ID>" \
15 -H "Authorization: Bearer <YOUR_API_KEY>"
16
17# Get pages (replace <CRAWL_ID>)
18curl -s "https://api.olostep.com/v1/crawls/<CRAWL_ID>/pages" \
19 -H "Authorization: Bearer <YOUR_API_KEY>"
20
21# Retrieve content (replace <RETRIEVE_ID>)
22curl -s -G "https://api.olostep.com/v1/retrieve" \
23 -H "Authorization: Bearer <YOUR_API_KEY>" \
24 --data-urlencode "retrieve_id=<RETRIEVE_ID>" \
25 --data-urlencode "formats=markdown"
Cosa puoi creare
Potenzia l'arricchimento dei dati, il monitoraggio e i flussi di lavoro dell'intelligenza artificiale utilizzando pagine web in tempo reale.
-
Mirror della documentazione
Estrai tutte le pagine della documentazione per la ricerca offline o per il RAG.
-
Cataloghi di e-commerce
Esegui il crawling delle sezioni dei prodotti utilizzando pattern di inclusione.
-
Archivi di conformità
Acquisisci snapshot di numerose pagine all'interno di un dominio, insieme ai metadati di audit.
Scelto da team straordinari che stanno costruendo il futuro dell'IA
-
Michelle JuliaCo-fondatrice e CEO di AuriumOlostep è il top!!! Abbiamo automatizzato intere pipeline di dati con un semplice prompt
-
Richard HeCo-fondatore e CEO di OpenmartOlostep è diventata l'infrastruttura Web Layer predefinita per la nostra azienda
-
Max Brodeur-UrbasCo-fondatore e CEO di GumloopOlostep funziona a meraviglia! E il tuo servizio clienti è eccezionale
-
Rob HayesCo-fondatore di MerchkitOlostep ci permette di trasformare qualsiasi sito web in un'API. Ottimo prodotto, persone fantastiche
-
Brandon CohenCo-fondatore e CTO di CivilGridConsiglio vivamente Olostep: un prodotto fantastico!
-
Co-fondatore e CEO di Gedd.itVerifichiamo i codici sconto su larga scala. Adoro Olostep. Funziona su qualsiasi piattaforma di e-commerce.
-
Trevor WestCo-fondatore e CEO di PodqiOlostep è l'API migliore per cercare, estrarre e strutturare dati dal Web. Siamo felici di essere clienti
-
Rida NaveedCo-fondatore di ZecentoUsiamo /batches insieme ai parser ed è incredibile come riusciamo a ottenere dati strutturati su larga scala.
-
Kieran V.Growth PlotsEventsGrazie a Olostep abbiamo potuto cercare e strutturare i dati sugli eventi presenti in tutta la rete.
-
Paul MitFondatore di FoundbaseAPI affidabile ed economica per lavorare con i dati. Congratulazioni per il prodotto fantastico
Inizia a eseguire il crawling con Olostep
Ottieni dati puliti per la tua IA da qualsiasi sito web con Olostep
L'API più conveniente. Progettata per scalare