Scelto dalle migliori startup startup al mondo
Da un elenco di URL ai contenuti recuperati
Orchestri l'estrazione multipagina senza creare un crawler proprio.
-
Inviare gli elementi
Invii in POST un array di elementi con custom_id e url, e facoltativamente un parser a livello di batch per ottenere JSON strutturato.
-
Attendere il completamento
Interroghi GET /v1/batches/{id} fino al completamento, oppure passi un URL webhook alla creazione per ricevere una richiesta HTTP POST al termine del batch (con nuovi tentativi).
-
Elencare e recuperare
GET /v1/batches/{id}/items con cursor; poi /v1/retrieve per ogni retrieve_id, in markdown o json.
Pensato per grandi elenchi
L'API /v1/batches affianca l'endpoint /v1/scrapes nei workflow ad alto volume.
Throughput elevato
Elabori grandi elenchi di URL in un solo job invece che con migliaia di richieste separate.
Tempi di esecuzione prevedibili
I job vengono completati in circa 5–8 minuti indipendentemente dalle dimensioni del batch (entro i limiti).
Paginazione a cursore
Scorra gli elementi con cursor e limit mentre il batch è in esecuzione o dopo il suo termine.
Pronto per i parser
Colleghi dei parser per ottenere JSON normalizzato per tutti gli elementi.
Webhook di completamento
Eviti il polling continuo: passi webhook alla creazione per ricevere una richiesta POST al completamento del batch, con nuovi tentativi automatici in caso di consegna non riuscita.
Metadati di batch ed elementi
Associ metadati chiave-valore in stile Stripe all'intero batch o a ogni elemento, per tracciamento, filtri e join nel suo stack.
Webhook e metadati
Opzioni native di POST /v1/batches affinché le pipeline di produzione
non dipendano solo dal polling e possano portare il suo contesto in ogni job.
Webhook
Passi webhook con un URL HTTPS pubblico (non localhost). Al completamento del batch, Olostep invia una richiesta HTTP POST con un payload di evento strutturato. Le consegne non riuscite vengono ritentate con backoff (più tentativi nell'arco di circa 30 minuti). Risponda con 2xx entro 30 secondi e utilizzi il campo id dell'evento per gestire i duplicati in sicurezza.
Riferimento API dei webhookMetadati
Aggiunga metadati a livello di batch (nella stessa richiesta di items) e/o su ogni elemento per etichette a livello di riga: ideale per ID di progetto, fase della pipeline o per correlare i risultati con il suo data warehouse. Chiavi e valori seguono i limiti documentati (in stile Stripe). I metadati vengono restituiti nelle risposte GET successive; può anche aggiornarli in modalità merge tramite PATCH.
Riferimento API dei metadatiAvvii un batch. Polling o webhook. Recuperi gli elementi.
Parser per JSON, cursore sugli elementi, più webhook e
metadati di batch/elementi facoltativi: consulti Create batch nel riferimento API.
Elabori fino a 10.000 URL in un solo batch. Risultati in 5–8 minuti
1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6batch = client.batches.create(
7 urls=[
8 {"custom_id": "item-1", "url": "https://www.google.com/search?q=stripe&gl=us&hl=en"},
9 {"custom_id": "item-2", "url": "https://www.google.com/search?q=paddle&gl=us&hl=en"},
10 ],
11 parser="@olostep/google-search",
12)
13
14print(batch.id, batch.status)
15
16# Wait and iterate results (auto-waits for completion)
17for item in batch.items():
18 content = item.retrieve(["json"])
19 print(item.url, item.custom_id)
20 print(content.json_content)1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const batch = await client.batches.create([
7 { url: 'https://www.google.com/search?q=stripe&gl=us&hl=en', customId: 'item-1' },
8 { url: 'https://www.google.com/search?q=paddle&gl=us&hl=en', customId: 'item-2' },
9], {
10 parser: '@olostep/google-search',
11})
12
13console.log(batch.id, batch.total_urls)
14
15// Wait and iterate results (auto-waits for completion)
16for await (const item of batch.items()) {
17 const content = await item.retrieve(['json'])
18 console.log(item.url, item.custom_id)
19 console.log(content.json_content)
20}1curl -s -X POST "https://api.olostep.com/v1/batches" \
2 -H "Authorization: Bearer <YOUR_API_KEY>" \
3 -H "Content-Type: application/json" \
4 -d '{
5 "items": [
6 {"custom_id": "item-1", "url": "https://www.google.com/search?q=stripe&gl=us&hl=en"},
7 {"custom_id": "item-2", "url": "https://www.google.com/search?q=paddle&gl=us&hl=en"}
8 ],
9 "parser": {"id": "@olostep/google-search"}
10 }'
Cosa può realizzare
Monitoraggio, arricchimento e raccolta di dati di addestramento su larga scala.
-
SERP e monitoraggio
Elabori molti URL di risultati di ricerca o di pagine elenco tramite un parser in un solo batch.
-
Acquisizione di cataloghi
Invii URL di prodotti o directory su larga scala.
-
Pipeline di dati
Affidi a Olostep i job notturni avviati dal suo data warehouse o orchestratore.
Scelto da team straordinari che stanno creando il futuro dell'IA
-
Michelle JuliaCo-founder & CEO AuriumOlostep è il migliore!!! Abbiamo automatizzato intere pipeline di dati con un semplice prompt
-
Richard HeCo-founder & CEO OpenmartOlostep è diventato l'infrastruttura di riferimento per il livello web della nostra azienda
-
Max Brodeur-UrbasCo-founder & CEO GumloopOlostep funziona alla perfezione! E il vostro servizio clienti è eccezionale
-
Rob HayesCo-founder MerchkitOlostep ci permette di trasformare qualsiasi sito web in un'API. Ottimo prodotto, persone fantastiche
-
Brandon CohenCo-founder & CTO CivilGridConsiglio vivamente Olostep, ottimo prodotto!
-
Co-founder & CEO Gedd.itVerifichiamo codici coupon su larga scala. Adoriamo Olostep. Funziona su qualsiasi e-commerce
-
Trevor WestCo-founder & CEO PodqiOlostep è la migliore API per cercare, estrarre e strutturare dati dal web. Siamo felici di essere clienti
-
Rida NaveedCo-founder ZecentoUsiamo /batches insieme ai parser ed è magico come riusciamo a ottenere dati strutturati su larga scala
-
Kieran V.Growth PlotsEventsOlostep ci ha permesso di cercare e strutturare dati sugli eventi in tutto il web
-
Paul MitFounder FoundbaseAPI affidabile e conveniente per lavorare con i dati. Complimenti per l'ottimo prodotto
Iniziare a elaborare URL in batch
Ottenga dati puliti per la sua IA da qualsiasi sito web con Olostep
L'API più conveniente. Progettata per scalare
Domande frequenti
-
Quando usare Batch invece di scrape in parallelo?
Batch è ottimizzato per volumi da centinaia a decine di migliaia di URL, con un tempo di esecuzione pressoché costante. Per piccoli insiemi di URL, le chiamate /v1/scrapes in parallelo sono spesso più rapide.
-
Posso usare Batch per monitorare i prezzi e-commerce su larghissima scala?
Sì. I team monitorano milioni di pagine prodotto eseguendo molti batch in parallelo (ciascuno entro i limiti del suo account). Associ un parser a livello di batch per ottenere solo il JSON che le serve (prezzo, recensioni, venditore, tempi di spedizione, disponibilità) invece dell'HTML completo, poi ricongiunga tutto tramite custom_id.
-
E per creare un motore di ricerca verticale basato sull'IA su milioni di URL e PDF?
Batch è adatto a grandi pipeline di acquisizione: invii enormi elenchi di URL (incluse pagine che rimandano a PDF o documenti), attenda il completamento del job in tempi prevedibili, poi elenchi gli elementi con cursor e recuperi il contenuto strutturato o in markdown di ogni URL tramite /v1/retrieve. Per scalare, distribuisca domini o gruppi su più batch.
-
Come aiuta Batch nella SEO o nella GEO (monitoraggio dei prompt sugli LLM)?
Sì. Utilizzi i glob include_urls ed exclude_urls, search_query, top_n e i parametri correlati indicati nella documentazione.
-
Che cos'è custom_id?
Il suo identificatore stabile per ogni riga, che le consente di ricongiungere i risultati del batch ai suoi sistemi interni.
-
Come ottengo JSON strutturato?
Passi un parser al batch (ad es. il parser google-search) in modo che gli elementi restituiscano JSON recuperabile tramite /v1/retrieve.
-
Come funzionano i webhook dei batch?
Includa un URL webhook HTTPS pubblico quando crea il batch. Al termine dell'elaborazione Olostep invia in POST un evento di completamento (ad es. batch.completed), con il conteggio degli elementi e l'id del batch nel payload. Le consegne non riuscite vengono ritentate con backoff esponenziale (fino a 5 tentativi in circa 30 minuti). Restituisca rapidamente un 2xx ed elimini i duplicati usando l'id dell'evento; consulti la documentazione dei webhook per la struttura dell'envelope e le best practice.
-
A cosa servono i metadati di batch ed elementi?
I metadati sono dati chiave-valore facoltativi (a livello di batch nel corpo della richiesta, oppure per elemento all'interno di ogni oggetto in items). Li usi per etichettare i job con nomi di progetto, ID interni, fase della pipeline o qualsiasi informazione utile per correlare i batch nei suoi sistemi. I valori seguono limiti in stile Stripe (ad es. massimo 50 chiavi). Può anche aggiornare i metadati in seguito, in modalità merge, tramite PATCH sul batch. Consulti la documentazione dei metadati per le regole di validazione.
-
Esistono limiti per account?
I nuovi account possono avere un limite di elementi per batch; contatti Olostep per aumentarlo. Per i dettagli consulti l'avviso nella documentazione.