Scelto dalle migliori startup startup nel mondo
Dall'elenco degli URL ai contenuti recuperati
Gestisci l'estrazione di dati da più pagine senza dover sviluppare un crawler tutto tuo.
-
Invia gli elementi
Esegui una richiesta POST con un array di elementi contenenti custom_id e url — facoltativamente, puoi includere un parser a livello di batch per ottenere JSON strutturato.
-
Attendi il completamento
Esegui il polling di GET /v1/batches/{id} fino al completamento — oppure, al momento della creazione, fornisci l'URL di un webhook per ricevere una richiesta HTTP POST quando il batch viene completato (con tentativi ripetuti).
-
Elenca e recupera
Esegui una richiesta GET /v1/batches/{id}/items con un cursore; quindi, utilizza /v1/retrieve per ogni retrieve_id per ottenere il risultato in formato Markdown o JSON.
Progettato per elenchi di grandi dimensioni
L'API /v1/batches integra lo scraping per i flussi di lavoro ad alto volume.
Elevato throughput
Elabora elenchi di URL di grandi dimensioni in un unico job, invece di dover effettuare migliaia di richieste separate.
Tempo di esecuzione prevedibile
I job vengono completati in circa 5–8 minuti, indipendentemente dalla dimensione del batch (entro i limiti previsti).
Paginazione con cursore
Scorri gli elementi utilizzando il cursore e il parametro "limit" durante l'esecuzione del batch o al termine di quest'ultima.
Pronto per i parser
Collega i parser per restituire JSON normalizzato per tutti gli elementi.
Webhook di completamento
Evita il polling frequente: al momento della creazione, imposta un webhook per l'invio di una richiesta POST al completamento del batch, con tentativi automatici in caso di mancata consegna.
Metadati del batch e degli elementi
Aggiungi metadati chiave-valore in stile Stripe all'intero batch o a ogni singolo elemento, per facilitare il tracciamento, il filtraggio e i join nel tuo stack.
Webhook e metadati
Opzioni di prim'ordine per POST /v1/batches, in modo che le pipeline di produzione
non si affidino esclusivamente al polling e possano portare il tuo contesto in ogni job.
Webhook
Passa webhook con un HTTPS pubblico URL (non localhost). Al completamento del batch, Olostep invia una richiesta HTTP POST con un payload di evento strutturato. Le consegne non riuscite vengono nuovo tentativo con backoff (più tentativi nell'arco di circa 30 minuti). Rispondi con 2xx entro 30 secondi e utilizzare l'evento id per gestire i duplicati in modo sicuro.
Riferimento API per i webhookMetadati
Aggiungi metadati a a livello di batch (stessa richiesta di elementi) e/o su ogni elemento per i tag a livello di riga — ideali per gli ID dei progetti, per le fasi della pipeline o per mettere in correlazione i risultati con il tuo data warehouse. Le chiavi e i valori rispettano i limiti documentati (in stile Stripe). I metadati vengono restituiti nelle successive risposte GET; puoi anche aggiornare i metadati dei batch con un'operazione di merge-update tramite PATCH.
Riferimento all'API dei metadatiAvvia un batch. Poll o webhook. Recupera gli elementi.
Parser per JSON, cursore sugli elementi, più webhook opzionale e
metadati del batch/dell'elemento — consulta la sezione Crea batch nella documentazione dell'API.
Elabora fino a 10.000 URL in un unico batch. Ottieni i risultati in 5–8 minuti
1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6batch = client.batches.create(
7 urls=[
8 {"custom_id": "item-1", "url": "https://www.google.com/search?q=stripe&gl=us&hl=en"},
9 {"custom_id": "item-2", "url": "https://www.google.com/search?q=paddle&gl=us&hl=en"},
10 ],
11 parser="@olostep/google-search",
12)
13
14print(batch.id, batch.status)
15
16# Wait and iterate results (auto-waits for completion)
17for item in batch.items():
18 content = item.retrieve(["json"])
19 print(item.url, item.custom_id)
20 print(content.json_content)
1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const batch = await client.batches.create([
7 { url: 'https://www.google.com/search?q=stripe&gl=us&hl=en', customId: 'item-1' },
8 { url: 'https://www.google.com/search?q=paddle&gl=us&hl=en', customId: 'item-2' },
9], {
10 parser: '@olostep/google-search',
11})
12
13console.log(batch.id, batch.total_urls)
14
15// Wait and iterate results (auto-waits for completion)
16for await (const item of batch.items()) {
17 const content = await item.retrieve(['json'])
18 console.log(item.url, item.custom_id)
19 console.log(content.json_content)
20}
1curl -s -X POST "https://api.olostep.com/v1/batches" \
2 -H "Authorization: Bearer <YOUR_API_KEY>" \
3 -H "Content-Type: application/json" \
4 -d '{
5 "items": [
6 {"custom_id": "item-1", "url": "https://www.google.com/search?q=stripe&gl=us&hl=en"},
7 {"custom_id": "item-2", "url": "https://www.google.com/search?q=paddle&gl=us&hl=en"}
8 ],
9 "parser": {"id": "@olostep/google-search"}
10 }'
Cosa puoi creare
Monitoraggio, arricchimento e raccolta di dati per l'addestramento su larga scala.
-
SERP e monitoraggio
Elabora con un parser, in un unico batch, numerosi URL di ricerca o di annunci.
-
Acquisizione del catalogo
Inserisci URL di prodotti o di directory su larga scala.
-
Pipeline di dati
Affida i processi notturni al tuo data warehouse o al tuo orchestratore.
Scelto da team straordinari che stanno costruendo il futuro dell'IA
-
Michelle JuliaCo-fondatrice e CEO di AuriumOlostep è il top!!! Abbiamo automatizzato intere pipeline di dati con un semplice prompt
-
Richard HeCo-fondatore e CEO di OpenmartOlostep è diventata l'infrastruttura Web Layer predefinita per la nostra azienda
-
Max Brodeur-UrbasCo-fondatore e CEO di GumloopOlostep funziona a meraviglia! E il tuo servizio clienti è eccezionale
-
Rob HayesCo-fondatore di MerchkitOlostep ci permette di trasformare qualsiasi sito web in un'API. Ottimo prodotto, persone fantastiche
-
Brandon CohenCo-fondatore e CTO di CivilGridConsiglio vivamente Olostep: un prodotto fantastico!
-
Co-fondatore e CEO di Gedd.itVerifichiamo i codici sconto su larga scala. Adoro Olostep. Funziona su qualsiasi piattaforma di e-commerce.
-
Trevor WestCo-fondatore e CEO di PodqiOlostep è l'API migliore per cercare, estrarre e strutturare dati dal Web. Siamo felici di essere clienti
-
Rida NaveedCo-fondatore di ZecentoUsiamo /batches insieme ai parser ed è incredibile come riusciamo a ottenere dati strutturati su larga scala.
-
Kieran V.Growth PlotsEventsGrazie a Olostep abbiamo potuto cercare e strutturare i dati sugli eventi presenti in tutta la rete.
-
Paul MitFondatore di FoundbaseAPI affidabile ed economica per lavorare con i dati. Congratulazioni per il prodotto fantastico
Inizia a raggruppare gli URL in batch
Ottieni dati puliti per la tua IA da qualsiasi sito web con Olostep
L'API più conveniente. Progettata per scalare