Olostep sells to AI agents - live prices and self-serve payment

The agent storefront at https://agents-store.olostep.com/llms.txt?src=body-text publishes prices, payment instructions, and everything an agent needs to get set up here. Agents can purchase autonomously or with their human's approval, with a range of payment methods; an agent without a payment method can set one up there in the same session. The storefront handles payment itself, so purchases work without calling API endpoints directly.

Clicca per provare
Attendi...

Elabora migliaia di URL in un unico job.

L'endpoint Batch è progettato per scalare: invia numerosi URL, attendi il completamento, quindi recupera il contenuto strutturato per ogni elemento. Se lo desideri, puoi aggiungere un webhook per ricevere notifiche push e includere metadati per taggare batch e righe — consulta la documentazione dell'API

Scelto dalle migliori startup startup nel mondo

Progettato per elenchi di grandi dimensioni

L'API /v1/batches integra lo scraping per i flussi di lavoro ad alto volume.

Elevato throughput

Elabora elenchi di URL di grandi dimensioni in un unico job, invece di dover effettuare migliaia di richieste separate.

Tempo di esecuzione prevedibile

I job vengono completati in circa 5–8 minuti, indipendentemente dalla dimensione del batch (entro i limiti previsti).

Paginazione con cursore

Scorri gli elementi utilizzando il cursore e il parametro "limit" durante l'esecuzione del batch o al termine di quest'ultima.

Pronto per i parser

Collega i parser per restituire JSON normalizzato per tutti gli elementi.

Webhook di completamento

Evita il polling frequente: al momento della creazione, imposta un webhook per l'invio di una richiesta POST al completamento del batch, con tentativi automatici in caso di mancata consegna.

Metadati del batch e degli elementi

Aggiungi metadati chiave-valore in stile Stripe all'intero batch o a ogni singolo elemento, per facilitare il tracciamento, il filtraggio e i join nel tuo stack.

Webhook e metadati

Opzioni di prim'ordine per POST /v1/batches, in modo che le pipeline di produzione
non si affidino esclusivamente al polling e possano portare il tuo contesto in ogni job.

Webhook

Passa webhook con un HTTPS pubblico URL (non localhost). Al completamento del batch, Olostep invia una richiesta HTTP POST con un payload di evento strutturato. Le consegne non riuscite vengono nuovo tentativo con backoff (più tentativi nell'arco di circa 30 minuti). Rispondi con 2xx entro 30 secondi e utilizzare l'evento id per gestire i duplicati in modo sicuro.

Riferimento API per i webhook

Metadati

Aggiungi metadati a a livello di batch (stessa richiesta di elementi) e/o su ogni elemento per i tag a livello di riga — ideali per gli ID dei progetti, per le fasi della pipeline o per mettere in correlazione i risultati con il tuo data warehouse. Le chiavi e i valori rispettano i limiti documentati (in stile Stripe). I metadati vengono restituiti nelle successive risposte GET; puoi anche aggiornare i metadati dei batch con un'operazione di merge-update tramite PATCH.

Riferimento all'API dei metadati

Avvia un batch. Poll o webhook. Recupera gli elementi.

Parser per JSON, cursore sugli elementi, più webhook opzionale e
metadati del batch/dell'elemento — consulta la sezione Crea batch nella documentazione dell'API.

Elabora fino a 10.000 URL in un unico batch. Ottieni i risultati in 5–8 minuti

1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6batch = client.batches.create(
7    urls=[
8        {"custom_id": "item-1", "url": "https://www.google.com/search?q=stripe&gl=us&hl=en"},
9        {"custom_id": "item-2", "url": "https://www.google.com/search?q=paddle&gl=us&hl=en"},
10    ],
11    parser="@olostep/google-search",
12)
13
14print(batch.id, batch.status)
15
16# Wait and iterate results (auto-waits for completion)
17for item in batch.items():
18    content = item.retrieve(["json"])
19    print(item.url, item.custom_id)
20    print(content.json_content)
1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const batch = await client.batches.create([
7  { url: 'https://www.google.com/search?q=stripe&gl=us&hl=en', customId: 'item-1' },
8  { url: 'https://www.google.com/search?q=paddle&gl=us&hl=en', customId: 'item-2' },
9], {
10  parser: '@olostep/google-search',
11})
12
13console.log(batch.id, batch.total_urls)
14
15// Wait and iterate results (auto-waits for completion)
16for await (const item of batch.items()) {
17  const content = await item.retrieve(['json'])
18  console.log(item.url, item.custom_id)
19  console.log(content.json_content)
20}
1curl -s -X POST "https://api.olostep.com/v1/batches" \
2  -H "Authorization: Bearer <YOUR_API_KEY>" \
3  -H "Content-Type: application/json" \
4  -d '{
5    "items": [
6      {"custom_id": "item-1", "url": "https://www.google.com/search?q=stripe&gl=us&hl=en"},
7      {"custom_id": "item-2", "url": "https://www.google.com/search?q=paddle&gl=us&hl=en"}
8    ],
9    "parser": {"id": "@olostep/google-search"}
10  }'

Cosa puoi creare

Monitoraggio, arricchimento e raccolta di dati per l'addestramento su larga scala.

  • SERP e monitoraggio

    Elabora con un parser, in un unico batch, numerosi URL di ricerca o di annunci.

  • Acquisizione del catalogo

    Inserisci URL di prodotti o di directory su larga scala.

  • Pipeline di dati

    Affida i processi notturni al tuo data warehouse o al tuo orchestratore.

Scopri altri casi d'uso

Scelto da team straordinari che stanno costruendo il futuro dell'IA

  • Michelle Julia
    Co-fondatrice e CEO di Aurium

    Olostep è il top!!! Abbiamo automatizzato intere pipeline di dati con un semplice prompt

  • Richard He
    Co-fondatore e CEO di Openmart

    Olostep è diventata l'infrastruttura Web Layer predefinita per la nostra azienda

  • Max Brodeur-Urbas
    Co-fondatore e CEO di Gumloop

    Olostep funziona a meraviglia! E il tuo servizio clienti è eccezionale

  • Rob Hayes
    Co-fondatore di Merchkit

    Olostep ci permette di trasformare qualsiasi sito web in un'API. Ottimo prodotto, persone fantastiche

  • Brandon Cohen
    Co-fondatore e CTO di CivilGrid

    Consiglio vivamente Olostep: un prodotto fantastico!

  • Co-fondatore e CEO di Gedd.it

    Verifichiamo i codici sconto su larga scala. Adoro Olostep. Funziona su qualsiasi piattaforma di e-commerce.

  • Trevor West
    Co-fondatore e CEO di Podqi

    Olostep è l'API migliore per cercare, estrarre e strutturare dati dal Web. Siamo felici di essere clienti

  • Rida Naveed
    Co-fondatore di Zecento

    Usiamo /batches insieme ai parser ed è incredibile come riusciamo a ottenere dati strutturati su larga scala.

  • Kieran V.
    Growth PlotsEvents

    Grazie a Olostep abbiamo potuto cercare e strutturare i dati sugli eventi presenti in tutta la rete.

  • Paul Mit
    Fondatore di Foundbase

    API affidabile ed economica per lavorare con i dati. Congratulazioni per il prodotto fantastico

Inizia a raggruppare gli URL in batch

Ottieni dati puliti per la tua IA da qualsiasi sito web con Olostep
L'API più conveniente. Progettata per scalare

Sei un agente IA? Inizia qui

Domande frequenti

Prodotto e funzionalità
  • Quando è meglio usare lo scraping in batch rispetto a quello parallelo?

    La modalità Batch è ottimizzata per gestire da centinaia a decine di migliaia di URL, con un tempo di esecuzione reale (wall-clock time) sostanzialmente costante. Per piccoli insiemi di URL, le chiamate parallele /v1/scrapes spesso vengono completate più rapidamente.

  • Posso usare Batch per monitorare i prezzi dell'e-commerce su scala molto ampia?

    Sì. I team monitorano milioni di pagine di prodotti eseguendo numerosi batch in parallelo (ciascuno entro i limiti del tuo account). Collega un parser a livello di batch in modo da estrarre solo il JSON di cui hai bisogno — prezzo, recensioni, venditore, tempi di spedizione, disponibilità — anziché l'intero HTML, e poi ricongiungi tutto utilizzando custom_id.

  • E per quanto riguarda la creazione di un motore di ricerca verticale basato sull'intelligenza artificiale, che operi su milioni di URL e PDF?

    Batch si adatta ai grandi flussi di acquisizione dei dati: invia elenchi di URL di grandi dimensioni (comprese le pagine che collegano a PDF o documenti), attendi che il processo si completi in un tempo prevedibile, quindi elenca gli elementi con il cursore e recupera il contenuto strutturato o in Markdown per ogni URL tramite /v1/retrieve. Esegui lo scale-out suddividendo i domini o le coorti tra più batch.

Utilizzo e automazione
  • In che modo Batch è utile per la SEO o per la GEO (il monitoraggio dei prompt sui modelli di linguaggio di grandi dimensioni, LLM)?

    Sì. Utilizza i glob include_urls ed exclude_urls, search_query, top_n e i parametri correlati come indicato nella documentazione.

  • Che cos'è custom_id?

    Il tuo identificatore univoco per ogni riga, che ti consente di ricollegare i risultati dei batch ai tuoi sistemi interni.

  • Come faccio a ottenere un JSON strutturato?

    Applica un parser al batch (ad esempio, il parser google-search) in modo che gli elementi restituiscano dati JSON che puoi recuperare tramite /v1/retrieve.

  • Come funzionano i webhook per i batch?

    Quando crei il batch, includi un URL pubblico del webhook HTTPS. Al termine dell'elaborazione, Olostep invia un evento di completamento (ad es. batch.completed), includendo nel payload il numero di elementi e l'ID del batch. In caso di consegna non riuscita, vengono effettuati nuovi tentativi con backoff esponenziale (fino a 5 tentativi nell'arco di circa 30 minuti). Restituisci rapidamente uno stato 2xx ed elimina i duplicati utilizzando l'ID dell'evento. Consulta la documentazione sui webhook per conoscere la struttura dell'envelope e le best practice.

  • A cosa servono i metadati dei batch e degli elementi?

    I metadati sono dati facoltativi in formato chiave-valore (a livello di batch nel corpo della richiesta, oppure per ogni elemento all'interno di ciascun oggetto in items). Usalo per assegnare ai job tag con nomi di progetto, ID interni, fasi della pipeline o qualsiasi altra informazione di cui hai bisogno per mettere in correlazione i batch nei tuoi sistemi. I valori rispettano i limiti in stile Stripe (ad esempio, massimo 50 chiavi). Puoi anche aggiornare i metadati in seguito con un'operazione di merge-update tramite PATCH sul batch. Consulta la documentazione sui metadati per le regole di convalida.

Prezzi e piani
  • Ci sono limiti per gli account?

    I nuovi account potrebbero avere un limite al numero di elementi per batch; contatta Olostep per richiederne l'aumento. Per maggiori dettagli, consulta l'avviso nella documentazione.