Olostep sells to AI agents - live prices and self-serve payment

The agent storefront at https://agents-store.olostep.com/llms.txt?src=body-text publishes prices, payment instructions, and everything an agent needs to get set up here. Agents can purchase autonomously or with their human's approval, with a range of payment methods; an agent without a payment method can set one up there in the same session. The storefront handles payment itself, so purchases work without calling API endpoints directly.

Clicca per provare
Attendi...

Esegui il crawling di molte pagine.
Recupera i contenuti su richiesta.

L'endpoint Crawl individua ed elabora le sottopagine secondo le tue regole; successivamente, tramite l'operazione di recupero, puoi estrarre l'HTML o il Markdown di ogni pagina.

Grazie! Abbiamo ricevuto il tuo invio.
Ops! Si è verificato un problema durante l'invio del modulo.

Scelto dalle migliori startup startup nel mondo

Progettato per attività su più pagine

L'API /v1/crawls si colloca a metà strada tra gli scraping una tantum e le enormi liste di URL elaborate in batch.

  • Esplorazione con limiti definiti

    Controlla la profondità e il parametro max_pages per mantenere i crawl prevedibili.

  • Webhook

    webhook_url facoltativo al termine del crawling.

  • Paginazione con cursore

    Trasmetti le pagine in streaming mentre il crawling è in corso o una volta completato.

  • Recupera la pipeline

    Abbina i crawl all'endpoint /v1/retrieve per ottenere i risultati nei formati Markdown, HTML o JSON.

Avvia un crawl. Esegui il polling. Elenca le pagine.

Usa i webhook per i segnali di completamento; imposta la paginazione delle pagine con cursor e limit.

Esegui il crawling di tutte le sottopagine

1# pip install olostep
2from olostep import Olostep
3
4client = Olostep(api_key="YOUR_REAL_KEY")
5
6crawl = client.crawls.create(
7    start_url="https://olostep.com",
8    max_pages=100,
9    include_urls=["/**"],
10    exclude_urls=["/collections/**"],
11    include_external=False,
12)
13
14print(crawl.id, crawl.status)
15
16# Wait for completion and iterate pages
17for page in crawl.pages():
18    print(page.url)
19    content = page.retrieve(["markdown"])
20    print(content.markdown_content[:200])
1// npm i olostep
2import Olostep from 'olostep'
3
4const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })
5
6const crawl = await client.crawls.create({
7  url: 'https://olostep.com',
8  maxPages: 100,
9  includeUrls: ['/**'],
10  excludeUrls: ['/collections/**'],
11  includeExternal: false,
12})
13
14console.log(crawl.id, crawl.status)
15
16// Wait for completion and iterate pages
17for await (const page of crawl.pages()) {
18  console.log(page.url)
19  const content = await client.retrieve({ retrieveId: page.retrieve_id, formats: ['markdown'] })
20  console.log(content.markdown_content.slice(0, 200))
21}
1# Start crawl
2curl -s -X POST "https://api.olostep.com/v1/crawls" \
3  -H "Authorization: Bearer <YOUR_API_KEY>" \
4  -H "Content-Type: application/json" \
5  -d '{
6    "start_url": "https://olostep.com",
7    "max_pages": 100,
8    "include_urls": ["/**"],
9    "exclude_urls": ["/collections/**"],
10    "include_external": false
11  }'
12
13# Check status (replace <CRAWL_ID>)
14curl -s "https://api.olostep.com/v1/crawls/<CRAWL_ID>" \
15  -H "Authorization: Bearer <YOUR_API_KEY>"
16
17# Get pages (replace <CRAWL_ID>)
18curl -s "https://api.olostep.com/v1/crawls/<CRAWL_ID>/pages" \
19  -H "Authorization: Bearer <YOUR_API_KEY>"
20
21# Retrieve content (replace <RETRIEVE_ID>)
22curl -s -G "https://api.olostep.com/v1/retrieve" \
23  -H "Authorization: Bearer <YOUR_API_KEY>" \
24  --data-urlencode "retrieve_id=<RETRIEVE_ID>" \
25  --data-urlencode "formats=markdown"

Cosa puoi creare

Potenzia l'arricchimento dei dati, il monitoraggio e i flussi di lavoro dell'intelligenza artificiale utilizzando pagine web in tempo reale.

  • Mirror della documentazione

    Estrai tutte le pagine della documentazione per la ricerca offline o per il RAG.

  • Cataloghi di e-commerce

    Esegui il crawling delle sezioni dei prodotti utilizzando pattern di inclusione.

  • Archivi di conformità

    Acquisisci snapshot di numerose pagine all'interno di un dominio, insieme ai metadati di audit.

Scopri altri casi d'uso

Scelto da team straordinari che stanno costruendo il futuro dell'IA

  • Michelle Julia
    Co-fondatrice e CEO di Aurium

    Olostep è il top!!! Abbiamo automatizzato intere pipeline di dati con un semplice prompt

  • Richard He
    Co-fondatore e CEO di Openmart

    Olostep è diventata l'infrastruttura Web Layer predefinita per la nostra azienda

  • Max Brodeur-Urbas
    Co-fondatore e CEO di Gumloop

    Olostep funziona a meraviglia! E il tuo servizio clienti è eccezionale

  • Rob Hayes
    Co-fondatore di Merchkit

    Olostep ci permette di trasformare qualsiasi sito web in un'API. Ottimo prodotto, persone fantastiche

  • Brandon Cohen
    Co-fondatore e CTO di CivilGrid

    Consiglio vivamente Olostep: un prodotto fantastico!

  • Co-fondatore e CEO di Gedd.it

    Verifichiamo i codici sconto su larga scala. Adoro Olostep. Funziona su qualsiasi piattaforma di e-commerce.

  • Trevor West
    Co-fondatore e CEO di Podqi

    Olostep è l'API migliore per cercare, estrarre e strutturare dati dal Web. Siamo felici di essere clienti

  • Rida Naveed
    Co-fondatore di Zecento

    Usiamo /batches insieme ai parser ed è incredibile come riusciamo a ottenere dati strutturati su larga scala.

  • Kieran V.
    Growth PlotsEvents

    Grazie a Olostep abbiamo potuto cercare e strutturare i dati sugli eventi presenti in tutta la rete.

  • Paul Mit
    Fondatore di Foundbase

    API affidabile ed economica per lavorare con i dati. Congratulazioni per il prodotto fantastico

Inizia a eseguire il crawling con Olostep

Ottieni dati puliti per la tua IA da qualsiasi sito web con Olostep
L'API più conveniente. Progettata per scalare

Sei un agente IA? Inizia qui

Domande frequenti

Prodotto e funzionalità
  • A cosa serve l'endpoint Crawl?

    Esplora un sito (entro i limiti impostati) e restituisce i record delle pagine, che potrai recuperare successivamente tramite /v1/retrieve — una soluzione ideale per l'estrazione di più pagine, senza dover gestire manualmente ogni singolo URL.

  • Come faccio a ottenere il contenuto di una pagina?

    Estrai l'elenco delle pagine da /v1/crawls/{id}/pages, quindi chiama /v1/retrieve utilizzando il retrieve_id di ciascuna pagina. È preferibile utilizzare il metodo di recupero anziché i campi di contenuto inline, ormai obsoleti, presenti nelle pagine.

Utilizzo e automazione
  • Posso filtrare gli URL che vengono sottoposti a crawling?

    Sì. Utilizza i glob include_urls ed exclude_urls, search_query, top_n e i parametri correlati come indicato nella documentazione.

Prezzi e piani
  • Quanto costa il crawling?

    Il crawling viene fatturato per ogni pagina sottoposta a crawling (consulta i prezzi aggiornati nella documentazione).