Änderungsprotokoll

Die meisten Web-Daten-APIs behandeln Ergebnisse als flüchtig. Du stellst eine Anfrage, erhältst deine Antwort, und die Daten verschwinden innerhalb weniger Stunden. Das funktioniert für Echtzeit-Abfragen — aber es scheitert in dem Moment, in dem du diese Daten erneut brauchst.

Wir haben von Teams immer wieder dasselbe gehört: „Wir wollen langfristige Web-Veränderungen analysieren, ohne Storage als separate Infrastruktur mitdenken zu müssen“

Heute stellen wir den storage-Parameter vor — eine einfache Möglichkeit, deine Extraktionsergebnisse so lange zu speichern, wie du sie brauchst, und die volle Kontrolle über den Lebenszyklus deiner Daten zu behalten.

So funktioniert's

Übergib ein storage-Objekt in deiner Anfrage, um die Aufbewahrung zu steuern:

{
  "url": "https://example.com/product/reviews",
  "formats": ["markdown"],
  "storage": {
    "expires_in": "90d"
  }
}

Unterstützte Werte: 10d, 30d, 60d, 90d, 180d, 365d oder never für unbegrenzte Aufbewahrung. Ohne den Parameter gilt die Standard-Aufbewahrung von ca. 7 Tagen.

Keine zusätzliche Einrichtung. Kein separater Storage-Dienst. Deine Daten bleiben über dieselbe API zugänglich, die du bereits verwendest.

Deine Daten als Asset

Der eigentliche Wert von Webdaten entsteht selten durch eine einzelne Extraktion. Er entsteht durch Akkumulation — Wochen, Monate oder Quartale strukturierter Daten zu haben, die du abfragen, vergleichen und analysieren kannst.

Datenanalyse über die Zeit. Wenn du deine Ergebnisse persistierst, speicherst du nicht nur Seiten — du baust einen Datensatz auf. Verfolge, wie sich Produktbewertungen nach einem Launch verändern, wie sich Preise in einem Markt entwickeln, wie Stellenausschreibungen die Strategie eines Wettbewerbers verraten. Persistenter Storage macht aus isolierten Extraktionen Zeitreihendaten, deren Wert sich mit der Zeit vermehrt.

Volle Kontrolle über den Lebenszyklus deiner Daten. Du entscheidest, was bleibt, wie lange und wann es verschwindet. Keine Sorge mehr, dass Daten verschwinden, bevor dein Team sie verarbeitet hat. Ob du 30-Tage-Fenster für operative Workflows brauchst oder unbegrenzte Aufbewahrung für Langzeitanalysen — du bestimmst die Regeln. Deine Daten, dein Zeitplan.

Compliance und Nachvollziehbarkeit. Bestimmte Branchen — Fintech, Gesundheitswesen, Versicherungen — verlangen, dass du Nachweise darüber aufbewahrst, welche Daten du wann erfasst hast. Ob für DSGVO-Auskunftsersuchen, Finanzprüfungen oder rechtliche Beweissicherung — "expires_in": "never" gibt dir einen zeitgestempelten Nachweis genau dessen, was zum Zeitpunkt der Extraktion auf der Seite stand.

Reproduzierbare Datensätze für KI/ML. Wenn du KI-Modelle baust — Klassifikatoren, Summarizer, Extraktions-Pipelines — brauchst du reproduzierbare Trainingsdaten. Wenn die Rohdaten eine Woche später verschwunden sind, kannst du deine Pipeline nicht erneut ausführen, Regressionen debuggen oder Ausgaben über Iterationen hinweg vergleichen. Persistenter Storage macht aus deinen Extraktionen ein wiederverwendbares, versioniertes Korpus.

Debugging und Pipeline-Zuverlässigkeit. Wenn eine nachgelagerte Pipeline ausfällt, lautet die erste Frage immer: „Wie sahen die Quelldaten aus?“ Wenn deine Ergebnisse bereits verschwunden sind, rätst du nur. Persistenter Storage gibt deinem Team ein konkretes Artefakt zum Debuggen — genau den Inhalt, den deine Pipeline verarbeitet hat.

Was wir als Nächstes bauen

Cold-Storage-Stufen. Wir arbeiten an einer Option, ältere Daten zu AWS Glacier (oder ähnlichen Cold-Storage-Systemen) zu verschieben. Damit kannst du Daten für deutlich längere Zeiträume aufbewahren — Jahre statt Monate — zu einem Bruchteil der Kosten. Ideal für Compliance-Archive, historische Datensätze und Langzeit-Trendanalysen.

Eine Abfragesprache für deine Daten. Wir bauen eine SQL-ähnliche Abfrageschnittstelle, mit der du analytische Abfragen direkt auf deinen gespeicherten Extraktionen ausführen kannst — oder auf bestimmten Teilmengen davon. Filtere, aggregiere und analysiere, ohne irgendetwas zu exportieren. Deine gespeicherten Daten werden zu einer abfragbaren Datenbank.

Verfügbarkeit

Der storage-Parameter ist ab sofort auf dem /scrapes-Endpoint in allen Plänen verfügbar. Wir arbeiten aktiv daran, ihn auch für /answers, /maps, /crawls und /batches verfügbar zu machen — sodass du bald dieselben Aufbewahrungs-Kontrollen für jede Art hast, wie du mit Olostep Daten extrahierst.

Wirf einen Blick in die API-Referenz für alle Details, oder füge einfach "storage": { "expires_in": "30d" } zu deiner nächsten Anfrage hinzu und probiere es aus.

Die Web Search API ist jetzt allgemein verfügbar. Sende eine Anfrage und erhalte in einem einzigen Aufruf saubere, strukturierte Suchergebnisse mit Quellenangaben — entwickelt, um Agenten und RAG-Pipelines mit Live-Web-Kontext zu fundieren.

Ergebnisse kommen als normalisiertes JSON mit Titeln, URLs, Snippets und Ranking-Positionen zurück, sodass du sie direkt in ein Modell oder einen nachgelagerten Parser einspeisen kannst — ganz ohne Scraping-Klebe-Code.