Foire aux questions

Nous pouvons concevoir différents types d'agents de recherche, notamment des agents d'études de marché, des agents de veille concurrentielle, des agents de recherche académique, des agents de suivi de l'actualité et des agents de collecte de données sur mesure. Nos agents peuvent gérer des workflows de recherche complexes en plusieurs étapes, s'intégrer à de multiples sources de données et fournir des insights intelligents. Chaque agent est personnalisé en fonction de vos objectifs de recherche spécifiques et de vos besoins en matière de données.

Le web scraping, ou extraction de données web, est le processus qui consiste à extraire automatiquement des données à partir de sites web. Olostep propose des API performantes qui gèrent des tâches d'extraction complexes, notamment le rendu JavaScript, la résolution de CAPTCHA et le contournement des protections anti-bots. Il vous suffit de nous envoyer une URL et des paramètres d'extraction, et nous vous renverrons des données JSON propres et structurées. Notre infrastructure prend en charge toute la complexité technique, afin que vous puissiez vous concentrer sur l'utilisation des données pour vos applications, vos analyses ou votre veille stratégique.

La légalité du web scraping dépend de divers facteurs, notamment les conditions d'utilisation du site web, le fichier robots.txt et les lois applicables. Nous vous recommandons de toujours consulter les conditions d'utilisation d'un site web ainsi que son fichier robots.txt avant d'en extraire des données. Olostep met à votre disposition des outils permettant de respecter les limites de fréquence ainsi que les directives du fichier robots.txt. Nous vous proposons également des conseils sur les bonnes pratiques en matière de conformité et pouvons vous aider à mettre en œuvre des pratiques d'extraction de données éthiques, qui respectent les ressources des sites web ainsi que leurs conditions d'utilisation.

Nous utilisons des techniques avancées, notamment la rotation de proxys premium, la randomisation des empreintes numériques des navigateurs et la résolution automatique des CAPTCHA, afin de contourner les systèmes de protection. Notre infrastructure est spécialement conçue pour gérer CloudFlare, DataDome, PerimeterX et d'autres mesures anti-bots. Nous maintenons un taux de réussite élevé en faisant tourner les adresses IP, en imitant le comportement d'utilisateurs réels et, si nécessaire, en utilisant des proxys résidentiels.

Par défaut, nos API renvoient des données JSON propres et structurées, mais nous prenons également en charge HTML, Markdown et des formats personnalisés. Vous pouvez indiquer précisément quels champs extraire et comment structurer les données en sortie afin qu'elles correspondent au schéma de votre base de données. Nous proposons des options d'analyse flexibles, notamment des sélecteurs CSS, des expressions XPath, ainsi que notre outil d'extraction de contenu optimisé par l'IA, qui identifie et structure automatiquement les schémas de données.

Olostep est indépendant du langage et fonctionne avec n'importe quel langage de programmation capable d'effectuer des requêtes HTTP. Nous proposons des SDK et des exemples de code pour Python, Node.js, PHP, Ruby, Go, Java, C# et bien d'autres langages. Notre API REST est simple et bien documentée, ce qui rend l'intégration aisée, quelle que soit votre pile technologique. Nous proposons également des webhooks pour les notifications en temps réel, ainsi que des fonctionnalités de traitement par lots.

Notre système de limitation de débit est conçu pour être généreux tout en protégeant notre infrastructure. Les utilisateurs du niveau gratuit disposent de 10 requêtes par minute, ceux de l'offre Starter peuvent effectuer 100 requêtes simultanées, et les niveaux supérieurs bénéficient de limites encore plus généreuses. Nous offrons également une capacité de pointe pour absorber les pics d'utilisation ponctuels. Si vous avez besoin de limites plus élevées, nous pouvons personnaliser les limites de requêtes pour les clients Entreprise. Notre système gère automatiquement la limitation du nombre de requêtes et affiche des messages d'erreur clairs lorsque les limites sont atteintes.

Par défaut, nous ne stockons pas les données que vous avez extraites : elles sont transmises directement à votre application, puis supprimées de nos serveurs. Cela garantit un niveau maximal de confidentialité et de sécurité pour vos données. Nous ne conservons les journaux des requêtes qu'à des fins de débogage et de facturation. Ils sont automatiquement purgés au bout de 30 jours. Toutes les transmissions de données sont chiffrées via HTTPS, et nous sommes conformes à la norme SOC 2. Pour les clients Entreprise, nous pouvons fournir des accords supplémentaires relatifs au traitement des données ainsi que de la documentation concernant la conformité.

Tout à fait ! Olostep est conçu pour s'intégrer en toute simplicité à vos pipelines de données existants. Nous prenons en charge les webhooks pour la livraison de données en temps réel, le traitement par lots pour les opérations à grande échelle et l'intégration directe aux bases de données. Nos API fonctionnent avec des outils de données largement utilisés, tels qu'Apache Airflow, AWS Lambda, Google Cloud Functions et Zapier. Nous proposons également des connecteurs prédéfinis pour les bases de données et entrepôts de données les plus courants, tels que PostgreSQL, MongoDB, BigQuery et Snowflake.