Moteurs de recherche

DuckDuckGo Scraper

duckduckgo.com

DuckDuckGo construit sa page de résultats en JavaScript et soumet à des défis les clients qui ne sont pas un vrai navigateur : le scraper soi-même implique donc d'en faire tourner un. Un endpoint de plugin dédié prend un mot-clé et renvoie les résultats déjà parsés : résultats organiques avec position, titre, URL, URL affichée, domaine et description, les annonces de la première page dans une liste du haut et une du bas, et les recherches associées. La première page est rendue dans un vrai navigateur via une sortie dans le pays de votre choix, pour que ses annonces se chargent ; les pages suivantes ajoutent des résultats organiques. La réponse a le même format que notre endpoint Google /serpApi, donc un seul pipeline traite les deux moteurs.

Ce que vous pouvez extraire

• Résultats organiques avec position, titre, URL, URL affichée, domaine et description
• Annonces du haut et du bas de la première page de résultats, avec le domaine de l'annonceur
• Recherches associées
• Pages consultées et un indicateur hasMore
• Jeux de résultats par région et par langue (proxy_country + language)
• Jusqu'à 10 pages de résultats organiques par appel

Endpoints dédiés

Comment le scraper

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/search/duckduckgo?keyword=car%20insurance&pages_to_check=1&proxy_country=US"

import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/search/duckduckgo",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"keyword": "car insurance", "pages_to_check": "1", "proxy_country": "US"},
)
print(resp.text)

import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const results = await su.duckduckgoSearch('car insurance', {
  pagesToCheck: 1,
  proxyCountry: 'US',
});
console.log(results);

Les requêtes sont en POST et passent leurs paramètres dans la query string. Le rendu navigateur a toujours lieu : aucun flag à activer.

Exemple de réponse

{
  "engine": "duckduckgo",
  "keyword": "car insurance",
  "country": "US",
  "language": "en",
  "totalResults": null,
  "resultsCollected": 14,
  "topAdsCount": 3,
  "bottomAdsCount": 1,
  "organicResultsCount": 10,
  "topAds": [
    {
      "position": 2,
      "title": "Side-By-Side Comparison - Car Insurance From $29/Mo",
      "url": "https://www.nerdwallet.com/m/insurance/auto-insurance/compare-quotes-control-29?...",
      "displayedUrl": "https://www.nerdwallet.com › insurance › car",
      "domain": "nerdwallet.com",
      "description": "Discover how much you could save on car insurance. Get multiple quotes in minutes!..."
    }
  ],
  "bottomAds": [
    {
      "position": 1,
      "title": "GEICO® Official Site - Get a Free GEICO® Quote Today",
      "url": "https://ad.doubleclick.net/searchads/link/click?lid=43700084044715165&...",
      "displayedUrl": "https://www.geico.com › Auto",
      "domain": "geico.com",
      "description": "Get a Free Quote Today. GEICO®'s Car Insurance Quotes Are Personalized For You..."
    }
  ],
  "organic": [
    {
      "position": 1,
      "title": "Cheapest Car Insurance in New York: Rates & Top Companies",
      "url": "https://insurify.com/car-insurance/new-york/",
      "displayedUrl": "https://insurify.com › car-insurance › new-york",
      "domain": "insurify.com",
      "description": "Compare the cheapest car insurance in New York for 2026, including average rates, top insurers..."
    }
  ],
  "relatedSearches": ["car insurance quotes online", "car insurance near me", "compare car insurance"],
  "pagesChecked": 1,
  "hasMore": true
}

Lire la documentation de l'API

Questions fréquentes

Scrapers similaires