Suchmaschinen

DuckDuckGo Scraper

duckduckgo.com

DuckDuckGo baut seine Ergebnisseite mit JavaScript auf und stellt Clients, die kein echter Browser sind, vor Challenges, sodass eigenes Scraping bedeutet, einen Browser zu betreiben. Ein dedizierter Plugin-Endpoint nimmt ein Stichwort und gibt die Ergebnisse bereits geparst zurück: organische Ergebnisse mit Position, Titel, URL, angezeigter URL, Domain und Beschreibung, die Anzeigen der ersten Seite in einer oberen und einer unteren Liste sowie verwandte Suchanfragen. Die erste Seite wird in einem echten Browser über einen Exit in dem Land gerendert, das du wählst, sodass ihre Anzeigen laden; weitere Seiten liefern zusätzliche organische Ergebnisse. Die Antwort hat dasselbe Format wie unser Google-Endpoint /serpApi, sodass eine Pipeline beide Suchmaschinen verarbeitet.

Was Sie extrahieren können

• Organische Ergebnisse mit Position, Titel, URL, angezeigter URL, Domain und Beschreibung
• Anzeigen oben und unten von der ersten Ergebnisseite, mit der Domain des Werbetreibenden
• Verwandte Suchanfragen
• Geprüfte Seiten und ein hasMore-Flag
• Regions- und sprachspezifische Ergebnismengen (proxy_country + language)
• Bis zu 10 Seiten organischer Ergebnisse pro Aufruf

Dedizierte Endpoints

So wird es gescrapt

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/search/duckduckgo?keyword=car%20insurance&pages_to_check=1&proxy_country=US"

import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/search/duckduckgo",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"keyword": "car insurance", "pages_to_check": "1", "proxy_country": "US"},
)
print(resp.text)

import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const results = await su.duckduckgoSearch('car insurance', {
  pagesToCheck: 1,
  proxyCountry: 'US',
});
console.log(results);

Requests sind POST und übergeben ihre Parameter im Query-String. Browser-Rendering findet immer statt - dafür gibt es kein Flag.

Beispielantwort

{
  "engine": "duckduckgo",
  "keyword": "car insurance",
  "country": "US",
  "language": "en",
  "totalResults": null,
  "resultsCollected": 14,
  "topAdsCount": 3,
  "bottomAdsCount": 1,
  "organicResultsCount": 10,
  "topAds": [
    {
      "position": 2,
      "title": "Side-By-Side Comparison - Car Insurance From $29/Mo",
      "url": "https://www.nerdwallet.com/m/insurance/auto-insurance/compare-quotes-control-29?...",
      "displayedUrl": "https://www.nerdwallet.com › insurance › car",
      "domain": "nerdwallet.com",
      "description": "Discover how much you could save on car insurance. Get multiple quotes in minutes!..."
    }
  ],
  "bottomAds": [
    {
      "position": 1,
      "title": "GEICO® Official Site - Get a Free GEICO® Quote Today",
      "url": "https://ad.doubleclick.net/searchads/link/click?lid=43700084044715165&...",
      "displayedUrl": "https://www.geico.com › Auto",
      "domain": "geico.com",
      "description": "Get a Free Quote Today. GEICO®'s Car Insurance Quotes Are Personalized For You..."
    }
  ],
  "organic": [
    {
      "position": 1,
      "title": "Cheapest Car Insurance in New York: Rates & Top Companies",
      "url": "https://insurify.com/car-insurance/new-york/",
      "displayedUrl": "https://insurify.com › car-insurance › new-york",
      "domain": "insurify.com",
      "description": "Compare the cheapest car insurance in New York for 2026, including average rates, top insurers..."
    }
  ],
  "relatedSearches": ["car insurance quotes online", "car insurance near me", "compare car insurance"],
  "pagesChecked": 1,
  "hasMore": true
}

API-Dokumentation lesen

Häufige Fragen

Ähnliche Scraper