Buscadores

DuckDuckGo Scraper

duckduckgo.com

DuckDuckGo construye su página de resultados con JavaScript y pone desafíos a los clientes que no son un navegador real, así que hacer scraping por tu cuenta implica ejecutar uno. Un endpoint de plugin dedicado recibe una palabra clave y devuelve los resultados ya analizados: resultados orgánicos con posición, título, URL, URL visible, dominio y descripción, los anuncios de la primera página en una lista superior y otra inferior, y búsquedas relacionadas. La primera página se renderiza en un navegador real a través de un exit en el país que elijas, así que sus anuncios se cargan; las páginas siguientes añaden resultados orgánicos. La respuesta tiene la misma estructura que nuestro endpoint /serpApi de Google, de modo que un solo pipeline gestiona ambos buscadores.

Qué puedes extraer

• Resultados orgánicos con posición, título, URL, URL visible, dominio y descripción
• Anuncios superiores e inferiores de la primera página de resultados, con el dominio del anunciante
• Búsquedas relacionadas
• Páginas revisadas y un indicador hasMore
• Conjuntos de resultados por región e idioma (proxy_country + language)
• Hasta 10 páginas de resultados orgánicos por llamada

Endpoints dedicados

Cómo rastrearlo

curl -X POST \
  -H "X-ScrapeUnblocker-Key: $SU_API_KEY" \
  "https://api.scrapeunblocker.com/search/duckduckgo?keyword=car%20insurance&pages_to_check=1&proxy_country=US"

import requests

resp = requests.post(
    "https://api.scrapeunblocker.com/search/duckduckgo",
    headers={"X-ScrapeUnblocker-Key": SU_API_KEY},
    params={"keyword": "car insurance", "pages_to_check": "1", "proxy_country": "US"},
)
print(resp.text)

import { ScrapeUnblockerClient } from 'scrapeunblocker';

const su = new ScrapeUnblockerClient({ apiKey: process.env.SU_API_KEY });

const results = await su.duckduckgoSearch('car insurance', {
  pagesToCheck: 1,
  proxyCountry: 'US',
});
console.log(results);

Las peticiones son POST y sus parámetros van en la query string. El renderizado en navegador siempre ocurre: no hay ningún flag que activar.

Ejemplo de respuesta

{
  "engine": "duckduckgo",
  "keyword": "car insurance",
  "country": "US",
  "language": "en",
  "totalResults": null,
  "resultsCollected": 14,
  "topAdsCount": 3,
  "bottomAdsCount": 1,
  "organicResultsCount": 10,
  "topAds": [
    {
      "position": 2,
      "title": "Side-By-Side Comparison - Car Insurance From $29/Mo",
      "url": "https://www.nerdwallet.com/m/insurance/auto-insurance/compare-quotes-control-29?...",
      "displayedUrl": "https://www.nerdwallet.com › insurance › car",
      "domain": "nerdwallet.com",
      "description": "Discover how much you could save on car insurance. Get multiple quotes in minutes!..."
    }
  ],
  "bottomAds": [
    {
      "position": 1,
      "title": "GEICO® Official Site - Get a Free GEICO® Quote Today",
      "url": "https://ad.doubleclick.net/searchads/link/click?lid=43700084044715165&...",
      "displayedUrl": "https://www.geico.com › Auto",
      "domain": "geico.com",
      "description": "Get a Free Quote Today. GEICO®'s Car Insurance Quotes Are Personalized For You..."
    }
  ],
  "organic": [
    {
      "position": 1,
      "title": "Cheapest Car Insurance in New York: Rates & Top Companies",
      "url": "https://insurify.com/car-insurance/new-york/",
      "displayedUrl": "https://insurify.com › car-insurance › new-york",
      "domain": "insurify.com",
      "description": "Compare the cheapest car insurance in New York for 2026, including average rates, top insurers..."
    }
  ],
  "relatedSearches": ["car insurance quotes online", "car insurance near me", "compare car insurance"],
  "pagesChecked": 1,
  "hasMore": true
}

Leer la documentación

Preguntas frecuentes

Scrapers relacionados