CouponFinderBot, il nostro crawler

CouponFinderBot è il programma che ogni giorno legge le pagine promozionali pubbliche dei negozi per Coupon Finder. Si presenta sempre con questo user agent:

Mozilla/5.0 (compatible; CouponFinderBot/1.0; +https://coupon-finder.it/bot/)

Cosa fa

  • Visita al massimo 10 pagine per negozio al giorno (home page e pagine di promozioni, saldi e offerte).
  • Attende almeno 2,5 secondi tra una richiesta e l'altra allo stesso sito e rispetta l'eventuale Crawl-delay.
  • Rispetta robots.txt; si ferma se il sito risponde con un controllo anti-bot o con troppe richieste, senza tentare di aggirarli.
  • Non effettua login, non aggiunge prodotti al carrello e non invia moduli.

Come bloccarlo

Aggiungi al tuo robots.txt:

User-agent: CouponFinderBot
Disallow: /

Per domande o richieste: augustocatenaccileone@gmail.com.