CouponFinderBot, il nostro crawler
CouponFinderBot è il programma che ogni giorno legge le pagine promozionali pubbliche dei negozi per Coupon Finder. Si presenta sempre con questo user agent:
Mozilla/5.0 (compatible; CouponFinderBot/1.0; +https://coupon-finder.it/bot/)
Cosa fa
- Visita al massimo 10 pagine per negozio al giorno (home page e pagine di promozioni, saldi e offerte).
- Attende almeno 2,5 secondi tra una richiesta e l'altra allo stesso sito e rispetta l'eventuale
Crawl-delay. - Rispetta
robots.txt; si ferma se il sito risponde con un controllo anti-bot o con troppe richieste, senza tentare di aggirarli. - Non effettua login, non aggiunge prodotti al carrello e non invia moduli.
Come bloccarlo
Aggiungi al tuo robots.txt:
User-agent: CouponFinderBot
Disallow: /
Per domande o richieste: augustocatenaccileone@gmail.com.