Block bad bots by UA to improve catching search engine IPs

Discussion in 'Cloaking and Content Generators' started by carlosn, Jan 13, 2016.

  1. carlosn

    carlosn Newbie

    Joined:
    Jan 28, 2011
    Messages:
    47
    Likes Received:
    7
    Add these lines to your .htaccess file, and access will be forbidden to all the UAs listed below:


    Code:
    ################################################BLOCK BAD BOTS BELOW
    RewriteCond %{HTTP_USER_AGENT} .*archive\.org_bot.*|.*Wayback\ Machine\ Live\ Record.*|.*[Dd]isco.*|.*[Jj]ava.*|.*[Nn]inja.*|.*[Nn]utch.*|.*[Ww]eb[Bb]andit.*|.*[Xx]enu.*|.*[Zz]eus.*|.*[Zz]yborg.*|.*360Spider.*|.*aboutthedomain.*|.*AhrefsBot.*|.*aiHitBot.*|.*almaden.*|.*Anarchie.*|.*ASPSeek.*|.*attach.*|.*autoemailspider.*|.*BackWeb.*|.*Bandit.*|.*BatchFTP.*|.*becomebot.*|.*BlackWidow.*|.*Blekkobot.*|.*Bot\ mailto\:craftbot\@yahoo\.com.*|.*BPImageWalker.*|.*Buddy.*|.*bumblebee.*|.*CCBot.*|.*CherryPicker.*|.*ChinaClaw.*|.*CICC.*|.*ColdFusion.*|.*Collector.*|.*Copier.*|.*CRAZYWEBCRAWLER.*|.*Crescent.*|.*curl.*|.*Custo.*|.*DA.*|.*dfbot.*|.*DigExt.*|.*DIIbot.*|.*DotBot.*|.*Download\ (Demon|Wonder).*|.*Downloader.*|.*Drip.*|.*DSurf15a.*|.*EasyDL\/2\.99.*|.*eCatch.*|.*EirGrabber.*|.*email.*|.*EmailCollector.*|.*EmailSiphon.*|.*EmailWolf.*|.*Exabot.*|.*Express\ WebPictures.*|.*ExtractorPro.*|.*EyeNetIE.*|.*facebookexternalhit.*|.*fastbot.*|.*FatBot.*|.*FileHound.*|.*FlashGet.*|.*FrontPage.*|.*fujilabolx1.*|.*GetRight.*|.*GetSmart.*|.*GetWeb\!.*|.*gigabaz.*|.*Go\!Zilla.*|.*Go\-Ahead\-Got\-It.*|.*gotit.*|.*GrabNet.*|.*Grafula.*|.*grub.*|.*HaosouSpider.*|.*HMView.*|.*HttpClient.*|.*httpdown.*|.*httrack.*|.*HTTrack.*|.*HubSpot.*|.*ia_archiver.*|.*ICC\-Crawler.*|.*Image\ Stripper.*|.*Image\ Sucker.*|.*Indy\ Library.*|.*InterGET.*|.*Internet\ Ninja.*|.*InternetLinkagent.*|.*InternetSeer.com.*|.*interseek.*|.*Iria.*|.*Jakarta.*|.*JBH*agent.*|.*JetCar.*|.*JOC\ Web\ Spider.*|.*JustView.*|.*kakaotalk\-scrap.*|.*Konqueror.*|.*Kumo.*|.*larbin.*|.*LeechFTP.*|.*LexiBot.*|.*lftp.*|.*libcurl.*|.*libwww\-perl.*|.*likse.*|.*Link*Sleuth.*|.*Link.*|.*LinkWalker.*|.*Lipperhey\-Kaus\-Australis\/5\.0.*|.*lwp.*|.*LWP\:\:Simple.*|.*lwp\-trivial.*|.*Mag\-Net.*|.*Magnet.*|.*Mail\.RU.*|.*Mass\ Downloader.*|.*MaxPointCrawler.*|.*Mechanize.*|.*MegaIndex.ru\/2\.0.*|.*Memo.*|.*Microsoft.URL.*|.*MIDown\ tool.*|.*Mirror.*|.*Mister\ PiX.*|.*MJ12bot.*|.*MSIECrawler.*|.*MozillaIndy.*|.*MozillaNEWT.*|.*MS\ FrontPage*.*|.*MSFrontPage.*|.*MSIECrawler.*|.*MSProxy.*|.*Navroad.*|.*NearSite.*|.*Net\ Vampire.*|.*NetAnts.*|.*NetcraftSurveyAgent.*|.*netEstate.*|.*NetMechanic.*|.*NetSpider.*|.*NetZIP.*|.*NICErsPRO.*|.*nutch.*|.*Octopus.*|.*Offline\ (Explorer|Navigator).*|.*OMozilla.*|.*Openfind.*|.*PageGrabber.*|.*Papa\ Foto.*|.*pavuk.*|.*pcBrowser.*|.*PHP.*|.*Ping.*|.*PingALink.*|.*Pockey.*|.*pogodak.*|.*Powermarks.*|.*psbot.*|.*Pump.*|.*Python.*|.*QRVA.*|.*RCrawler/2\.0.*|.*RealDownload.*|.*Reaper.*|.*Recorder.*|.*ReGet.*|.*Ruby.*|.*scooter.*|.*ScoutJet.*|.*Screaming\ Frog\ SEO\ Spider.*|.*Seeker.*|.*SemrushBot.*|.*SEOkicks\-Robot.*|.*sidewinder.*|.*Siphon.*|.*sitecheck.internetseer.com.*|.*SiteSnagger.*|.*SlySearch.*|.*SmartDownload.*|.*Snake.*|.*Sogou\ web\ spider.*|.*SpaceBison.*|.*spbot.*|.*spbot/4\.4\.2.*|.*spider.*|.*sproose.*|.*Stratagems.*|.*Stripper.*|.*Sucker.*|.*SuperBot.*|.*SuperHTTP.*|.*Surfbot.*|.*SurveyBot.*|.*Szukacz.*|.*taiil.*|.*tAkeOut.*|.*Teleport\ Pro.*|.*tridentspider.*|.*Ubuntu.*|.*URLSpiderPro.*|.*Vacuum.*|.*VoidEYE.*|.*W3C_Validator.*|.*WBSearchBot.*|.*WBSearchBot\/1\.1.*|.*Web\ Downloader.*|.*Web\ Image\ Collector.*|.*Web\ Sucker.*|.*WebAuto.*|.*WebCapture.*|.*webcollage.*|.*WebCopier.*|.*WebEMailExtrac.*|.*WebFetch.*|.*WebGo\ IS.*|.*WebHook.*|.*WebLeacher.*|.*WebMirror.*|.*WebReaper.*|.*WebSauger.*|.*Website.*|.*Website\ (eXtractor|Quester).*|.*Webster.*|.*WebStripper.*|.*WebWhacker.*|.*WebZIP.*|.*Wget.*|.*Whacker.*|.*Widow.*|.*WinHttp\.WinHttpRequest\.5.*|.*woobot.*|.*Wotbox.*|.*WWWOFFLE.*|.*x\-Tractor.*|.*Xaldon\ WebSpider.*|.*XoviBot\/2\.0.*|.*YodaoBot.*|.*ZeusWebster.*
    RewriteRule ^.* - [F,L]
    ################################################BLOCK BAD BOTS ABOVE