1. This site uses cookies. By continuing to use this site, you are agreeing to our use of cookies. Learn More.

Block bad bots by UA to improve catching search engine IPs

Discussion in 'Cloaking and Content Generators' started by carlosn, Jan 13, 2016.

  1. carlosn

    carlosn Newbie

    Joined:
    Jan 28, 2011
    Messages:
    44
    Likes Received:
    7
    Add these lines to your .htaccess file, and access will be forbidden to all the UAs listed below:


    Code:
    ################################################BLOCK BAD BOTS BELOW
    RewriteCond %{HTTP_USER_AGENT} .*archive\.org_bot.*|.*Wayback\ Machine\ Live\ Record.*|.*[Dd]isco.*|.*[Jj]ava.*|.*[Nn]inja.*|.*[Nn]utch.*|.*[Ww]eb[Bb]andit.*|.*[Xx]enu.*|.*[Zz]eus.*|.*[Zz]yborg.*|.*360Spider.*|.*aboutthedomain.*|.*AhrefsBot.*|.*aiHitBot.*|.*almaden.*|.*Anarchie.*|.*ASPSeek.*|.*attach.*|.*autoemailspider.*|.*BackWeb.*|.*Bandit.*|.*BatchFTP.*|.*becomebot.*|.*BlackWidow.*|.*Blekkobot.*|.*Bot\ mailto\:craftbot\@yahoo\.com.*|.*BPImageWalker.*|.*Buddy.*|.*bumblebee.*|.*CCBot.*|.*CherryPicker.*|.*ChinaClaw.*|.*CICC.*|.*ColdFusion.*|.*Collector.*|.*Copier.*|.*CRAZYWEBCRAWLER.*|.*Crescent.*|.*curl.*|.*Custo.*|.*DA.*|.*dfbot.*|.*DigExt.*|.*DIIbot.*|.*DotBot.*|.*Download\ (Demon|Wonder).*|.*Downloader.*|.*Drip.*|.*DSurf15a.*|.*EasyDL\/2\.99.*|.*eCatch.*|.*EirGrabber.*|.*email.*|.*EmailCollector.*|.*EmailSiphon.*|.*EmailWolf.*|.*Exabot.*|.*Express\ WebPictures.*|.*ExtractorPro.*|.*EyeNetIE.*|.*facebookexternalhit.*|.*fastbot.*|.*FatBot.*|.*FileHound.*|.*FlashGet.*|.*FrontPage.*|.*fujilabolx1.*|.*GetRight.*|.*GetSmart.*|.*GetWeb\!.*|.*gigabaz.*|.*Go\!Zilla.*|.*Go\-Ahead\-Got\-It.*|.*gotit.*|.*GrabNet.*|.*Grafula.*|.*grub.*|.*HaosouSpider.*|.*HMView.*|.*HttpClient.*|.*httpdown.*|.*httrack.*|.*HTTrack.*|.*HubSpot.*|.*ia_archiver.*|.*ICC\-Crawler.*|.*Image\ Stripper.*|.*Image\ Sucker.*|.*Indy\ Library.*|.*InterGET.*|.*Internet\ Ninja.*|.*InternetLinkagent.*|.*InternetSeer.com.*|.*interseek.*|.*Iria.*|.*Jakarta.*|.*JBH*agent.*|.*JetCar.*|.*JOC\ Web\ Spider.*|.*JustView.*|.*kakaotalk\-scrap.*|.*Konqueror.*|.*Kumo.*|.*larbin.*|.*LeechFTP.*|.*LexiBot.*|.*lftp.*|.*libcurl.*|.*libwww\-perl.*|.*likse.*|.*Link*Sleuth.*|.*Link.*|.*LinkWalker.*|.*Lipperhey\-Kaus\-Australis\/5\.0.*|.*lwp.*|.*LWP\:\:Simple.*|.*lwp\-trivial.*|.*Mag\-Net.*|.*Magnet.*|.*Mail\.RU.*|.*Mass\ Downloader.*|.*MaxPointCrawler.*|.*Mechanize.*|.*MegaIndex.ru\/2\.0.*|.*Memo.*|.*Microsoft.URL.*|.*MIDown\ tool.*|.*Mirror.*|.*Mister\ PiX.*|.*MJ12bot.*|.*MSIECrawler.*|.*MozillaIndy.*|.*MozillaNEWT.*|.*MS\ FrontPage*.*|.*MSFrontPage.*|.*MSIECrawler.*|.*MSProxy.*|.*Navroad.*|.*NearSite.*|.*Net\ Vampire.*|.*NetAnts.*|.*NetcraftSurveyAgent.*|.*netEstate.*|.*NetMechanic.*|.*NetSpider.*|.*NetZIP.*|.*NICErsPRO.*|.*nutch.*|.*Octopus.*|.*Offline\ (Explorer|Navigator).*|.*OMozilla.*|.*Openfind.*|.*PageGrabber.*|.*Papa\ Foto.*|.*pavuk.*|.*pcBrowser.*|.*PHP.*|.*Ping.*|.*PingALink.*|.*Pockey.*|.*pogodak.*|.*Powermarks.*|.*psbot.*|.*Pump.*|.*Python.*|.*QRVA.*|.*RCrawler/2\.0.*|.*RealDownload.*|.*Reaper.*|.*Recorder.*|.*ReGet.*|.*Ruby.*|.*scooter.*|.*ScoutJet.*|.*Screaming\ Frog\ SEO\ Spider.*|.*Seeker.*|.*SemrushBot.*|.*SEOkicks\-Robot.*|.*sidewinder.*|.*Siphon.*|.*sitecheck.internetseer.com.*|.*SiteSnagger.*|.*SlySearch.*|.*SmartDownload.*|.*Snake.*|.*Sogou\ web\ spider.*|.*SpaceBison.*|.*spbot.*|.*spbot/4\.4\.2.*|.*spider.*|.*sproose.*|.*Stratagems.*|.*Stripper.*|.*Sucker.*|.*SuperBot.*|.*SuperHTTP.*|.*Surfbot.*|.*SurveyBot.*|.*Szukacz.*|.*taiil.*|.*tAkeOut.*|.*Teleport\ Pro.*|.*tridentspider.*|.*Ubuntu.*|.*URLSpiderPro.*|.*Vacuum.*|.*VoidEYE.*|.*W3C_Validator.*|.*WBSearchBot.*|.*WBSearchBot\/1\.1.*|.*Web\ Downloader.*|.*Web\ Image\ Collector.*|.*Web\ Sucker.*|.*WebAuto.*|.*WebCapture.*|.*webcollage.*|.*WebCopier.*|.*WebEMailExtrac.*|.*WebFetch.*|.*WebGo\ IS.*|.*WebHook.*|.*WebLeacher.*|.*WebMirror.*|.*WebReaper.*|.*WebSauger.*|.*Website.*|.*Website\ (eXtractor|Quester).*|.*Webster.*|.*WebStripper.*|.*WebWhacker.*|.*WebZIP.*|.*Wget.*|.*Whacker.*|.*Widow.*|.*WinHttp\.WinHttpRequest\.5.*|.*woobot.*|.*Wotbox.*|.*WWWOFFLE.*|.*x\-Tractor.*|.*Xaldon\ WebSpider.*|.*XoviBot\/2\.0.*|.*YodaoBot.*|.*ZeusWebster.*
    RewriteRule ^.* - [F,L]
    ################################################BLOCK BAD BOTS ABOVE