This page looks plain and unstyled because you're using a non-standard compliant browser. To see it in its best form, please upgrade to a browser that supports web standards. It's free and painless.

Blog About Dedicated Servers

« | »

Banning over-aggressive web crawlers

Luigi Ramone | 15 December, 2005 21:03

Not all web crawlers obey robots.txt like they should

One in particular was getting on my nerves, the Inktomi Slurp crawler. Essentially, it would go to my site (http://rpg-works.net) and load ALL my clients sites in quick succession, bogging down my server to the point of becoming unresponsive.

So, for your benefit, here's my current ban list (I put this in rc.local)



# Ban Slurpy (Inktomi/Yahoo) NetBlock
/sbin/iptables -A INPUT -s 66.196.64.0/18 -j DROP
# Ban nameprotect.com
/sbin/iptables -A INPUT -s 12.175.0.32/28 -j DROP
# AskJeeves.Com
/sbin/iptables -A INPUT -s 65.214.36.0/22 -j DROP
# Alexa
/sbin/iptables -A INPUT -s 209.237.238.0/24 -j DROP
# Turnitin.com Bot
/sbin/iptables -A INPUT -s 64.140.49.66 -j DROP
# Cyveillance.com (RIAA enforcement)
/sbin/iptables -A INPUT -s 63.148.99.224/27 -j DROP

Others here, such as nameprotect.com are "intellectual property" crawlers that basically check your site for compliance. Even though they use your bandwidth and resources, you get nothing in return (such as listing on a search engine), they're just looking for someone to sue on behalf of one of their clients.

If you're having problems with your server randomly becoming unresponsive, this is worth a shot.

How did I get these IPs?

Check your access logs for "robots.txt", most bots at least attempt to look at the file. The enter those IPs into http://arin.net
for information on who they belong to, as well as the netblock you can ban if the bot is an extreme nuisance.

Security :: Comment (4) :: Permalink :: Trackbacks (0)

SEX [Reply]

SEX逆援不倫童貞ハメ撮りセフレ熟女エッチ人妻セフレ

SEX | 12/10/2008, 04:03

セックス [Reply]

セックス不倫人妻ハメ撮りアダルト熟女無料アダルト動画人妻セックス不倫不倫おっぱいアダルトエロアダルト

セックス | 03/11/2008, 08:15

童貞 [Reply]

童貞が今ブランド化しています。童貞卒業をするなら童貞フェチのお姉さんに童貞狩りをしてもらいましょう。あなたに高額な謝礼が支払われます。童貞喪失するなら童貞専門の出会い系サイトをご利用ください。えっちな女性が集まる出会い系。エッチな子を見つけて即セックスしましょう。Hなエロ女性が出会いを求めて登録中。セックスがしたいならセックスフレンドがたくさん作れる出会い系サイトがオススメ。完全無料で出会えてSEXができるサイトはココだけ。アナルセックスやカーセックスなど、アブノーマルなプレイをセックスフレンドと楽しもう！エッチな出会いを見つけましょう。エッチ動画コンテンツもあります。エッチ度をチェックして、相性の良い女の子と即エッチできるよ。女性のエッチ画像も公開中！熟女達が全国から集まる出会い系サイト。熟女動画公開中！熟女画像も数多くあります。熟女出会いができるのは当出会い系だけ、熟女人妻が男性を選ぶコミュニティサイトです。アダルトな出会いを体験してみませんか？無料アダルト動画が満載のサイトで楽しみましょう。アダルト動画はココで無料でダウンロードできます。アダルトビデオやアダルトグッズも多数取り扱っております。熟女が全国から集まる熟女出会い系サイトです。熟女動画が期間限定で公開中！熟女DVDも無料で閲覧できます。熟女画像/a>を自由に検索して好みの女性を探してください。セックスがしたいならセックスフレンドがたくさん作れる出会い系サイトがオススメ。完全無料で出会えてSEXができるサイトはココだけ。アナルセックスやカーセックスなど、アブノーマルなプレイをセックスフレンドと楽しもう！巨乳好きに捧げるこのサイト。巨乳動画もたくさん公開されています。巨乳サークルには巨乳アイドルにも負けないほどカワイイ巨乳女性が多数在籍しております。エロい女が集まる出会い系サイトで楽しみましょう。エロ動画やエロ画像もいっぱい見れます。エロ本、エロビデオをお探しの方にもオススメのサイトです。

童貞 | 16/11/2008, 03:36

童貞 [Reply]

童貞が今ブランド化しています。童貞卒業をするなら童貞フェチのお姉さんに童貞狩りをしてもらいましょう。あなたに高額な謝礼が支払われます。童貞喪失するなら童貞専門の出会い系サイトをご利用ください。えっちな女性が集まる出会い系。エッチな子を見つけて即セックスしましょう。Hなエロ女性が出会いを求めて登録中。セックスがしたいならセックスフレンドがたくさん作れる出会い系サイトがオススメ。完全無料で出会えてSEXができるサイトはココだけ。アナルセックスやカーセックスなど、アブノーマルなプレイをセックスフレンドと楽しもう！エッチな出会いを見つけましょう。エッチ動画コンテンツもあります。エッチ度をチェックして、相性の良い女の子と即エッチできるよ。女性のエッチ画像も公開中！熟女達が全国から集まる出会い系サイト。熟女動画公開中！熟女画像も数多くあります。熟女出会いができるのは当出会い系だけ、熟女人妻が男性を選ぶコミュニティサイトです。アダルトな出会いを体験してみませんか？無料アダルト動画が満載のサイトで楽しみましょう。アダルト動画はココで無料でダウンロードできます。アダルトビデオやアダルトグッズも多数取り扱っております。熟女が全国から集まる熟女出会い系サイトです。熟女動画が期間限定で公開中！熟女DVDも無料で閲覧できます。熟女画像/a>を自由に検索して好みの女性を探してください。セックスがしたいならセックスフレンドがたくさん作れる出会い系サイトがオススメ。完全無料で出会えてSEXができるサイトはココだけ。アナルセックスやカーセックスなど、アブノーマルなプレイをセックスフレンドと楽しもう！巨乳好きに捧げるこのサイト。巨乳動画もたくさん公開されています。巨乳サークルには巨乳アイドルにも負けないほどカワイイ巨乳女性が多数在籍しております。エロい女が集まる出会い系サイトで楽しみましょう。エロ動画やエロ画像もいっぱい見れます。エロ本、エロビデオをお探しの方にもオススメのサイトです。

童貞 | 05/01/2009, 03:53

Add comment

Topic

Text

Your name

Your email address (if any)

Your personal page (if any)


authimage




Powered by Boonic, Bloogo & pLog
This Blog does not have any affiliation nor relation with the mentioned companies. All the logotipos, trade names and images are property of the companies that registered them.