--.--.----:--

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
2013.03.2608:10

Bingのクローラーがサーバーに高負荷をかける

私の運営しているサイトの事ではありませんが、Bingのクローラーがサーバーに高い負荷をかけている事例があるようなので、参考までにご紹介します。こちらの記事です。

bingbotのクロール頻度が多すぎて重いので、robots.txtで調整した (colori)

この文章を読んでいると、どうもGoogleのクローラーも高負荷をかけているようです。たまにこういう迷惑なクローラーは出入り禁止にしてやりたいと思うのですが、いかがでしょうか?

以前、Baiduがそう言う迷惑行為をやって、多くのサーバーで出入り禁止になったことがありました。何事にも節度というものが必要です。

そう言えば、Googleは、機械的なアクセスを禁止していたのではないかと思いますが、自分のサイトへのアクセスを自動化するのを禁止しながら、他人のサイトへのアクセスは平気で迷惑なまでに自動化するというのは、かなり身勝手ですね。

最近、自分の管理するサイトで妙に重いところが目立つのですが、案外、検索エンジンのクローラーが高負荷をかけているのかもしれません。共用サーバーばかりだし、十分あり得ることだと思います。

スポンサーサイト

テーマ : ウェブサイト運営
ジャンル : コンピュータ

アクセス・カウンター
プロフィール

Author: ほたる
学歴: 国立大学卒
趣味: ウェブサイト、ブログ、掲示板などの運営

最新記事
カテゴリー
月別アーカイブ
検索フォーム
リンク
RSSリンクの表示
QRコード
QRコード
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。