*

検索エンジンのロボットに対する命令を記述するrobots.txtについてのメモ

公開日: : 最終更新日:2014/02/06 サーバ運用, 備忘録 , , ,

この記事の所要時間:約2分6秒

Robots...
Robots… / jeffedoe

毎朝早朝に送られてくるlogwatchからのメールを見ると、httpdの項目のところに検出されたエラーが出てくる。

まあいろいろとエラーが記録されているが、404 Not Foundのなかでrobots.txtに対するアクセスが目立つ。少し調べてみた。

robots.txtは検索エンジンのロボット(クローラ)に対する命令を記述するファイル。GoogleやMozzilaのロボットがログインしているが、こいつらの動作をかるく指定できる。具体的には、検索データベースに登録してほしくないディレクトリを指定できたりする。実際にロボットがその通りの動作をしてくれるかは保証されないので注意。

例えば、以下のように書くと、Googleのbotにsecretディレクトリ以下を検索させないように命令できるようだ。また、sitemapでサイトマップも指定できる。

今回はFC2サイトマップで適当にドキュメントルートからサイトマップのxmlファイルを作成して設置し、それをrobots.txtに記述してドキュメントルートに設置することにした。

まあ今回の目的は404 Not Foundのログをなくすことなので、こんなもんでよいでしょう。サイトマップもSEO対策としては不可欠らしいけど、とりあえずお試しで設置したということで。

Apacheクックブック 第2版 ―Webサーバ管理者のためのレシピ集
Ken Coar Rich Bowen
オライリージャパン
売り上げランキング: 198,715

関連記事

PPP_kanaamitonankinjyou500-thumb-750x500-346

最近の自宅サーバ事情

最近一番問題なのが、以前までMac miniの方で起きていた不定期にネットが切断される現象が、サーバ

記事を読む

no image

外付けHDDを起動時に自動マウントする

  前エントリでフォーマットからマウントまでやったが、自動マウントの設定を忘れていた

記事を読む

http://www.centos.org/

Cent OSサーバを1から再構成しなおした。

リストアしちゃいました。 再構成するきっかけになったのは、/パーティションをなんと2GBしかと

記事を読む

PPC_NCsenbannopaneru500

CentOS6.4でホスト名・ドメイン名の変更に伴う諸々の設定変更

以前に新しいドメインikuwow.comを取得して、とりあえずサブのアドレスとしてホームページに飛ん

記事を読む

プログラム

MacやLinuxのシェルで使えるショートカットたち

Macでは「ターミナル」、GUIのLinuxでは「端末」と呼ばれているアレです。 個人

記事を読む

no image

ApacheでSSLを有効に(mod_ssl)

動機は、ownCloudをインストールしたこと。自分しか使わないとはいえブラウザでアクセスできるオン

記事を読む

no image

rsyncで毎日自動差分バックアップを構成

毎日の明け方に、外付けHDDにrsyncバックアップをするようにした。rsyncを実行するシェルスク

記事を読む

鍵とノート

ApacheにDigest認証を設定する方法

私は自鯖でownCloud、phpMyAdmin、Cactiを使っているのですが、外部に外部

記事を読む

a0002_001091

ドメインを取得してとりあえず使えるようにする手順

ドメイン名。ウェブページの顔ですね。ちょっとネットワークに詳しい人なら結構意識していると思います。

記事を読む

a0002_008425_m

OP25Bを越えてメールの送信を可能にする手順

やっと出来るようになりました。この本のお陰ですほんとに。 送信関連でやったことは、SM

記事を読む

AnsibleLogo_transparent_web
ChefとAnsibleの比較 〜Ansibleはじめました〜

今まで個人のMacの環境構築には、Brewfileなるものを作成してい

no image
モチベ低い大学院生でも院進学で得られたもの

つい今月の頭に修士論文を提出して、長いプレッシャーから解放されました。

Thunderbolt Display
Apple Thunderbolt Displayを使って30分で理解した利点3つ

今まで研究室ではMac ProとDellのちゃちな21インチモニタで作

nc62150
ニコニコ動画の動画上部のニュースを非表示にするSafari機能拡張

作りました。 HideNicoVideoNews http:/

Tokyo tower
TOKYO HACKATHONが面白そう

最近発見したTOKYO HACKATHONという学生向けハッカ

→もっと見る

  • follow us in feedly
PAGE TOP ↑