*

検索エンジンのロボットに対する命令を記述するrobots.txtについてのメモ

公開日: : 最終更新日:2014/02/06 サーバ運用, 備忘録 , , ,

この記事の所要時間:約2分6秒

Robots...
Robots… / jeffedoe

毎朝早朝に送られてくるlogwatchからのメールを見ると、httpdの項目のところに検出されたエラーが出てくる。

まあいろいろとエラーが記録されているが、404 Not Foundのなかでrobots.txtに対するアクセスが目立つ。少し調べてみた。

robots.txtは検索エンジンのロボット(クローラ)に対する命令を記述するファイル。GoogleやMozzilaのロボットがログインしているが、こいつらの動作をかるく指定できる。具体的には、検索データベースに登録してほしくないディレクトリを指定できたりする。実際にロボットがその通りの動作をしてくれるかは保証されないので注意。

例えば、以下のように書くと、Googleのbotにsecretディレクトリ以下を検索させないように命令できるようだ。また、sitemapでサイトマップも指定できる。

今回はFC2サイトマップで適当にドキュメントルートからサイトマップのxmlファイルを作成して設置し、それをrobots.txtに記述してドキュメントルートに設置することにした。

まあ今回の目的は404 Not Foundのログをなくすことなので、こんなもんでよいでしょう。サイトマップもSEO対策としては不可欠らしいけど、とりあえずお試しで設置したということで。

Apacheクックブック 第2版 ―Webサーバ管理者のためのレシピ集
Ken Coar Rich Bowen
オライリージャパン
売り上げランキング: 198,715

関連記事

no image

新サーバにMaildirディレクトリを移動させたときのトラブル

サーバを作りなおした件で、Postfix・Dovecotサーバもリストアしました。 新サーバで

記事を読む

no image

Postfixのroot宛のメールを全て特定のユーザに

はじめての英語論文もいちおう書き上がったので、サーバいじりを再開。 /etc/aliase

記事を読む

NVR500にプロバイダの固定IPサービスを設定する手順

ついに私も、固定IPサービスを使うことにしました。ルータへの設定で若干詰まったのでメモ。自鯖

記事を読む

no image

WordPress記事にツイートを埋め込むテスト

なんとWordPressでは何もプラグインを導入しなくても、デフォルトでTwitterのツイートを貼

記事を読む

メールサーバが少しできた。

いよっしゃああああああ!!!! 受信だけは問題なくできるようになりました。受信だけです

記事を読む

no image

メールでログを届けてくれるlogwatchをインストール

logwatchとは/var/logの内容を1日に一回メールで送ってくれるもの。 これがなかなかけ

記事を読む

Postfixの本をちまちま読んでいる

メールサーバはできているものの、OP25Bを乗り越えるのがうまく行かず、メールの送信だけができない状

記事を読む

no image

MySQLからツイートを選択してツイートするPHPコード

Twitter escultura de arena / Rosaura Ochoa Ap

記事を読む

DiCEの設定の仕方まとめ

DDNSを利用している皆さんはいつもお世話になるであろう、自動IP通知ツールDiCEの登録の一部始終

記事を読む

no image

Postfixに新規ユーザを追加する場合の手順

送受信どちらも問題なくできるようになり、ひとまず安心。 サブで使ってるユーザアカウントの方のア

記事を読む

ChefとAnsibleの比較 〜Ansibleはじめました〜

今まで個人のMacの環境構築には、Brewfileなるものを作成してい

no image
モチベ低い大学院生でも院進学で得られたもの

つい今月の頭に修士論文を提出して、長いプレッシャーから解放されました。

Apple Thunderbolt Displayを使って30分で理解した利点3つ

今まで研究室ではMac ProとDellのちゃちな21インチモニタで作

ニコニコ動画の動画上部のニュースを非表示にするSafari機能拡張

作りました。 HideNicoVideoNews http:/

TOKYO HACKATHONが面白そう

最近発見したTOKYO HACKATHONという学生向けハッカ

→もっと見る

  • follow us in feedly
PAGE TOP ↑