*

検索エンジンのロボットに対する命令を記述するrobots.txtについてのメモ

公開日: : 最終更新日:2014/02/06 サーバ運用, 備忘録 , , ,

この記事の所要時間:約2分6秒

Robots...
Robots… / jeffedoe

毎朝早朝に送られてくるlogwatchからのメールを見ると、httpdの項目のところに検出されたエラーが出てくる。

まあいろいろとエラーが記録されているが、404 Not Foundのなかでrobots.txtに対するアクセスが目立つ。少し調べてみた。

robots.txtは検索エンジンのロボット(クローラ)に対する命令を記述するファイル。GoogleやMozzilaのロボットがログインしているが、こいつらの動作をかるく指定できる。具体的には、検索データベースに登録してほしくないディレクトリを指定できたりする。実際にロボットがその通りの動作をしてくれるかは保証されないので注意。

例えば、以下のように書くと、Googleのbotにsecretディレクトリ以下を検索させないように命令できるようだ。また、sitemapでサイトマップも指定できる。

今回はFC2サイトマップで適当にドキュメントルートからサイトマップのxmlファイルを作成して設置し、それをrobots.txtに記述してドキュメントルートに設置することにした。

まあ今回の目的は404 Not Foundのログをなくすことなので、こんなもんでよいでしょう。サイトマップもSEO対策としては不可欠らしいけど、とりあえずお試しで設置したということで。

Apacheクックブック 第2版 ―Webサーバ管理者のためのレシピ集
Ken Coar Rich Bowen
オライリージャパン
売り上げランキング: 198,715

関連記事

no image

公開鍵認証のSSH

サーバ構築もそろそろ守りを固めます。 SSHを公開鍵認証に。 $ ssh-keyge

記事を読む

no image

Twitterで自動フォロー返しをするPHPコード

Apple信者の毒舌な妹botで使用している自動フォロー返しのコードをメモ。前提は Githu

記事を読む

no image

MySQLからツイートを選択してツイートするPHPコード

Twitter escultura de arena / Rosaura Ochoa Ap

記事を読む

no image

情報収集はとりあえずFeedlyとGunosyでいいと思った。あと新聞。

新聞の配信 / HIRAOKA,Yasunobu Googleリーダーが終了したり就活につ

記事を読む

CakePHPディレクトリを他サーバに移転する際に困ったこと

まだ解決できていないが、CakePHPで作ったアプリケーションを別のレンタルサーバーに移転し

記事を読む

メールサーバが少しできた。

いよっしゃああああああ!!!! 受信だけは問題なくできるようになりました。受信だけです

記事を読む

no image

Postfixのroot宛のメールを全て特定のユーザに

はじめての英語論文もいちおう書き上がったので、サーバいじりを再開。 /etc/aliase

記事を読む

no image

メールでログを届けてくれるlogwatchをインストール

logwatchとは/var/logの内容を1日に一回メールで送ってくれるもの。 これがなかなかけ

記事を読む

CentOS6.4でホスト名・ドメイン名の変更に伴う諸々の設定変更

以前に新しいドメインikuwow.comを取得して、とりあえずサブのアドレスとしてホームページに飛ん

記事を読む

サーバに追加していく機能まとめ。

いろいろと本を読んでいたら錯綜してきた。 ちょっとここでこれからやることを整理する。

記事を読む

ブログを移行しました

新しいブログはこちら http://queryok.ikuwow.co

ChefとAnsibleの比較 〜Ansibleはじめました〜

今まで個人のMacの環境構築には、Brewfileなるものを作成してい

no image
モチベ低い大学院生でも院進学で得られたもの

つい今月の頭に修士論文を提出して、長いプレッシャーから解放されました。

Apple Thunderbolt Displayを使って30分で理解した利点3つ

今まで研究室ではMac ProとDellのちゃちな21インチモニタで作

ニコニコ動画の動画上部のニュースを非表示にするSafari機能拡張

作りました。 HideNicoVideoNews http:/

→もっと見る

  • follow us in feedly
PAGE TOP ↑