*

検索エンジンのロボットに対する命令を記述するrobots.txtについてのメモ

公開日: : 最終更新日:2014/02/06 サーバ運用, 備忘録 , , ,

この記事の所要時間:約2分6秒

Robots...
Robots… / jeffedoe

毎朝早朝に送られてくるlogwatchからのメールを見ると、httpdの項目のところに検出されたエラーが出てくる。

まあいろいろとエラーが記録されているが、404 Not Foundのなかでrobots.txtに対するアクセスが目立つ。少し調べてみた。

robots.txtは検索エンジンのロボット(クローラ)に対する命令を記述するファイル。GoogleやMozzilaのロボットがログインしているが、こいつらの動作をかるく指定できる。具体的には、検索データベースに登録してほしくないディレクトリを指定できたりする。実際にロボットがその通りの動作をしてくれるかは保証されないので注意。

例えば、以下のように書くと、Googleのbotにsecretディレクトリ以下を検索させないように命令できるようだ。また、sitemapでサイトマップも指定できる。

今回はFC2サイトマップで適当にドキュメントルートからサイトマップのxmlファイルを作成して設置し、それをrobots.txtに記述してドキュメントルートに設置することにした。

まあ今回の目的は404 Not Foundのログをなくすことなので、こんなもんでよいでしょう。サイトマップもSEO対策としては不可欠らしいけど、とりあえずお試しで設置したということで。

Apacheクックブック 第2版 ―Webサーバ管理者のためのレシピ集
Ken Coar Rich Bowen
オライリージャパン
売り上げランキング: 198,715

関連記事

no image

ApacheでSSLを有効に(mod_ssl)

動機は、ownCloudをインストールしたこと。自分しか使わないとはいえブラウザでアクセスできるオン

記事を読む

no image

Apacheの起動が失敗する

ブログの重さが改善されるかと思いapacheのKeepAliveをonにして、restart。 し

記事を読む

NVR500にプロバイダの固定IPサービスを設定する手順

ついに私も、固定IPサービスを使うことにしました。ルータへの設定で若干詰まったのでメモ。自鯖

記事を読む

NVR500のVPN設定にめげるチンパンジー

auのiPhoneから自宅のNVR500にVPN接続は簡単にはできないっぽい

NVR500のVPN設定にめげるチンパンジー[/caption] ここ1週間ぐらい、手持ちの

記事を読む

no image

情報収集はとりあえずFeedlyとGunosyでいいと思った。あと新聞。

新聞の配信 / HIRAOKA,Yasunobu Googleリーダーが終了したり就活につ

記事を読む

Cent OSサーバを起動するたびにいろいろとプロセスがクラッシュする問題

いつからか、Cent OSサーバを再起動するたびに件名が" full clash repor

記事を読む

no image

Safariでキーボードのみのブラウジングを実現するショートカットたち

iMacのキーボード / salchu ある程度パソコンを触っていた期間が長い人なら、誰で

記事を読む

三日間のWebアプリのハッカソンに参加してきた

MacBook 2GHz / tkramer 3日間でウェブサービスを作る、学生向けの3日

記事を読む

no image

メールでログを届けてくれるlogwatchをインストール

logwatchとは/var/logの内容を1日に一回メールで送ってくれるもの。 これがなかなかけ

記事を読む

no image

rsyncで毎日自動差分バックアップを構成

毎日の明け方に、外付けHDDにrsyncバックアップをするようにした。rsyncを実行するシェルスク

記事を読む

ブログを移行しました

新しいブログはこちら http://queryok.ikuwow.co

ChefとAnsibleの比較 〜Ansibleはじめました〜

今まで個人のMacの環境構築には、Brewfileなるものを作成してい

no image
モチベ低い大学院生でも院進学で得られたもの

つい今月の頭に修士論文を提出して、長いプレッシャーから解放されました。

Apple Thunderbolt Displayを使って30分で理解した利点3つ

今まで研究室ではMac ProとDellのちゃちな21インチモニタで作

ニコニコ動画の動画上部のニュースを非表示にするSafari機能拡張

作りました。 HideNicoVideoNews http:/

→もっと見る

PAGE TOP ↑