※wikiの編集が分からなくて、追加してほしい項目がある場合はページ下の「コメント」から誰かに頼んで下さい。
各ディレクトリにindex.htmlを置く
レンタルサーバーによっては、ディレクトリ内にindex.htmlを置かないとIEなどといったブラウザで丸見えになったりします。
ロボット避けを試みる
ロボット避けのMETAタグやrobots.txtはあくまで指定であり、強制力はありません。
Googleには有効ですか、他の検索エンジンに載ってしまう可能性があります。
Googleには有効ですか、他の検索エンジンに載ってしまう可能性があります。
METAタグを追加する
EasyBotter.php内
//表示用HTML function printHeader(){ $header = '<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">'; $header .= '<html xmlns="http://www.w3.org/1999/xhtml" lang="ja" xml:lang="ja">'; $header .= '<head>'; $header .= '<meta http-equiv="content-language" content="ja" />'; $header .= '<meta http-equiv="content-type" content="text/html; charset=UTF-8" />'; $header .= '<title>EasyBotter</title>'; $header .= '</head>'; $header .= '<body><pre>'; print $header; }
を探す。
$header .= '<title>EasyBotter</title>';
の上に
$header .= '<meta name="robots" content="noindex,nofollow,noarchive">';
を追加。
- ver.2.1を改造・機能追加した場合
- 改造・機能追加してEasyBotter.phpの他に、*****.phpといったファイルを増やしたのなら、中にHTML表記させる記述があるか確認する事を推奨します。
HTML表記があったら、<heml>の下にロボット避けのMETAタグを追加しましょう。 <meta name="robots" content="noindex,nofollow,noarchive">
- noindex…ページの登録拒否、nofollow…ページ内リンクを辿り拒否、noarchive…キャッシュ拒否
- ホームページ講座のサイトなどに、ロボット避けのMETAタグについてより詳しい解説が載ってます。
robots.txtで検索エンジンのクローラーを制御
robots.txtは、最上位のディレクトリに置くこと。
◯ http://ユーザーID.レンタルサーバー/robots.txt × http://ユーザーID.レンタルサーバー/ディレクトリ/robots.txt × http://レンタルサーバー/ユーザーID/robots.txt
@pagesユーザーは、最上位のディレクトリにrobots.txtを置けないためこの方法は有効ではありません。
- 設置例1:サイト全体を避けさせるようにしたい
/ ├index.html ├robots.txt └EasyBotterを設置するディレクトリ └index.html
robots.txt内には
User-Agent: * Disallow: /
- 設置例2:指定したディレクトリを避けさせるようにしたい
/ ├index.html ├robots.txt └ワンクッションのディレクトリ ├index.html └EasyBotterを設置するディレクトリ └index.html
robots.txt内には
User-agent: * /ディレクトリ名/ /ワンクッションのディレクトリ名/
- ※※※※注意!!※※※※
- robots.txtはブラウザからアクセスすれば書いてある内容が見えます。
robots.txt内にEasyBotterを設置するディレクトリ(隠したいディレクトリ)を正直に書かないこと!
EasyBotterを設置するディレクトリまで書いてしまうと、EasyBotterを設置したディレクトリを特定され名称変更していないファイルを探り当てられる可能性があります。
参照:Robots.txtで秘密がバレる!?
他、違った指定をしたかったりrobots.txtについてもっと詳しく知りたい場合は、
以下の参考になるサイトを見たり「robots.txt」で検索してみてください。
参考になるサイト:robots.txtでロボット対策
以下の参考になるサイトを見たり「robots.txt」で検索してみてください。
参考になるサイト:robots.txtでロボット対策
Googleの検索結果を制御・削除したい
Googleアカウントを習得してウェブマスターツールからの操作をお勧めします。
Google の検索結果からコンテンツを削除するには
Google の検索結果からコンテンツを削除するには
動作確認
- @pages……ファイル内にMETAタグを追加し、Google ウエブマスターツールで削除要請した結果、Googleに載った検索結果から消えました。
コメント
- 1 -- 名無しさん (2014-09-09 15:24:19)