こうへい どうも、こうへいです。
今回は、GoogleやYahoo, Bing等の検索エンジンで、Webページがインデックス可能な状態かどうかを調べる方法を教えます！
調べ方
やり方は2つあります。
1つめは、Google Search Console という、GoogleのWebサイト運営者のためのツールを使って調べる方法。
もうひとつは、robots.txt と呼ばれる、検索エンジンに対してのアクセスの許可や拒否を記述したファイルや、Webページのソースコード中に含まれる、メタタグの情報を手動で確認する方法です。
ツールを使う方法
1つめの、Google Search Console を使ってページが検索エンジンにインデックス可能かどうか調べる方法は以下の記事をご覧ください。
mameko.jpちなみにこの方法は、Google Search Console にて調べたいサイトの所有権が必要です！
サイトの所有権を確認する方法は以下参照。
手動で調べる方法
手動で調べる場合は、robots.txt ファイルと、Webページのソースコード中のメタタグに記述してある検索エンジン用のタグを確認します。
robots.txt もメタタグも両方共が検索エンジンのインデックスを許可する記述になっている事を確認します。
robots.txt ファイルの確認
robots.txt ファイルは、WebサイトURLのルート直下にあるので（このサイトだと、 https://mameko.jp/robots.txt ）インデックスしたいページが、「Disallow」になっていないかチェックしましょう。
もしインデックスされたいページが、「Disallow」になっていたら検索エンジンに載らないので注意しましょう！
robots.txt については以下のページに詳しく書かれていました。
ソースコード中のメタタグを確認
メタタグについては、Chromeなどのブラウザでページを開いて右クリック → 「ページのソースコードを表示」して、<head>タグ内の、<meta name=”robots” content=”xxxxx,xxxxx”>の部分を確認します。
content=”xxxxx,xxxxx” の、xxxxx,xxxxx の部分が、noindex,nofollow などになっていないか確認しましょう。
<meta name=”robots”>タグについては以下のページが参考になりました。
以上です！