META ROBOTS (NOINDEX, NOFOLLOW, ALL, NONE)

Wenn man keinen Zugriff auf robot.txt hat, um Zigriff auf Webseite von Suchmaschinen Bots zu begrenzen, benutzt man sogenannte META ROBOTS Tags im Header vom HTML-Dokument.

NOINDEX - verbietet die Aufnahme des Dokumentes in Index der Suchmaschienen;

NOFOLLOW - die Seite kann in Index augenommen werden, aber Suchmascienen Bot muss den Links  auf der Seite nicht folgen.

INDEX - erlaubt die Aufnahme des Dokumentes in Index der Suchmaschienen;

FOLLOW - erlaubt dem Bot den Links zu folgen;

ALL –   INDEX, FOLLOW:

<META name="ROBOTS" content="index, follow">

oder

<META name="ROBOTS" content="all">

NONE –  NOINDEX, NOFOLLOW.

<META name="ROBOTS" content="noindex, nofollow">

oder

<META name="ROBOTS" content="none">

Bei widersprüchlichen Eingaben:

<META name="ROBOTS" content="index, nofollow, follow">

Für Bot sieht es so aus:

<META name="ROBOTS" content="index, follow">