WEDOS WebSite editor neumožňuje přímé vložení robots.txt souboru. Požadovaná pravidla pro chování vyhledávačů můžete vložit v Nastavení stránky jako Header, formou <meta> tagu. Meta tagy se nastavují pro každou stránku zvlášť, můžete tedy u některých stránek zakázat indexování, u jiných ne. Povolovat indexování není potřeba, to je výchozí chování.

Nezapomeňte stránku uložit a zveřejnit. Pak bude stránka nastavená dle vašich preferencí.

Inspirujte se v oficiálním manuálu od Google. Povolovat indexování není potřeba, to je výchozí chování. Jakmile na váš web povede nějaký odkaz, dostane se na něj dříve či později robot a zaindexuje jej.

Robots meta tagy slouží spíše k vyslovení přání, aby stránky nebyly indexovány. Obvykle v případě vývoje, nějakého obsahu pro uzavřenou komunitu nebo pro dočasné stránky. Je jen na robotech, zda budou přání respektovat. Roboti nejdůležitějších vyhledávačů je respektují.

• Pokud si nepřejete, aby vyhledávače indexovali web a procházeli i odkazy, použijte zápis:

<meta name="robots" content="noindex, nofollow" />

• Lze také zakázat přístup jen konkrétním robotům, například:

<meta name="AdsBot-Google" content="noindex" />