Technisch

Robots.txt generator

Stel een correcte robots.txt samen. Dit bestand vertelt zoekmachines en crawlers welke delen van een site zij wel en niet mogen bezoeken, en waar de sitemap staat.

Toegang

User-agent

Niet toestaan (disallow) één pad per regel, bijv. /wp-admin/

Crawl-delay optioneel, in seconden

Sitemap-URL

robots.txt

Gekopieerd

Plaats het bestand in de hoofdmap van de site, zodat het bereikbaar is op /robots.txt. Blokkeren in robots.txt voorkomt crawlen, maar is geen garantie tegen indexeren; gebruik daarvoor een noindex-tag.