De Code

Een robots.txt-bestand is een tekstbestand dat op de server van je website staat en richtlijnen geeft aan zoekmachinecrawlers en andere bots over welke pagina's ze wel of niet mogen bezoeken. Dit helpt bij het beheren van je site-indexering en het beschermen van gevoelige of overbodige inhoud tegen ongewenste crawlers.

# Block specific bots
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: domaincrawler.com
Disallow: /
User-agent: spbot
Disallow: /
User-agent: YandexBot
Disallow: /
User-agent: Baiduspider
Disallow: /

Hoe te gebruiken

Bekijk de video hieronder en volg stap voor stap de instructies. We laten je precies zien hoe je het moet doen, zodat je zonder gedoe aan de slag kunt.

‍

Jouw WEBFLOW SPECIALIST

Als Low-Code agency & Webflow partner, willen we met onze expertise jouw ideeën tot leven laten komen, en maken we van jouw online aanwezigheid een echte krachtpatser. Geen code? Geen zorgen.

Webflow CMS Certificaat