WordPress robots.txt-bestandsvoorbeeld
Hier zijn enkele robots.txt om WordPress voor de volgende serie te installeren:
In de volgende regel zien we dat er Disallow staat, de map /wp-admin/, En in de derde regel zien we dat er staat Sta een bestand toe dat zich in de map wp-admin bevindt, genaamd admin-ajax.php. Hoe is het mogelijk? Ja, we hebben u verteld dat we niet willen dat de inhoud van die map wordt gecrawld, maar we willen wel het crawlen naar een bepaald bestand in diezelfde map toestaan.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php