# robots.txt voor hairextensionsvoordeel.nl # # Dit is een echt bestand. Zonder bestand stelt WordPress robots.txt bij elke # aanvraag samen, en dan start er een complete PHP-aanvraag voor: dat duurde # ongeveer 0,7 seconde, tegenover 0,08 voor een gecachte pagina. Google's # ophaler liep daardoor af ("Timed out fetching resource"). Nu serveert nginx # het rechtstreeks. # # De regels hieronder zijn precies wat WordPress eerder opleverde: het blok van # WooCommerce, samengevoegd met dat van Yoast. Yoast zette er een tweede # "User-agent: *" onder met een lege Disallow - dat betekent "alles toegestaan" # en stond dus pal naast het blok dat juist dingen verbiedt. Samengevoegd tot # een groep, zodat er geen twijfel over de uitleg kan bestaan. # # Let op: WooCommerce en Yoast kunnen hun regels nu niet meer zelf aanpassen. # Wijzigen kan via Yoast (Gereedschap > Bestand bewerken) of door dit bestand # aan te passen. User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-content/uploads/wc-logs/ Disallow: /wp-content/uploads/woocommerce_transient_files/ Disallow: /wp-content/uploads/woocommerce_uploads/ Disallow: /*?add-to-cart= Disallow: /*?*add-to-cart= Sitemap: https://hairextensionsvoordeel.nl/sitemap_index.xml