Robots.txt de WordPress

Il y a 5 jours j’ai mis mon site en ligne. Pour pouvoir finaliser le paramétrage tranquillement, j’avais bloqué la visibilité de site sur les moteur de recherche, notamment Google. Cette option est disponible sous l’onglet Réglages - > Vie privée de WordPress. À ma grande surprise, quand je me suis connecté aux outils de web-master de Google le fichier robots.txt de mon site a déjà bloqué son indexation…

Pas de panique, si le robot Google a passé sur votre site avant que vous avez eu le temps de modifier l’option de visibilité, une fois cette option est changée, tôt ou tard Google va repasser pour indexer votre site. Mais bon, je comprends tout à fait, que de voir votre site bloqué pendant quelque temps par votre propre fichier robots demande les nerfs en acier…

Je fais quelques recherches sur Internet qui m’ont fait voir que il y a pas mal de gens qui pensent que le fichier robots.txt d’un site sous WordPress est un fichier réel qui doit être placé à la racine de votre site… En fait, WordPress génère ce fichier à la demande en utilisant la fonction do_robots().

Cela veut dire, que vous ne pouvez pas le trouver sur votre site puisqu’il est virtuel. Cela complique les choses quand on a besoin de le modifier pour affiner les réglages d’indexation. Bien sûr, on peut le créer à la main et placer à la racine de votre site, mais cette solution n’est pas la meilleure.

Voici un code PHP qui permet de modifier votre fichier virtuel robots.txt sans devoir modifier les fichiers de noyau de WordPress (ce que je vous déconseille fortement) ou utiliser des plugins superflus. Tout simplement copiez – collez ce code dans dans le fichier fonction.php de votre thème.

<?php
//filtrer le contenu de robots.txt
function custom_robots($output) {
	$public = get_option( 'blog_public' );
	if ( '0' != $public ) 
		return str_replace('Disallow:','Allow: /',$output);
}
add_filter('robots_txt','custom_robots',0);

Ce code – c’est un filtre PHP qui modifie le contenu du fichier robots.txt généré par WordPress. Le principe est simple – variable $output à la rentrée de la fonction contienne le texte de ce fichier. Ce que la fonction retourne – c’est le nouveau contenu du fichier robots.txt. Dans cet exemple – le Disallow: est remplacé par Allow: / en fonction de l’option de la visibilité de votre site que vous avez choisie.

Comme la priorité pour ce filtre est 0, il sera appliqué en premier. Ce que n’empêche pas aux plugins de faire leurs propres modifications par la suite. Par exemple, Google (XML) Sitemaps Generator for WordPress ajoute une ligne à la fin de votre fichier robots.txt. Cette ligne contienne l’adresse de votre plan de site fourni pour Google pour assurer la meilleure indexation de vos pages et articles.

Comme vous le voyez, en utilisant un filtre comme celui-ci vous avez le contrôle total sur le fichier robots virtuel qui est généré par WordPress. À vous de modifier la fonction PHP pour correspondre à vos besoins. N’hésitez pas à poser vos questions dans les commentaires.

À bientôt.

Image par : Belial'