Un client m'appelle il y a quelques semaines, paniqué : sa page produit principale a disparu de Google. Pas rétrogradée. Disparue. Je lance une inspection d'URL dans la Search Console et je vois ce message que je connais trop bien : « URL découverte, actuellement non indexée ». La page existait, elle répondait en 200, elle était dans le sitemap.
Et pourtant, Google refusait de l'afficher.
Ce genre de situation, je l'ai vécu des dizaines de fois. Et à chaque fois, la même conclusion : celui qui ne comprend pas le mécanisme derrière le crawl et l'indexation Google perd son temps à corriger le mauvais problème. Il réécrit ses balises title quand le souci vient d'un fichier robots.txt. Il ajoute des mots-clés quand Googlebot n'a jamais rendu la page correctement.
Ce qui suit n'est pas un cours théorique. C'est la mécanique réelle, avec les étapes où ça casse, et les vérifications concrètes à faire dans votre coin.
Points clés à retenir
- Le crawl, l'indexation et le classement sont trois étapes distinctes : une page peut être explorée sans être indexée, et indexée sans jamais bien se classer.
- Le budget de crawl n'est pas un quota officiel, mais il existe bel et bien : il se gaspille vite avec des URL générées en masse (facettes, paramètres, pages de tri).
- Une page en JavaScript passe généralement par deux vagues de traitement — le HTML brut d'abord, le rendu ensuite — ce qui explique bien des délais d'indexation.
- Le rapport « Pages » de Search Console donne le statut réel de chaque URL. C'est le premier endroit à consulter, pas le dernier.
- Demander une indexation ne force rien. C'est une file d'attente prioritaire, pas un passe-droit.
Comment fonctionne vraiment le crawl et l'indexation Google
La métaphore la plus utile que je connaisse : Google est une bibliothèque qui n'achète pas ses livres, elle les emprunte. Un robot passe, prend une copie, la range. Mais ranger ne veut pas dire mettre en rayon devant. Et mettre en rayon devant ne veut pas dire que le lecteur va emprunter ce livre plutôt qu'un autre.
Trois phases, donc. Et j'insiste sur un point que beaucoup de gens confondent encore : une page crawlée n'est pas forcément indexée, et une page indexée n'est pas forcément classée correctement. Ce sont des filtres successifs, chacun pouvant bloquer à son niveau.
Étape 1 : l'exploration par Googlebot
Googlebot est un programme. Il récupère une URL, lit le code HTML renvoyé par le serveur, et cherche des liens à suivre. Chaque lien découvert entre dans une file d'attente. Et c'est là que le premier piège se referme : plus une page est profonde (à quatre, cinq, six clics de l'accueil), moins elle est visitée souvent.
Sur un ancien projet e-commerce, j'avais une catégorie à 55 000 produits dont les fiches n'étaient accessibles qu'après trois filtres successifs. Concrètement, Googlebot en explorait environ un millier par mois. À ce rythme, il lui aurait fallu des années pour tout voir. J'ai aplati l'arborescence et mis un sitemap segmenté en place : le volume exploré par mois a plus que triplé en six semaines.
Ce qui influence concrètement la fréquence d'exploration :
- la fréquence de mise à jour réelle de la page (une page figée depuis deux ans est revisitée moins souvent) ;
- la popularité interne et externe — les liens entrant et sortant pointant vers l'URL ;
- la propreté technique du site : un serveur qui répond lentement ou renvoie des erreurs 500 ralentit tout le monde ;
- et la qualité de l'architecture, évidemment — un site mal maillé se crawl mal.
Étape 2 : l'indexation, et le cas des pages en JavaScript
Une fois le contenu récupéré, Google tente de le comprendre, d'en extraire le sujet, d'identifier les entités et les liens, puis de le stocker dans un index inversé. C'est là que la notion de qualité entre en jeu : une page jugée trop pauvre, trop dupliquée, ou trop proche d'une autre ne sera pas retenue. Google conserve alors une URL « connue » mais choisit de ne pas la servir.
Le point que la plupart des guides survolent, c'est le rendu. Si votre contenu est injecté par JavaScript, Google doit exécuter la page pour le voir. Cela se fait en deux temps : d'abord il lit le HTML brut, puis — plus tard — il passe la page par son moteur de rendu. Résultat : un contenu parfaitement visible dans votre navigateur peut n'exister qu'à la deuxième vague, ce qui décale l'indexation de plusieurs jours à plusieurs semaines.
J'ai fait cette erreur en 2022, sur un site dont tout le corps de page était monté en JS côté client. Le HTML source ne contenait qu'un <div id="app"> vide. Trois mois plus tard, seules les pages principales étaient indexées. Nous avons basculé le rendu côté serveur pour l'essentiel du contenu — et l'indexation de l'ensemble du catalogue a suivi en trois semaines. Franchement, j'aurais dû le voir dès le départ. Je ne connaissais simplement pas encore ce mécanisme des deux vagues.
Étape 3 : le classement, autre chantier
L'indexation ne garantit rien sur la position. Une page dans l'index peut ne jamais sortir de la page 8 des résultats. Le classement dépend de dizaines de signaux (pertinence, autorité, expérience de page, correspondance à l'intention de recherche). Et souvent, ce qu'on croit être un problème d'indexation est en réalité un problème de classement. Vérifiez toujours dans quel état vous êtes avant de toucher à quoi que ce soit.
Le budget de crawl : où vous le gaspillez sans le savoir
Voilà un sujet où j'ai vu les dégâts les plus spectaculaires. Le budget de crawl n'est pas un chiffre public, et personne ne vous le donnera. Mais le principe est simple : Google consacre à votre site un volume d'exploration limité. Si vous lui donnez 40 000 URL à visiter, dont 38 000 sont des variantes inutiles, il explore vos variantes — pas vos pages importantes.
Les coupables habituels, dans l'ordre :
- Les filtres à facettes qui génèrent des combinaisons infinies de paramètres (
?couleur=bleu&taille=m&tri=prix). Chaque combinaison devient une URL potentielle. - Les paramètres de tracking et de session qui se baladent dans les liens internes.
- Les pages de tri et de pagination profondes, sans balise de canonicalisation.
- Et les URL de recherche interne, qui créent souvent des milliers d'adresses vides.
Sur un site de 12 000 produits, j'avais mesuré, grâce aux journaux serveur, que 68 % des requêtes de Googlebot portaient sur des URL de facettes jamais visitées par un humain. Après avoir bloqué les combinaisons inutiles en robots.txt et posé des canoniques vers les catégories mères, les requêtes sur les vraies fiches produit ont été multipliées par deux en un mois. Le résultat n'a pas été spectaculaire dans les chiffres de trafic, mais il a été net : les nouveautés étaient indexées en quelques jours au lieu de plusieurs semaines.
| Type d'URL | Effet sur le budget | Action recommandée |
|---|---|---|
| Facettes et filtres | Fort — des milliers d'URL générées | Bloquer les combinaisons inutiles, canoniques vers la catégorie mère |
| Paramètres de tracking | Moyen — duplication silencieuse | Paramètres retirés des liens internes, canonicalisation |
| Pagination profonde | Variable | Sitemap dédié, liens directs depuis la première page |
| Pages de recherche interne | Fort — URL souvent vides | Balise noindex ou blocage `robots.txt` |
| Pages utilitaires (panier, compte) | Faible mais inutile | noindex — leur présence dans l'index ne sert à rien |
Demander une indexation Google et utiliser le vérificateur d'URL
« Mon site est en ligne, pourquoi il n'apparaît pas ? » On me pose cette question chaque semaine. La réponse tient souvent en un mot : délai. Mais l'outil existe, dans la Search Console, et il s'appelle le vérificateur d'URL.
Comment demander une indexation Google
Le chemin est court. Vous collez l'URL dans la barre de recherche en haut de la Search Console. Vous obtenez un diagnostic : « URL is on Google » ou « URL is not on Google ». Puis vous cliquez sur « Demander une indexation ». Point.
Ce qu'il faut savoir, et que je répète systématiquement : cette demande ne force rien. Elle place votre URL en début de file d'attente. Sur un site bien crawlé, la page peut apparaître en quelques heures. Sur un site moribond, elle peut rester en attente des semaines. Et si le contenu n'est pas jugé utile, la demande ne changera rien à l'affaire.
Mon conseil, testé et approuvé : demandez l'indexation d'une page à la fois, après chaque publication importante. Pas en masse. Et vérifiez le diagnostic avant de demander — si le vérificateur d'URL vous dit « Exclue par une balise noindex », c'est là qu'il faut agir, pas sur le bouton.
Que révèle un statut d'exclusion ?
Les statuts les plus fréquents, dans mon expérience, et ce qu'ils signifient :
- « Explorée, actuellement non indexée » — Google a lu la page et a décidé de ne pas la garder. Contenu pauvre, duplication, ou page trop récente. Souvent un signal de qualité, pas un bug.
- « Découverte, actuellement non indexée » — l'URL est connue mais Google n'est pas encore venu. Un problème de budget de crawl ou de priorité.
- « Exclue par une balise noindex » — vous ou votre CMS avez posé la balise. Vérifiez-en l'ouverture et la fermeture, ça arrive plus souvent qu'on ne le croit.
- « Autre page avec balise canonique » — Google considère que deux URL sont la même page et a choisi l'autre. À corriger si le choix est mauvais.
Un dernier point sur le sujet : le rendu du sitemap XML ne remplace pas un bon maillage interne. Un sitemap informe de l'existence d'une URL ; les liens lui indiquent son importance relative. Un sitemap plein de pages orphelines ne sera pas mieux crawlé qu'un site bien maillé.
Pourquoi ma page n'apparaît pas dans Google ?
La première chose à vérifier est l'état réel de la page, pas son contenu. Dans 9 cas sur 10, le problème est mécanique. Si la page est « Découverte, actuellement non indexée », c'est un problème de crawl — souvent de budget ou de maillage. Si elle est « Explorée, actuellement non indexée », c'est un problème de qualité perçue ou de duplication.
Vérifiez dans cet ordre :
- La page renvoie-t-elle bien un code 200 ? Un 301, un 404, un 500 bloquent tout.
- Le fichier robots.txt bloque-t-il l'URL ?
- Le contenu de la page est-il présent dans le HTML source, ou seulement après rendu JS ?
- La page est-elle en doublon avec une autre, plus ancienne ?
- Et seulement ensuite : le contenu est-il suffisant ?
J'insiste sur ce dernier point : je vois encore beaucoup de gens réécrire des textes entiers alors que la page est bloquée par un `noindex` posé lors d'une mise en maintenance et jamais retiré.
Un mécanisme qui récompense la patience technique
Le crawl et l'indexation ne sont pas des cases à cocher. C'est une mécanique où chaque décision d'architecture a une conséquence différée de plusieurs semaines. Ce que je constate, après avoir accompagné des dizaines de sites, c'est que les équipes qui comprennent la différence entre les trois phases arrêtent d'agir dans l'urgence et commencent à corriger à la source. Les autres continuent à demander des indexations en masse et à s'étonner que rien ne bouge.
Et une chose que j'ai apprise à mes dépens : la patience, ici, n'est pas une vertu molle. C'est une compétence technique. Une page corrigée aujourd'hui peut mettre six semaines à remonter. Celui qui cède à la panique à la troisième semaine et recommence à tout modifier repart de zéro.
La prochaine fois qu'une page disparaît, ouvrez la Search Console avant de toucher au contenu. Neuf fois sur dix, le problème est plus mécanique que rédactionnel — et cette réponse-là, elle se trouve dans l'état de la page, pas dans vos balises.
