Crawl budget, status 410 i przekierowanie 301 – John Mueller rozwiązuje to równanie

Redditowa społeczność chętnie radzi się siebie nawzajem w kwestiach pozycjonowania stron. Dodatkową zachętę do tego stanowi fakt, że na platformie tej od czasu do czasu gości John Mueller, od wielu lat będący twarzą i pośrednikiem Google w kontakcie z internautami. Ekspert niekiedy bierze udział w dyskusjach i odpowiada na pytania. Tym razem wypowiedział się na temat budżetu indeksowania oraz przekierowań. 

Spis treści:

1. Skomplikowana sprawa starych adresów URL – pytanie redditowicza
2. Słowniczek pojęć dla niewtajemniczonych
3. Mueller: Crawl budget to problem ogromnych witryn

Skomplikowana sprawa starych adresów URL – pytanie redditowicza 

Jeden z użytkowników Reddita zauważył problemy z indeksacją na swojej stronie i poprosił o poradę. W poście opisał swoją skomplikowaną sytuację. 

“Próbuję sprawić, żeby Google zapomniało skanować niektóre bardzo stare dresy URL bez protokołu HTTPS, które wciąż są skanowane po 6 latach. Ustawiłem w takich bardzo starych adresach URL, odpowiedź 410 po stronie HTTPS. 

Więc Googlebot znajduje przekierowanie 301 (z HTTP do HTTPS), a następnie 410. 

http://example.com/old-url.php?id=xxxx -301-> https://example.com/old-url.php?id=xxxx (410 response)

Dwa pytania. Czy G**** jest zadowolony z takiej kombinacji 301+410? 

Zmagam się z problemami z budżetem indeksowania i zastanawiam się, czy te dwie odpowiedzi nie obciążają Googlebota. 

Czy 410 działa? Czy powinienem wrócić bezpośrednio do 410 bez uprzedniego 301?” 

Słowniczek pojęć dla niewtajemniczonych

Osoby, które na co dzień zajmują się administrowaniem stron WWW raczej nie będą miały problemów ze zrozumieniem pojęć, ale dla niewtajemniczonych załączamy wyjaśnienie. 

• Crawl budget – Tzw. budżet indeksowania.Pojęcie stworzone przez społeczność SEO, które określa ilość podstron w obrębie Twojej domeny, jakie Googlebot jest w stanie przeskanować. 
• Status 410 – Komunikat, który informuje o tym, że odwiedzana strona została trwale usunięta. 
• Przekierowanie 301 – Kod informujący roboty wyszukiwarek o tym, że zawartość danego URL została na stałe przeniesiona pod inny adres. 
• HTTP – Protokół pozwalający na przesyłanie danych dla sieci internetowej. 
• HTTPS – Protokół HTTP, który został zabezpieczony. Gwarantuje szyfrowany przepływ danych z serwera oraz w drugą stronę. 

Mueller: Crawl budget to problem ogromnych witryn

Odpowiedź Johna Muellera sugeruje, że pomimo dość skomplikowanej sytuacji, budżet indeksowania nie cierpi z tego powodu, a przyczyny problemu należy szukać gdzieś indziej. 

“301 są w porządku, połączenie 301/410 jest w porządku. 

Budżet indeksowania to tak naprawdę problem jedynie ogromnych witryn (tutaj Mueller przekierowuje do Przewodnika po zarządzaniu budżetem indeksowania przeznaczony dla właścicieli dużych witryn od Google). Jeśli widzisz tutaj problem, ale twoja strona w zasadzie nie jest ogromna, to Google prawdopodobnie nie widzi większej wartości w dalszym skanowaniu. To nie jest problem techniczny.” 

Techniczne SEO jest bardzo ważne dla prawidłowego indeksowania oraz osiągania wysokich pozycji. Jednak słowa Muellera każą się zastanowić, czy niechęć do skanowania strony przez Googlebota, to zawsze kwestia technikaliów lub wyczerpanego budżetu indeksowania. Być może warto także zaktualizować i poprawić treści?