WordPress – Googlebot hozzáférési hibák javítása

Nemrégiben a Google emaileket küldött a webhely tulajdonosok millióinak a Search Console-on keresztül jelezve, hogy a “Googlebot nem fér hozzá a CSS és JS fájlokhoz”.

A teljes hibaszöveg a Search Console-ban a következő:

A Google rendszerei mostanában azt észlelték, hogy probléma van a kezdőlapjával, amely befolyásolja, hogy az algoritmusok mennyire jól jelenítik meg vagy indexelik a tartalmát. A konkrét probléma az, hogy a Googlebot a robots.txt fájlban megadott korlátozások miatt nem fér hozzá az Ön JavaScript- és/vagy CSS-fájljaihoz. Ezek a fájlok segítenek a Google-nak eldönteni, hogy a webhely megfelelően működik-e, így az elemekhez való hozzáférés letiltása nem ideális pozícióhoz vezethet a rangsorban.

Vagyis ez azt jelenti, hogy a Google-t sokkal jobban érdekli a webhely megjelenése, mint korábban. Hosszú időn át a rendszer a webhelyeket szöveg-alapú böngészők részére indexelte a webhelyeket. Képernyőképet készített, de az átvizsgálás nagyon egyszerű volt.

Most már a Google úgy tekint a webhelyre, mintha élő személy lenne. Ez azt jelenti, hogy a megjelenés sokkal fontosabb, mint korábban, ez biztosítja, hogy az oldalak jól strukturáltak és rendezett.

A Google pókja egyre emberibbé válik.

Szerencsére van egy egyszerű megoldás. Frissíteni kell a robots.txt fájlt, amely egy kis méretű fájl, amely utasításokat tartalmaz a keresőmotorok részére, hogy mire ügyeljenek és mire ne.

Itt egy példa a megoldásra:

#Googlebot
User-agent: Googlebot
Allow: *.css*
Allow: *.js*

# Global
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-includes/js/
Allow: /wp-content/plugins/
Allow: /wp-content/themes/
Allow: /wp-content/cache/
Disallow: /xmlrpc.php

Általános szabályként ez átmásolható a saját WordPress webhelyre és jól is kell működnie. De mindig vannak olyan sablonok és egyedi telepítési beállítások, amelyek egy kicsivel több kutatást és finomítást igényelnek, de a WordPress webhelyek 95%-ban ez a megoldás tökéletes.

Egy kis magyarázat arról, hogy hogyan is működik. Az utasítások elmondják a Google-nek, hogy indexeljen minden CSS és Javascript (JS) fájlt. A második szakasz utasítja az összes keresőmotort, hogy ezt megtehetik az összes könyvtárban, ahol az előbb említett fájlok előfordulhatnak, de egyben blokkolja is azokat a robotokat és pókokat, amelyeknek nem kell látniuk ezeket a fájlokat.

Esettanulmányként a cikkíró az egyik ügyfelének (aki szintén kapott a Google-tól hibaüzenetet) Big Ideas Machinewebhelyét mutatja be. A Google Search Console (más néven Webmester eszközök) használatával olvasta be és állította össze a címlapot, és egy listában a Google felsorolta, hogy mely fájlokat akarta és tudta átvizsgálni. a képernyőképek tisztán mutatják, hogy a Google nem tudta indexelni a teljes webhelyet: