Nemrégiben a Google emaileket küldött a webhely tulajdonosok millióinak a Search Console-on keresztül jelezve, hogy a “Googlebot nem fér hozzá a CSS és JS fájlokhoz”.
A teljes hibaszöveg a Search Console-ban a következő:
A Google rendszerei mostanában azt észlelték, hogy probléma van a kezdőlapjával, amely befolyásolja, hogy az algoritmusok mennyire jól jelenítik meg vagy indexelik a tartalmát. A konkrét probléma az, hogy a Googlebot a robots.txt fájlban megadott korlátozások miatt nem fér hozzá az Ön JavaScript- és/vagy CSS-fájljaihoz. Ezek a fájlok segítenek a Google-nak eldönteni, hogy a webhely megfelelően működik-e, így az elemekhez való hozzáférés letiltása nem ideális pozícióhoz vezethet a rangsorban.
Vagyis ez azt jelenti, hogy a Google-t sokkal jobban érdekli a webhely megjelenése, mint korábban. Hosszú időn át a rendszer a webhelyeket szöveg-alapú böngészők részére indexelte a webhelyeket. Képernyőképet készített, de az átvizsgálás nagyon egyszerű volt.
Most már a Google úgy tekint a webhelyre, mintha élő személy lenne. Ez azt jelenti, hogy a megjelenés sokkal fontosabb, mint korábban, ez biztosítja, hogy az oldalak jól strukturáltak és rendezett.
A Google pókja egyre emberibbé válik.
Szerencsére van egy egyszerű megoldás. Frissíteni kell a robots.txt fájlt, amely egy kis méretű fájl, amely utasításokat tartalmaz a keresőmotorok részére, hogy mire ügyeljenek és mire ne.
Itt egy példa a megoldásra:
#Googlebot User-agent: Googlebot Allow: *.css* Allow: *.js* # Global User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Allow: /wp-includes/js/ Allow: /wp-content/plugins/ Allow: /wp-content/themes/ Allow: /wp-content/cache/ Disallow: /xmlrpc.php
Általános szabályként ez átmásolható a saját WordPress webhelyre és jól is kell működnie. De mindig vannak olyan sablonok és egyedi telepítési beállítások, amelyek egy kicsivel több kutatást és finomítást igényelnek, de a WordPress webhelyek 95%-ban ez a megoldás tökéletes.
Egy kis magyarázat arról, hogy hogyan is működik. Az utasítások elmondják a Google-nek, hogy indexeljen minden CSS és Javascript (JS) fájlt. A második szakasz utasítja az összes keresőmotort, hogy ezt megtehetik az összes könyvtárban, ahol az előbb említett fájlok előfordulhatnak, de egyben blokkolja is azokat a robotokat és pókokat, amelyeknek nem kell látniuk ezeket a fájlokat.
Esettanulmányként a cikkíró az egyik ügyfelének (aki szintén kapott a Google-tól hibaüzenetet) Big Ideas Machinewebhelyét mutatja be. A Google Search Console (más néven Webmester eszközök) használatával olvasta be és állította össze a címlapot, és egy listában a Google felsorolta, hogy mely fájlokat akarta és tudta átvizsgálni. a képernyőképek tisztán mutatják, hogy a Google nem tudta indexelni a teljes webhelyet:
