robots.txt ellenőrzés

Időnként ellenőrizd a /robots.txt fájl meglétét, hogy weblapod jobb minőségű legyen és ezáltal jobb helyen szerepeljen a keresőkben, több látogatót vonzzon a keresőkből. A robots.txt fájl tartalmának megtekintéséhez nem kell mást tenned, csak a domain neved után közvetlenül beírni a /robots.txt -t a böngészőben. pl: hu.waudito.com/robots.txt

A keresőrobotok mindegyike apró programokat, úgynevezett robotokat / pókokat használ arra, hogy feltérképezze a weblapokat. A robots.txt -vel ezeknek a feltérképezést végző szoftvereknek üzenhetünk. Megmondhatjuk, hogy

  • milyen robotokat látunk szívesen és miket tiltunk ki az oldalunkról
  • mely tartalmakat szeretnénk, ha felindexelnék és miket akarunk elrejteni a robotok elől
  • hol található a sitemap.xml, ami felsorolja az összes tartalmunk URL -jét

Fontos megjegyezni, hogy a robots.txt fájlt bárki letöltheti, nem csak a robotok. Továbbá a tapasztalat azt mutatja, hogy egyes renitens robotok nem veszik figyelembe nekik írt szabályokat és bemerészkednek olyan helyekre is, ahonnan kitiltottuk őket (ezek általában biztonsági réseket kereső rosszindulatú robotok).

Kiknek ajánljuk?

Ez az ingyenes robots.txt ellenőrző eszköz hasznos segítség a

  • weblaptulajdonosoknak
  • weblap fejlesztőknek
  • weblap üzemeltető rendszergazdáknak

Miért fontos?

Időnként ellenőrizni kell a robots.txt -t, mert ez a fájl hatással van a keresők találati listáin való megjelenésre és helyezésre is.

Ha a robots.txt fájl rosszul van beállítva, akkor az indexelést végző robotok hibás információkat kaphatnak és elmaradhat a weblap felindexelése, ami által kimarad a találati listákból is.

Mit csinál?

Ez az eszköz megvizsgálja a robots.txt fájl:

  • létezését vagy hiányát
  • tartalmát
  • sitemap.xml feltüntetését a robots.txt -ben

Hogyan működik?

A robots.txt fájlt vagy a rendszergazdák hozzák létre a szerveren manuálisan, vagy a tartalmat kezelő CMS rendszer generálja azt ki. Ha a fájl hiányzik, akkor érdemes mielőbb kézzel létrehozni azt, de hosszútávon ajánlott olyan CMS rendszert keresni, ami kezeli a robots.txt-t.

A robots.txt folyamatos ellenőrzéséhez, regisztrálj ingyenesen a waudito.com website audit rendszerébe.