Az egyik legalapvetőbb wordpress-et és a robots.txt-t keresztező információ, hogy a keresőrobotoknak nem engedélyezzük a wp-admin/ mappa tartalmának (fájlok + almappák) elérését, indexelését. Itt nem az admin felületről beszélünk, amit mi felhasználók látunk, mivel az csak belépéssel érhető el, a keresőrobotoknak pedig nincsen hozzáférése. Tehát a wp-admin mappából maximum a fájlokat tudnák a keresők indexelni, böngészni. Persze a robots.txt csak iránymutatást ad a robotoknak, azok maguk döntik el, hogy figyelembe veszik-e vagy sem.
Jó-e ha a keresők elől nem rejtem az admint?
Ez egy fogós kérdés. Az egyik alap beállítás, hogy a /wp-admin mappából tiltjuk a keresőrobotokat, hisz nincs ott keresni valójuk. Mi általában a /wp-includes mappát is tabuként adjuk meg a robotokat, hiszen ott sincs semmi keresnivalójuk. Egyedül a /wp-content mappában kell kutakodniuk és a fő mappába, amibe a wordpress-t telepítettük. A főmappa azért, mivel az oldalaink azoldalcime.hu/keresobarat-oldalcim/ módon jelenik meg az esetek több mint 90%-ban.
Azonban a Google-től megszoktuk, hogy mindig mocorog, sosem tud nyugton maradni. Az utóbbi időben sem változott el. A keresőóriás a WMT-n (WebMasterTools) keresztül kezdett üzenni egyes oldalaknál, hogy nem fér hozzá a wp-admin mappában található javascript és css fájlokhoz.
Miért akarna ilyen fájlokhoz férni?
A dolog egyszerűbb mint gondolnánk. Noha a Html5 lassan, de biztosan hódít és növeli részesedését, nagyon sok megoldás (weboldal, szolgáltatás, online program) egyre több javascriptes kódot használ. Sok esetben pedig szöveges tartalmakat rejtenek ezek a scriptek. Gondoljunk bele, javascripttel megoldható, hogy a robotok és a felhasználók két teljesen eltérő tartalmat láthassanak.
Kaphatok-e büntetést vagy hátrányba kerülhetek ha nem engedek?
Feltehetően nem. Amennyiben nincs jelentős tartalom a javascript fájlokban, akkor szerintünk nem fogja a WordPress oldalakat negatívan érinteni. Persze logikusan gondolhatnánk, hogy a kereső is úgy van vele, hogy „Velem vagy ellenem”, de az elkövetkező évekbe úgy érezzük, hogy nem fog ez problémát okozni.
Akkor most engedjük vagy ne?
Nyugodtan engedhetjük a keresőknek, hogy nézelődjenek. Ha akarnák, nem vennék figyelembe a robots.txt utasítását. Az alábbi módon engedélyezheted: A robots.txt -fájlból (avagy ha virtualizálva van, akkor a bővítményből ami kreálja) egyszerűen töröljük az alábbi két sor:
Disallow: /wp-admin/ Disallow: /wp-includes/
Ennyi, nincs is több teendőnk!