A keresőmotorok robotokkal, más néven pókokkal vagy robotokkal vannak felszerelve, amelyek feltérképezik és indexelik a weboldalakat. Ha webhelye vagy oldala fejlesztés alatt áll, vagy érzékeny tartalmat tartalmaz, akkor meg kell akadályoznia, hogy a robotok feltérképezzék és indexeljék webhelyét. Ismerje meg, hogyan lehet blokkolni a teljes webhelyeket, oldalakat és linkeket a robots.txt fájlokkal, és hogyan blokkolhat bizonyos oldalakat és linkeket html -címkékkel. Olvassa el, és fedezze fel, hogyan tilthatja le bizonyos robotok hozzáférését a tartalomhoz.
Lépések
1. módszer a 2 -ből: A keresőmotorok blokkolása robots.txt fájlokkal
1. lépés: A robots.txt fájlok megértése
A robots.txt fájl egy egyszerű vagy ASCII szövegfájl, amely tájékoztatja a keresőmotor -pókokat arról, hogy mihez férhetnek hozzá az Ön webhelyén. A robots.txt fájlban felsorolt fájlokat és mappákat a keresőmotorok nem feltérképezhetik és indexelhetik. Szüksége lehet a robots.txt fájlra, ha:
- Bizonyos tartalmakat szeretne letiltani a keresőmotor -pókoktól.
- Élő webhelyet fejleszt, és nem áll készen arra, hogy a keresőmotorok pókjai feltérképezzék és indexeljék az oldalt
- Korlátozni szeretné a hozzáférést a megbízható robotokhoz.
2. lépés: Hozzon létre és mentsen és robots.txt fájlt
A fájl létrehozásához indítson el egy egyszerű szövegszerkesztőt vagy egy kódszerkesztőt. Mentse a fájlt: robots.txt. A fájlnévnek kisbetűsnek kell lennie.
- Ne felejtse el az „s” -et.
- A fájl mentésekor válassza a „'.txt” kiterjesztést. Ha Wordet használ, válassza a „Sima szöveg” opciót.
Lépés 3. Írjon be egy teljesen tiltott robots.txt fájlt
A robots.txt fájl segítségével minden jó hírű keresőmotor-pók blokkolhatja a webhely feltérképezését és indexelését. Írja be a következő sorokat a szövegfájlba:
User-agent: * Letiltás: /
4. lépés. Írjon feltételes engedélyezésű robots.txt fájlt
Ahelyett, hogy letiltaná az összes robotot, fontolja meg bizonyos pókok letiltását webhelye bizonyos területeiről. A gyakori feltételes engedélyezési parancsok a következők:
- Egy adott robot letiltása: cserélje ki a mellette lévő csillagokat User-agent val vel googlebot, googlebot-news, googlebot-kép, bingbot, vagy teoma.
-
A könyvtár és tartalmának letiltása:
User-agent: * Disallow: /sample-directory /
-
Weboldal letiltása:
User-agent: * Disallow: /private_file.html
-
Kép blokkolása:
User-agent: googlebot-image Letiltás: /images_mypicture.jpg
-
Az összes kép letiltása:
User-agent: googlebot-image Letiltás: /
-
Egy adott fájlformátum letiltása:
User-agent: * Letiltás: /p*.gif$
5. lépés. Bátorítsa a robotokat a webhely indexelésére és feltérképezésére
Sokan üdvözölni akarják a blokkolás helyett a keresőmotor -pókokat, mert szeretnék, ha az egész webhelyük indexelve lenne. Ennek eléréséhez három lehetősége van. Először is leiratkozhat a robots.txt fájl létrehozásáról-ha a robot nem talál robots.txt fájlt, akkor továbbra is feltérképezi és indexeli az egész webhelyet. Másodszor létrehozhat egy üres robots.txt fájlt-a robot megtalálja a robots.txt fájlt, felismeri, hogy üres, és folytatja a webhely feltérképezését és indexelését. Végül írhat egy teljesen engedélyezett robots.txt fájlt. Használja a kódot:
User-agent: * Letiltás:
6. Mentse a txt fájlt a domain gyökerébe
A robots.txt fájl megírása után mentse el a módosításokat. Töltse fel a fájlt webhelye gyökérkönyvtárába. Például, ha a domainje www.sajatdomain.com, helyezze a robots.txt fájlt ide www.sajatdomain.com/robots.txt.
2. módszer a 2 -ből: A keresőmotorok blokkolása metacímkékkel
1. lépés: Ismerje meg a HTML robotok metacímkéket
A robotok metacímke lehetővé teszi a programozók számára, hogy paramétereket állítsanak be a robotok vagy a keresőmotor -pókok számára. Ezek a címkék arra szolgálnak, hogy megakadályozzák, hogy a robotok indexeljenek és feltérképezzenek egy egész webhelyet vagy annak egyes részeit. Ezeket a címkéket arra is használhatja, hogy megakadályozza egy adott keresőmotor pókjának tartalmának indexelését. Ezek a címkék a HTML -fájl fejében jelennek meg.
Ezt a módszert általában azok a programozók használják, akik nem férnek hozzá a webhely gyökérkönyvtárához
2. lépés: Blokkolja a robotokat egyetlen oldalról
Lehetőség van arra, hogy letiltsa az összes robotot az oldal indexelésétől és az oldal linkjeinek követésétől. Ezt a címkét általában akkor használják, amikor egy élő webhely fejlesztés alatt áll. A webhely elkészülte után erősen ajánlott eltávolítani ezt a címkét. Ha nem távolítja el a címkét, akkor oldala nem lesz indexelve vagy kereshető a keresőmotorokon keresztül.
- Letilthatja a robotokat az oldal indexelésétől és a linkek követésétől:
- Letilthatja az összes robot indexelését az oldalon:
- Letilthatja az összes robotot az oldal linkjeinek követésétől:
3. lépés: Engedélyezze a robotoknak, hogy indexeljenek egy oldalt, de ne kövessék annak linkjeit
Ha engedélyezi a robotok számára az oldal indexelését, az oldal indexelésre kerül; ha megakadályozza, hogy a pókok kövessék a hivatkozásokat, az adott oldalról más oldalakra mutató link elérési útja megszakad. Illessze be a fejlécbe a következő kód sort:
4. lépés: Hagyja, hogy a keresőmotorok kövessék a linkeket, de ne indexeljék az oldalt
Ha engedélyezi a robotoknak, hogy kövessék a hivatkozásokat, az adott oldalról más oldalakra mutató link elérési útja érintetlen marad; ha korlátozza őket az oldal indexelésében, akkor a weboldala nem jelenik meg az indexben. Illessze be a fejlécbe a következő kód sort:
5. lépés. Egyetlen kimenő link letiltása
Ha egyetlen linket szeretne elrejteni egy oldalon, akkor ágyazza be a rel címke a linkcímkén belül. Ezzel a címkével blokkolhatja más oldalak linkjeit, amelyek a letiltani kívánt oldalra vezetnek.
Link beszúrása a letiltott oldalra
6. lépés. Blokkoljon egy adott keresőmotor -pókot
Ahelyett, hogy letiltaná az összes robotot a weboldaláról, érdemes megakadályozni, hogy egy robot feltérképezze és indexelje az oldalt. Ennek érdekében cserélje ki a „robotot” a metacímkén belül egy adott robot nevére. Például: googlebot, googlebot-news, googlebot-kép, bingbot, és teoma.
7. lépés. Bátorítsa a robotokat az oldal feltérképezésére és indexelésére
Ha biztosítani kívánja, hogy oldala indexelve legyen, és linkjeit kövessék, akkor beszúrhat egy követési engedélyt meta "robot" címkét a fejlécébe. Használja a következő kódot:
