Patrick Stox az Ahrefs Terméktanácsadója, MŰSZAKI SEO és márka nagykövete. A Raleigh SEO Meetup, a Raleigh SEO Conference, A Beer & SEO Meetup, Findability Conference és a /R/TechSEO moderátora.

Ez egy fontos pont, hogy megértsük. Nem csak a rossz módszer használata néha azt eredményezi, hogy az oldalakat nem távolítják el az indexből a szándék szerint, de negatív hatással lehet A SEO-ra is.

annak érdekében, hogy gyorsan eldönthesse, melyik eltávolítási módszer a legjobb az Ön számára, folyamatábra készítettünk, így ugorhat a cikk megfelelő szakaszába.

ebben a bejegyzésben megtudhatja:

• Hogyan lehet ellenőrizni, hogy egy URL indexelt
• Öt módon, hogy távolítsa el az Url-eket a Google
• hogy Hogyan kell rangsorolni költöztetés
• Közös eltávolítása hibák elkerülése érdekében
• Hogyan lehet eltávolítani a tartalmat, az nem a webhelyen
• Hogyan lehet eltávolítani a képek

Mi általában lásd a Seo, hogy ellenőrizze, hogy a tartalom indexelt van egy oldal: keresés a Google (pl. honlap:https://ahrefs.com). Míg a helyszínen: a keresések hasznosak lehetnek egy olyan webhely oldalainak vagy szakaszainak azonosításához, amelyek problematikusak lehetnek, ha a keresési eredményekben megjelennek, óvatosnak kell lennie, mert nem normális lekérdezések, és valójában nem fogják megmondani, hogy egy oldal indexelt-e. Megjeleníthetik a Google által ismert oldalakat, de ez nem jelenti azt, hogy jogosultak a normál keresési eredmények megjelenítésére a webhely nélkül: operátor.

például webhely: a keresések továbbra is megjeleníthetnek olyan oldalakat, amelyek átirányítják vagy kanonikalizálják egy másik oldalra. Amikor egy adott webhelyet kér, a Google megjeleníthet egy oldalt a tartományból egy másik tartomány tartalmával, címével és leírásával. Vegyük például moz.com melyik volt seomoz.org. minden olyan rendszeres felhasználói lekérdezés, amely oldalakhoz vezet moz.com megmutatja moz.com a SERPs-ben, míg site:seomoz.org megmutatja seomoz.org a keresési eredmények az alábbiak szerint.

ennek az az oka, hogy ez egy fontos különbség, hogy ez vezethet SEOs hibákat, mint például aktívan blokkolja vagy eltávolítja URL-eket az index a régi domain, amely megakadályozza a konszolidáció a jelek, mint a PageRank. Láttam sok esetben a domain migráció, ahol az emberek azt hiszik, hogy hibát követett el a migráció során, mert ezek az oldalak még mindig azt mutatják, site:old-domain.com keresések, majd a végén aktívan károsítja a honlapon, miközben megpróbálja “kijavítani” a problémát.

az indexálás ellenőrzésének jobb módja az Index lefedettségi jelentés használata a Google Search Console-ban, vagy az URL ellenőrző eszköz egy egyedi URL-hez. Ezek az eszközök jelzik, hogy egy oldal indexelve van-e, és további információkat szolgáltatnak arról, hogy a Google hogyan kezeli az oldalt. Ha nincs hozzáférése ehhez, egyszerűen keresse meg a Google-t az oldal teljes URL-címére.

az Ahrefs-ben, ha megtalálja az oldalt a “Top pages” jelentésben vagy az organikus kulcsszavak rangsorolásában, ez általában azt jelenti, hogy a normál keresési lekérdezések rangsorolását láttuk, és jó jelzés arra, hogy az oldalt indexelték. Vegye figyelembe, hogy az oldalakat indexelték, amikor láttuk őket, de ez megváltozhatott. Ellenőrizze a dátumot, amikor utoljára láttuk az oldalt egy lekérdezéshez.

ha van egy probléma egy adott URL-t, és el kell távolítani az index, kövesse a folyamatábra elején a cikket, hogy megtalálja a helyes eltávolítási opciót, majd ugorjon a megfelelő szakaszt alább.

ha eltávolítja az oldalt, és 404 (Nem található) vagy 410 (eltűnt) állapotkódot szolgáltat, akkor az oldal röviddel az oldal újbóli feltérképezése után eltávolításra kerül az indexből. Amíg el nem távolítják, az oldal továbbra is megjelenhet a keresési eredmények között. Még akkor is, ha maga az oldal már nem érhető el, az oldal gyorsítótárazott verziója ideiglenesen elérhető.

ha szükség lehet egy másik lehetőségre:

• több azonnali eltávolításra van szükségem. Lásd az URL eltávolító eszköz részt.
• meg kell erősítenem a jeleket, például a linkeket. Lásd a kanonikalizálás részt.
• szükségem van a felhasználók számára elérhető oldalra. Nézze meg, hogy a noindex vagy a hozzáférési szakaszok korlátozása megfelel-e az Ön helyzetének.

2. eltávolítási lehetőség: Noindex

a noindex meta robots címke vagy az x-robots fejléc válasz megmondja a keresőmotoroknak, hogy távolítsanak el egy oldalt az indexből. A meta robots címke olyan oldalakon működik, ahol az x‑robots válasz az oldalakra, valamint további fájltípusokra, például PDF-ekre működik. Ahhoz, hogy ezek a címkék láthatók legyenek, a keresőmotornak képesnek kell lennie az oldalak feltérképezésére—ezért győződjön meg róla, hogy nem blokkolják őket a robotokban.txt. Vegye figyelembe azt is, hogy az oldalak eltávolítása az indexből megakadályozhatja a link és más jelek konszolidációját.

példa egy meta robot noindex:

<meta name="robots" content="noindex">

példa az x-robots noindex címkére a fejléc válaszában:

HTTP/1.1 200 OKX-Robots-Tag: noindex

ha esetleg más lehetőségre van szüksége:

• nem akarom, hogy a felhasználók hozzáférjenek ezekhez az oldalakhoz. Lásd a hozzáférés korlátozása részt.
• meg kell erősítenem a jeleket, például a linkeket. Lásd a kanonikalizálás részt.

3. eltávolítási lehetőség: hozzáférés korlátozása

Ha azt szeretné, hogy az oldal néhány felhasználó számára elérhető legyen, de nem keresőmotorok, akkor valószínűleg a következő három lehetőség egyikét szeretné:

• valamilyen bejelentkezési rendszer;
• HTTP hitelesítés (ahol jelszóra van szükség a hozzáféréshez);
• IP engedélyező (amely csak bizonyos IP-címeket engedélyez az oldalak eléréséhez)

Ez a beállítás a legjobb olyan dolgokhoz, mint a belső hálózatok, csak a tagok tartalma, vagy az átmeneti, teszt vagy fejlesztési webhelyek. Ez lehetővé teszi, hogy a felhasználók egy csoportja hozzáférjen az oldalhoz, de a keresőmotorok nem lesznek képesek elérni őket, és nem indexelik az oldalakat.

ha szükség lehet egy másik lehetőségre:

• több azonnali eltávolításra van szükségem. Lásd az URL eltávolító eszköz részt. Ebben a konkrét esetben előfordulhat, hogy azonnali eltávolítást szeretne, ha az elrejteni kívánt tartalmat gyorsítótárazták, és meg kell akadályoznia, hogy a felhasználók láthassák ezt a tartalmat.

Removal option 4: URL Removal Tool

az eszköz neve a Google-tól kissé félrevezető, mivel úgy működik, hogy ideiglenesen elrejti a tartalmat. A Google továbbra is látni és feltérképezni fogja ezt a tartalmat, de az oldalak nem jelennek meg a felhasználók számára. Ez az ideiglenes hatás hat hónapig tart a Google-ban, míg a Bing hasonló eszközzel rendelkezik, amely három hónapig tart. Ezeket az eszközöket a legszélsőségesebb esetekben kell használni olyan dolgokra, mint a biztonsági problémák, az adatszivárgások, a személyazonosításra alkalmas információk (PII) stb. A Google esetében használja a Removals eszközt, a Bing esetében pedig nézze meg az URL-ek blokkolásának módját.

még mindig alkalmaznia kell egy másik módszert az eltávolító eszköz használatával annak érdekében, hogy az oldalakat hosszabb ideig eltávolítsák (noindex vagy törlés), vagy megakadályozzák a felhasználók hozzáférését a tartalomhoz, ha még mindig vannak linkek (törlés vagy hozzáférés korlátozása). Ez csak gyorsabb módot ad az oldalak elrejtésére, miközben az eltávolításnak ideje van feldolgozni. A kérés feldolgozása akár egy napot is igénybe vehet.

Removal option 5: Canonicalization

Ha egy oldal több verziója van, és olyan jeleket szeretne konszolidálni, mint egy verzióra mutató linkek, akkor a kanonikalizáció valamilyen formáját szeretné tenni. Ez többnyire megakadályozza a duplikált tartalmat, miközben egy oldal több verzióját egyetlen indexelt URL-re konszolidálja.

Több kanonikalizációs lehetősége van:

• kanonikus címke. Ez egy másik URL-t ad meg kanonikus vagy megjelenítendő verzióként. Ha az oldalak duplikáltak vagy nagyon hasonlóak, akkor ennek rendben kell lennie. Ha az oldalak túl különbözőek, akkor a kanonikus figyelmen kívül hagyható, mivel ez egy tipp, nem pedig irányelv.
• átirányítások. Az átirányítás egy felhasználót, egy keresőbotot pedig egyik oldalról a másikra vesz igénybe. A 301 A SEOs által leggyakrabban használt átirányítás, amely azt mondja a keresőmotoroknak, hogy azt szeretné, hogy a végső URL legyen a keresési eredmények, valamint a jelek összevonása. A 302 vagy ideiglenes átirányítás azt mondja a keresőmotoroknak, hogy azt szeretné, hogy az eredeti URL maradjon az Indexben, és ott konszolidálja a jeleket.
• URL paraméter kezelése. Egy paraméter az URL végéhez van csatolva, és általában tartalmaz egy kérdőjelet, mint például az ahrefs. com?this=parameter. ez a Google eszköz lehetővé teszi, hogy elmondja nekik, hogyan kell kezelni az URL-eket bizonyos paraméterekkel. Megadhatja például, hogy a paraméter megváltoztatja-e az oldal tartalmát, vagy csak a használat nyomon követésére szolgál.

Ha több oldalt kell eltávolítania a Google indexéből, akkor azokat ennek megfelelően kell rangsorolni.

legmagasabb prioritás: ezek az oldalak általában biztonsággal kapcsolatosak vagy bizalmas adatokkal kapcsolatosak. Ez magában foglalja a személyes adatokat (PII), az Ügyféladatokat vagy a Védett Információkat tartalmazó tartalmat.

közepes prioritás: ez általában magában foglalja a felhasználók egy adott csoportjának szánt tartalmat. Vállalati intranetek vagy munkavállalói portálok, kizárólag tagoknak szánt tartalom, valamint staging, test vagy fejlesztési környezetek.

Alacsony prioritás: ezek az oldalak általában valamilyen ismétlődő tartalmat tartalmaznak. Ennek néhány példája magában foglalná a több URL-ből, paraméterekkel rendelkező URL-ekből kiszolgált oldalakat, és ismét magában foglalhatja a staging, a test vagy a fejlesztői környezeteket.

szeretnék néhány olyan módszert lefedni, amellyel általában rosszul látom az eltávolításokat, és ami minden forgatókönyvben történik, hogy segítsen az embereknek megérteni, miért nem működnek.

Noindex in robots.txt

míg a Google nem hivatalosan támogatta a noindex robotokat.txt, ez soha nem volt hivatalos szabvány, és most hivatalosan eltávolították a támogatást. Sok olyan webhely, amely ezt tette, helytelenül tette, és kárt okozott magának.

blokkolja a robotok feltérképezését.txt

a feltérképezés nem ugyanaz, mint az indexelés. Még akkor is, ha a Google blokkolja az oldalak feltérképezését, ha vannak belső vagy külső linkek egy oldalra, akkor továbbra is indexelheti. A Google nem fogja tudni, mi van az oldalon, mert nem fogják feltérképezni, de tudják, hogy létezik egy oldal, sőt még egy címet is írni fog, hogy megjelenjen a keresési eredményekben olyan jelek alapján, mint az oldalra mutató linkek horgonyszövege.

Nofollow

Ez általában összezavarodik a noindex esetében, és néhány ember oldalszinten fogja használni, arra számítva, hogy az oldalt nem indexelik. A Nofollow egy tipp, és bár eredetileg leállította az oldalon található linkeket és a nofollow attribútummal kapcsolatos egyedi linkeket, ez már nem így van. A Google most feltérképezheti ezeket a linkeket, ha akarják. A Nofollow-t az egyes linkeken is használták, hogy megakadályozzák a Google-t abban, hogy átmásoljon bizonyos oldalakra, valamint a PageRank-szobrászatra. Ismét ez már nem működik, mivel a nofollow egy tipp. A múltban, ha az oldalnak volt egy másik linkje, akkor a Google továbbra is felfedezheti ezt az alternatív feltérképezési utat.

vegye figyelembe, hogy a nofollowed oldalak ömlesztve találhatók ezzel a szűrővel az Ahrefs Webhelyellenőrzésében található Oldalkezelőben.

mivel ritkán van értelme nofollow minden linket egy oldalon, az eredmények számának nullának vagy nullához közelinek kell lennie. Ha vannak megfelelő eredmények, arra kérem Önt, hogy ellenőrizze, hogy a noindex helyett véletlenül hozzáadták-e a nofollow irányelvet, és szükség esetén válasszon egy megfelelőbb eltávolítási módszert.

A nofollow jelöléssel ellátott egyedi linkeket is megtalálhatja ezzel a szűrővel a Link Explorerben.

Noindex and canonical to another URL

ezek a jelek ellentmondásosak. A Noindex azt mondja, hogy távolítsa el az oldalt az indexből, a canonical pedig azt mondja, hogy egy másik oldal az a verzió, amelyet indexelni kell. Ez valóban működik a konszolidáció, mint a Google általában úgy dönt, hogy figyelmen kívül hagyja a noindex helyett használja a kanonikus, mint a fő jel. Ez azonban nem abszolút viselkedés. Van egy algoritmus, és fennáll annak a veszélye, hogy a noindex tag lehet a jel számít. Ha ez a helyzet, akkor az oldalak nem konszolidálódnak megfelelően.

Megjegyezzük, hogy megtalálja noindexed oldalak nem önhivatkozó canonicals ezzel szűri az Oldal Explorer a Helyszíni Ellenőrzés:

Noindex, várni Google mászni, akkor blokkolja a tele

Van egy pár módon ez általában akkor történik:

1. a Lapok már blokkolt, de indexelt, az emberek hozzá noindex, illetve feloldása tehát, hogy a Google indexelni a noindex, akkor blokkolja az oldal feltérképezését újra.
2. az emberek noindex címkéket adnak az eltávolítani kívánt oldalakhoz, majd miután a Google feltérképezte és feldolgozta a noindex címkét, blokkolják az oldalak feltérképezését.

akárhogy is, a végső állapot blokkolva van a feltérképezéstől. Ha emlékszel, korábban beszéltünk arról, hogy a feltérképezés nem ugyanaz, mint az indexelés. Annak ellenére, hogy ezek az oldalak blokkolva vannak, továbbra is az indexbe kerülhetnek.

Ha Ön birtokolja a másik weboldalon használt tartalmat, előfordulhat, hogy a Digital Millennium Copyright Act (DMCA) alapján igényt nyújthat be. Használhatja a Google szerzői jogi eltávolító eszközét az úgynevezett DMCA eltávolításhoz, amely minden szerzői joggal védett anyag eltávolítását kéri.

mi van, Ha tartalom van rólad, de nem a saját webhelyén?

Ha az EU-ban, akkor a tartalom eltávolítása, amely információkat tartalmaz arról, hogy köszönöm, hogy bírósági végzés a jogot, hogy elfelejtett. Kérheti a személyes adatok eltávolítását az EU adatvédelmi eltávolító űrlapján.

a képek eltávolításához a Google-ból a legegyszerűbb módszer a robotok.txt. Míg az oldalak eltávolításának nem hivatalos támogatását eltávolították a robotokból.txt mint korábban említettük, egyszerűen a képek feltérképezésének letiltása a megfelelő módja a képek eltávolításának.

egyetlen kép esetén:

User-agent: Googlebot-ImageDisallow: /images/dogs.jpg 

minden kép esetében:

User-agent: Googlebot-ImageDisallow: /

végső gondolatok

az URL-ek eltávolítása meglehetősen szituációs. Több lehetőségről beszéltünk, de ha még mindig zavaros, ami az Ön számára megfelelő, olvassa vissza a folyamatábra az elején.

a Google által a tartalom eltávolítására biztosított jogi hibaelhárítón is átmehet.

kérdése van? Tudassa velem a Twitteren.