Patrick Stox on Ahrefsin Tuoteneuvoja, tekninen SEO ja brändilähettiläs. Hän on järjestäjä Raleigh SEO Meetup, Raleigh SEO Conference, Beer & SEO Meetup, Findability Conference, ja moderaattori /r/TechSEO.

se on tärkeä asia ymmärtää. Väärän menetelmän käyttäminen ei vain joskus johda siihen, että sivuja ei poisteta indeksistä tarkoitetulla tavalla, vaan sillä voi olla myös kielteinen vaikutus hakukoneoptimointiin.

jotta voit nopeasti päättää, mikä poistotapa sopii sinulle parhaiten, teimme vuokaavion, jotta voit siirtyä artikkelin asiaankuuluvaan osioon.

tässä viestissä opit:

mitä yleensä näen SEOs: ien tekevän tarkistaaksesi, onko sisältö indeksoitu, on käyttää sivustoa: Hae Googlesta (esim.site:https://ahrefs.com). While site: hakuja voi olla hyödyllistä tunnistaa sivuja tai osia sivuston, joka voi olla ongelmallista, jos ne näkyvät hakutuloksissa, sinun täytyy olla varovainen, koska ne eivät ole normaaleja kyselyjä ja ei itse kertoa, jos sivu on indeksoitu. Ne voivat näyttää sivuja, jotka ovat Googlen tiedossa, mutta se ei tarkoita, että ne ovat oikeutettuja näyttämään normaaleissa hakutuloksissa ilman sivustoa: operator.

esimerkiksi site: haut voivat edelleen näyttää sivuja, jotka ohjaavat tai kanonisoidaan toiselle sivulle. Kun pyydät tiettyä sivustoa, Google saattaa näyttää kyseisen verkkotunnuksen sivun, jossa on toisen verkkotunnuksen sisältö, otsikko ja kuvaus. Otetaan esimerkiksi moz.com joka ennen oli seomoz.org. kaikki säännölliset käyttäjien kyselyt, jotka johtavat sivuille moz.com näyttää moz.com SERPs, kun taas site:seomoz.org näyttää seomoz.org hakutuloksissa kuten alla.

syy tähän on se, että se voi saada SEOs: n tekemään virheitä, kuten aktiivisesti estämään tai poistamaan URL-osoitteita vanhan verkkotunnuksen indeksistä, mikä estää PageRankin kaltaisten signaalien yhdistämisen. Olen nähnyt monia tapauksia domain migrations jossa ihmiset ajattelevat he tekivät virheen aikana muuttoliike, koska nämä sivut näyttävät edelleen site:old-domain.com etsii ja päätyä aktiivisesti vahingoittaa niiden verkkosivuilla yrittäessään ”korjata” ongelma.

parempi tapa tarkistaa indeksointi on käyttää Googlen Hakukonsolin Index Coverage Reportia tai yksittäisen URL-osoitteen TARKASTUSTYÖKALUA. Nämä työkalut kertovat, onko sivu indeksoitu, ja antavat lisätietoja siitä, miten Google käsittelee sivua. Jos sinulla ei ole pääsyä tähän, yksinkertaisesti etsiä Google koko URL sivun.

Ahrefsissä, jos löydät sivun ”Top pages” – raportistamme tai orgaanisten avainsanojen sijoituksesta, se yleensä tarkoittaa, että näimme sen sijoituksen normaaleille hakukyselyille ja on hyvä osoitus siitä, että sivu on indeksoitu. Huomaa, että sivut oli indeksoitu, kun näimme ne, mutta se on saattanut muuttua. Tarkista päivämäärä, jolloin viimeksi näimme sivun kyselyn.

Jos tietyssä URL-osoitteessa on ongelma ja se on poistettava indeksistä, seuraa artikkelin alussa olevaa vuokaaviota löytääksesi oikean poistovaihtoehdon ja siirry sitten alla olevaan sopivaan osioon.

Jos poistat sivun ja syötät joko 404 (ei löytynyt) tai 410 (poissa) tilakoodin, sivu poistetaan hakemistosta pian sen jälkeen, kun sivu on uudelleen indeksoitu. Kunnes se on poistettu, sivu voi vielä näkyä hakutuloksissa. Ja vaikka itse sivu ei olisikaan enää saatavilla, saattaa sivun välimuistissa oleva versio olla tilapäisesti saatavilla.

kun saatat tarvita toisen vaihtoehdon:

• tarvitsen välittömämmän poiston. Katso URL poisto työkalu osio.
• i need to consolidate signals like links. Katso kanonisointi jakso.
• tarvitsen sivun käyttäjien käyttöön. Katso, sopivatko noindex tai rajoitetut käyttöoikeudet tilanteeseesi.

Poistovaihtoehto 2: Noindex

noindex meta robots tag tai x-robots header-vastaus käskee hakukoneita poistamaan sivun indeksistä. Meta robots tag toimii sivuja, joissa X-robots vastaus toimii sivuja ja muita tiedostotyyppejä, kuten PDF. Jotta nämä tägit näkyisivät, hakukoneen on kyettävä ryömimään sivuja-varmista siis, ettei niitä ole estetty roboteilla.txt. Huomaa myös, että sivujen poistaminen indeksistä voi estää linkin ja muiden signaalien yhdistämisen.

Example of a meta robots noindex:

<meta name="robots" content="noindex">

esimerkki X‑roboteista noindex-tunniste otsikkovastauksessa:

HTTP/1.1 200 OKX-Robots-Tag: noindex

kun saatat tarvita eri vaihtoehtoa:

• en halua käyttäjien pääsevän näille sivuille. Katso rajoitetut käyttöoikeudet-osio.
• i need to consolidate signals like links. Katso kanonisointi jakso.

Poistovaihtoehto 3: pääsyn rajoittaminen

Jos haluat sivun olevan joidenkin käyttäjien käytettävissä, mutta et hakukoneiden, niin todennäköisesti haluat jonkin näistä kolmesta vaihtoehdosta:

• jonkinlaisen kirjautumisjärjestelmän;
• HTTP-todennus (jossa pääsy edellyttää salasanaa);
• IP-Whitelisting (joka sallii vain tiettyjen IP-osoitteiden pääsyn sivuille)

tämän tyyppinen asennus on paras esimerkiksi sisäverkkoihin, vain jäsen-sisältöön tai lavastus -, testi-tai kehityskohteisiin. Se mahdollistaa käyttäjäryhmän pääsyn sivulle, mutta hakukoneet eivät voi käyttää niitä eivätkä indeksoi sivuja.

kun saatat tarvita toisen vaihtoehdon:

• tarvitsen välittömämmän poiston. Katso URL poisto työkalu osio. Tässä nimenomaisessa tapauksessa saatat haluta välittömämpää poistamista, jos sisältö, jota yrität piilottaa, on välimuistissa, ja sinun on estettävä käyttäjiä näkemästä kyseistä sisältöä.

Poistovaihtoehto 4: URL-poistotyökalu

tämän työkalun nimi Googlelta on hieman harhaanjohtava, koska se toimii siten, että se piilottaa sisällön väliaikaisesti. Google näkee ja ryömii edelleen tätä sisältöä, mutta sivut eivät näy käyttäjille. Tämä väliaikainen vaikutus kestää Googlessa kuusi kuukautta, kun taas Bingillä on vastaava työkalu, joka kestää kolme kuukautta. Näitä työkaluja tulisi käyttää äärimmäisissä tapauksissa esimerkiksi turvallisuuskysymyksissä, tietovuodoissa, henkilökohtaisesti tunnistettavissa tiedoissa (pii) jne. Google, Käytä Removals työkalu ja Bing, katso miten estää URL.

sinun on vielä sovellettava muuta menetelmää poistotyökalun käytön ohella, jotta sivut voidaan poistaa pidemmäksi aikaa (noindex tai delete) tai estää käyttäjiä käyttämästä sisältöä, jos heillä on edelleen linkit (poista tai rajoita pääsyä). Tämä vain antaa sinulle nopeamman tavan piilottaa sivut, kun poisto on aikaa käsitellä. Pyynnön käsittely voi kestää jopa päivän.

Poistovaihtoehto 5: kanonisointi

kun sivusta on useita versioita ja haluat yhdistää signaalit, kuten linkit yhteen versioon, haluat tehdä jonkinlaisen kanonisoinnin. Tämä on useimmiten estää päällekkäistä sisältöä, kun konsolidoidaan useita versioita sivun yhteen indeksoitu URL.

sinulla on useita kanonisointivaihtoehtoja:

• kanoninen tagi. Tämä määrittää toisen URL: n canonical-versioksi tai näytettäväksi halutuksi versioksi. Jos sivut ovat päällekkäisiä tai hyvin samankaltaisia, tämän pitäisi olla kunnossa. Kun sivut ovat liian erilaisia, kanoninen voidaan sivuuttaa, koska se on vihje eikä direktiivi.
• ohjaa. Uudelleenohjaus vie käyttäjän ja hakurobotin sivulta toiselle. 301 on SEOs: n yleisimmin käyttämä uudelleenohjaus, ja se kertoo hakukoneille, että haluat lopullisen URL-osoitteen olevan se, joka näkyy hakutuloksissa ja jossa signaalit konsolidoidaan. 302 tai väliaikainen uudelleenohjaus kertoo hakukoneille, että haluat alkuperäisen URL-osoitteen olevan se, joka pysyy indeksissä ja vahvistaa signaaleja siellä.
• URL-parametrien käsittely. URL-osoitteen loppuun on liitetty parametri, joka sisältää yleensä kysymysmerkin, kuten ahrefs. com?this=parameter. tämän Googlen työkalun avulla voit kertoa, miten URL-osoitteita käsitellään tietyillä parametreilla. Voit esimerkiksi määrittää, muuttaako parametri sivun sisältöä vai onko se tarkoitettu vain käytön seuraamiseen.

Jos sinulla on useita sivuja poistettavana Googlen hakemistosta, ne tulee priorisoida vastaavasti.

korkein prioriteetti: nämä sivut ovat yleensä turvallisuuteen liittyviä tai liittyvät salassapidettäviin tietoihin. Tämä sisältää sisältöä, joka sisältää henkilötietoja (PII), asiakastietoja tai omistusoikeudellisia tietoja.

Medium priority: tämä koskee yleensä tietylle käyttäjäryhmälle tarkoitettua sisältöä. Yrityksen intranetit tai työntekijöiden portaalit, vain jäsenille tarkoitettu sisältö ja lavastus -, testi-tai kehitysympäristöt.

Matala prioriteetti: näillä sivuilla on yleensä mukana jonkinlaista päällekkäistä sisältöä. Joitakin esimerkkejä tästä olisi sivuja tarjoillaan useita URL-osoitteita, URL parametrit, ja jälleen voisi sisältää lavastus, testi, tai kehitysympäristöissä.

haluan käsitellä muutamia tapoja, joilla yleensä näen poistot tehty väärin ja mitä tapahtuu kussakin skenaariossa auttaa ihmisiä ymmärtämään, miksi ne eivät toimi.

noindex roboteissa.txt

kun taas Googlella oli tapana epävirallisesti tukea noindexiä roboteissa.txt, se ei ole koskaan ollut virallinen standardi ja he ovat nyt virallisesti poistaneet tuen. Monet tätä tehneet sivustot tekivät niin väärin ja vahingoittivat itseään.

roboteissa ryömimisen estäminen.txt

indeksointi ei ole sama asia kuin indeksointi. Vaikka Google olisi estetty indeksoimasta sivuja, jos on olemassa sisäisiä tai ulkoisia linkkejä sivulle, he voivat silti indeksoida sen. Google ei tiedä, mitä sivulla on, koska se ei indeksoi sitä, mutta he tietävät, että sivu on olemassa, ja he jopa kirjoittavat otsikon, joka näkyy hakutuloksissa perustuen signaaleihin, kuten sivun linkkien ankkuritekstiin.

Nofollow

tämä sekoittuu yleensä noindexiin, ja jotkut ihmiset käyttävät sitä sivutasolla odottaen, ettei sivua indeksoida. Nofollow on vihje, ja vaikka se alun perin lopetti linkit sivulla ja yksittäiset linkit nofollow-attribuutin kanssa ryömimästä, näin ei enää ole. Google voi nyt halutessaan ryömiä näitä linkkejä. Nofollowia käytettiin myös yksittäisissä linkeissä, joilla yritettiin estää Googlea ryömimästä tietyille sivuille ja PageRankin veistämiseen. Tämäkään ei enää toimi, koska nofollow on vihje. Aiemmin, Jos sivulla oli toinen linkki siihen, niin Google voisi vielä löytää tästä vaihtoehtoisesta ryömintäpolusta.

huomaa, että voit löytää nofollowed-sivuja irtotavarana tämän suodattimen avulla Ahrefsin Sivustotarkastuksessa olevasta sivun Resurssienhallinnasta.

koska harvoin on järkevää olla seuraamatta kaikkia sivun linkkejä, tulosten määrän tulee olla nolla tai lähellä nollaa. Jos tulokset vastaavat toisiaan, kehotan teitä tarkistamaan, onko nofollow-direktiivi lisätty vahingossa noindexin tilalle, ja valitsemaan tarvittaessa tarkoituksenmukaisemman poistomenetelmän.

voit myös löytää yksittäisiä nofollow-merkittyjä linkkejä tämän suodattimen avulla Link Explorerissa.

Noindex ja canonical toiseen URL-osoitteeseen

nämä signaalit ovat ristiriitaisia. Noindex kehottaa poistamaan sivun indeksistä, ja canonical sanoo, että toinen sivu on se versio, joka pitäisi indeksoida. Tämä voi itse asiassa toimia konsolidoinnin Google yleensä valita sivuuttaa noindex ja sen sijaan käyttää canonical kuin tärkein signaali. Tämä ei kuitenkaan ole ehdotonta käytöstä. Mukana on algoritmi ja on olemassa riski, että noindex-tunniste voi olla signaali, joka lasketaan. Jos näin on, sivut eivät yhdisty kunnolla.

huomaa, että sivustotarkastuksessa ei voi löytää sivuja, joissa ei ole muita kuin itseään koskevia kanonisia tiedostoja, käyttämällä tätä suotimien joukkoa sivun Resurssienhallinnassa:

noindex, odota Googlen ryömimistä, sitten Estä ryömimästä

on olemassa parikin tapaa, joilla tämä yleensä tapahtuu:

1. sivut ovat jo tukossa, mutta indeksoidaan, ihmiset lisäävät noindexin ja avaavat eston, jotta Google voi ryömiä ja nähdä noindexin, sitten estää sivuja indeksoimasta uudelleen.
2. ihmiset lisäävät noindex-tägejä sivuille, jotka he haluavat poistaa, ja kun Google on ryöminyt ja käsitellyt noindex-tägin, he estävät sivuja ryömimästä.

kummassakin tapauksessa lopullinen tila on estetty ryömimästä. Puhuimme aiemmin siitä, että indeksointi ei ole sama asia kuin indeksointi. Vaikka nämä sivut ovat tukossa, ne voivat silti päätyä hakemistoon.

Jos omistat toisella verkkosivustolla käytettävän sisällön, saatat pystyä tekemään vaatimuksen Digital Millennium Copyright Actin (DMCA) perusteella. Voit käyttää Googlen tekijänoikeuksien poistotyökalua tehdäksesi niin sanotun DMCA: n poiston, joka pyytää tekijänoikeuksin suojatun materiaalin poistamista.

mitä jos se on sisältöä sinusta, mutta ei omistamallasi sivustolla?

Jos olet EU: ssa, voit saada poistettua sisältöä, joka sisältää sinua koskevia tietoja, kiitos oikeuden määräyksen tulla unohdetuksi. Voit pyytää henkilötietojesi poistamista EU: n Tietosuojapoistolomakkeella.

Kuvien poistaminen Googlesta on helpoin tapa robottien avulla.txt. Samalla epävirallinen tuki sivujen poistamiselle poistettiin roboteista.txt kuten aiemmin mainitsimme, kuvien ryömimisen kieltäminen on oikea tapa poistaa kuvia.

yhden kuvan osalta:

User-agent: Googlebot-ImageDisallow: /images/dogs.jpg 

kaikkien kuvien osalta:

User-agent: Googlebot-ImageDisallow: /

lopulliset ajatukset

URL-osoitteiden poistaminen on melko tilannekohtaista. Olemme puhuneet useita vaihtoehtoja, mutta jos olet edelleen hämmentynyt, mikä sopii sinulle, katso takaisin vuokaavio alussa.

voit myös käydä läpi Googlen tarjoaman oikeudellisen vianmäärityksen sisällön poistoa varten.

Onko kysyttävää? Kerro Twitterissä.