Patrick Stoke er Produktrådgiver, teknisk SEO og brandambassadør hos Ahrefs. Han er arrangør for Raleigh SEO Meetup, Raleigh SEO Conference, Beer & SEO Meetup, findability Conference og moderator på /r/TechSEO.

det er et vigtigt punkt at forstå. Ikke kun vil brug af den forkerte metode undertiden føre til, at Sider ikke fjernes fra indekset som beregnet, men det kan også have en negativ effekt på SEO.

for at hjælpe dig med hurtigt at beslutte, hvilken metode til fjernelse der er bedst for dig, lavede vi et rutediagram, så du kan springe til det relevante afsnit i artiklen.

i dette indlæg lærer du:

• Sådan kontrolleres, om en URL er indekseret
• fem måder at fjerne URL ‘er fra Google
• sådan prioriteres fjernelse
• almindelige fjernelsesfejl for at undgå
• Sådan fjernes indhold, der ikke er på din side
• Sådan fjernes billeder

hvad jeg typisk ser SEO’ er gøre for at kontrollere, om indholdet er indekseret, er brug et sted: Søg i Google (f.eks., sted:https://ahrefs.com). Mens site: søgninger kan være nyttige til at identificere de sider eller sektioner på en hjemmeside, der kan være problematiske, hvis de vises i søgeresultaterne, du skal være forsigtig, fordi de ikke er normale forespørgsler og faktisk ikke fortæller dig, om en side er indekseret. De kan vise sider, der er kendt af Google, men det betyder ikke, at de er berettigede til at blive vist i normale søgeresultater uden operatøren site:.

for eksempel kan site: – søgninger stadig vise sider, der omdirigerer eller kanonikaliseres til en anden side. Når du beder om en bestemt hjemmeside, kan Google vise en side fra det pågældende domæne med indhold, titel og beskrivelse fra et andet domæne. Tag for eksempel moz.com som plejede at være seomoz.org. alle almindelige brugerforespørgsler, der fører til sider på moz.com vil vise moz.com i SERP ‘ erne, mens site:seomoz.org vil vise seomoz.org i søgeresultaterne som vist nedenfor.



årsagen til, at dette er en vigtig skelnen, er, at det kan føre SEO ‘er til at lave fejl som aktivt at blokere eller fjerne URL’ er fra indekset for det gamle domæne, hvilket forhindrer konsolidering af signaler som PageRank. Jeg har set mange tilfælde med domænemigrationer, hvor folk tror, at de begik en fejl under migreringen, fordi disse sider stadig viser for site:old-domain.com søger og ender aktivt med at skade deres hjemmeside, mens de prøver at” løse ” problemet.

den bedre metode til at kontrollere indeksering er at bruge Indeksdækningsrapporten i Google Search Console eller URL-Inspektionsværktøjet til en individuel URL. Disse værktøjer fortæller dig, om en side er indekseret, og giver yderligere oplysninger om, hvordan Google behandler siden. Hvis du ikke har adgang til dette, skal du blot søge på Google efter den fulde URL på din side.



i Ahrefs, hvis du finder siden i vores “Top pages” rapport eller ranking for organiske søgeord, betyder det normalt, at vi så det ranking for normale søgeforespørgsler og er en god indikation af, at siden blev indekseret. Bemærk, at siderne blev indekseret, da vi så dem, men det kan have ændret sig. Tjek den dato, hvor vi sidst så siden for en forespørgsel.



Hvis der er et problem med en bestemt URL, og den skal fjernes fra indekset, skal du følge rutediagrammet i begyndelsen af artiklen for at finde den korrekte fjernelsesindstilling og derefter springe til det relevante afsnit nedenfor.

Hvis du fjerner siden og serverer enten en 404 (ikke fundet) eller 410 (væk) statuskode, fjernes siden fra indekset kort efter, at siden er gennemsøgt igen. Indtil den fjernes, vises siden muligvis stadig i søgeresultaterne. Og selvom selve siden ikke længere er tilgængelig, er en cachelagret version af siden muligvis midlertidigt tilgængelig.

Når du muligvis har brug for en anden mulighed:

• jeg har brug for mere øjeblikkelig fjernelse. Se afsnittet URL fjernelse værktøj.
• jeg har brug for at konsolidere signaler som links. Se afsnittet kanonisering.
• jeg har brug for den side, der er tilgængelig for brugere. Se, om sektionerne for begrænsning af adgang passer til din situation.
• Removal option 2:
• Fjernelsesmulighed 3: begrænsning af adgang
• Removal option 4: URL Removal Tool
• Removal option 5: kanonisering
• Noindeks i robotter.
• blokering fra gennemsøgning i robotter.
• Nofølg
• Noindeks og canonical til en anden URL
• Noindeks, vent på, at Google gennemgår, og bloker derefter fra gennemsøgning
• hvad hvis det er indhold om dig, men ikke på en hjemmeside, du ejer?
• Endelige tanker

Removal option 2:

et meta robots‑tag eller header-svar vil bede søgemaskiner om at fjerne en side fra indekset. Meta robots-tagget fungerer for sider, hvor robotresponsen fungerer for sider og yderligere filtyper som PDF‑filer. For at disse tags kan ses, skal en søgemaskine kunne gennemgå siderne-så sørg for, at de ikke er blokeret i robotter.TST. Bemærk også, at fjernelse af sider fra indekset kan forhindre konsolidering af link og andre signaler.

eksempel på en meta robotter:

<meta name="robots" content="noindex">

eksempel på robots noindeks tag i headersvaret:

HTTP/1.1 200 OKX-Robots-Tag: noindex

Når du muligvis har brug for en anden mulighed:

• jeg vil ikke have brugere adgang til disse sider. Se afsnittet begrænsning af adgang.
• jeg har brug for at konsolidere signaler som links. Se afsnittet kanonisering.

Fjernelsesmulighed 3: begrænsning af adgang

Hvis du vil have Siden tilgængelig for nogle brugere, men ikke søgemaskiner, er det, du sandsynligvis vil have, en af disse tre muligheder:

• en slags login-system;
• HTTP-godkendelse (hvor der kræves en adgangskode for adgang);
• IP-hvidliste (som kun tillader specifikke IP-adresser at få adgang til siderne)

denne type opsætning er bedst til ting som interne netværk, kun medlemsindhold eller til iscenesættelse, test eller udviklingssteder. Det giver mulighed for en gruppe brugere at få adgang til siden, men søgemaskiner kan ikke få adgang til dem og indekserer ikke siderne.

Når du muligvis har brug for en anden mulighed:

• jeg har brug for mere øjeblikkelig fjernelse. Se afsnittet URL fjernelse værktøj. I dette særlige tilfælde vil du muligvis have mere øjeblikkelig fjernelse, hvis det indhold, du prøver at skjule, er blevet cachelagret, og du skal forhindre brugere i at se det indhold.

Removal option 4: URL Removal Tool

navnet på dette værktøj fra Google er lidt misvisende, da den måde, det virker, er, at det midlertidigt vil skjule indholdet. Google vil stadig se og gennemgå dette indhold, men siderne vises ikke for brugere. Denne midlertidige effekt varer i seks måneder i Google, mens Bing har et lignende værktøj, der varer i tre måneder. Disse værktøjer skal bruges i de mest ekstreme tilfælde til ting som sikkerhedsproblemer, datalækager, personligt identificerbare oplysninger (PII) osv. For Google skal du bruge værktøjet fjernelser og for Bing, se sådan blokeres URL ‘ er.

du skal stadig anvende en anden metode sammen med at bruge fjernelsesværktøjet for faktisk at få siderne fjernet i en længere periode (Slet eller slet) eller forhindre brugere i at få adgang til indholdet, hvis de stadig har linkene (Slet eller Begræns adgang). Dette giver dig bare en hurtigere måde at skjule siderne på, mens fjernelsen har tid til at behandle. Anmodningen kan tage op til en dag at behandle.

Removal option 5: kanonisering

når du har flere versioner af en side og vil konsolidere signaler som links til en enkelt version, er det, du vil gøre, en form for kanonisering. Dette er for det meste for at forhindre duplikatindhold, mens du konsoliderer flere versioner af en side til en enkelt indekseret URL.

Du har flere kanonikaliseringsmuligheder:

• Canonical tag. Dette angiver en anden URL som den kanoniske version eller den version, du vil have vist. Hvis sider er duplikerede eller meget ens, skal dette være fint. Når siderne er for forskellige, kan det kanoniske ignoreres, da det er et tip og ikke et direktiv.
• omdirigeringer. En omdirigering tager en bruger og en søgebot fra en side til en anden. 301 er den mest anvendte omdirigering af SEO ‘ er, og det fortæller søgemaskinerne, at du vil have den endelige URL til at være den, der vises i søgeresultaterne, og hvor signaler konsolideres. En 302 eller midlertidig omdirigering fortæller søgemaskiner, at du vil have den oprindelige URL til at forblive i indekset og konsolidere signaler der.
• URL parameter håndtering. En parameter tilføjes til slutningen af URL ‘en og indeholder typisk et spørgsmålstegn, som ahrefs.com?this=parameter. dette værktøj fra Google giver dig mulighed for at fortælle dem, hvordan man behandler URL’ er med specifikke parametre. For eksempel kan du angive, om parameteren ændrer sideindholdet, eller om det bare er beregnet til at spore brugen.

Hvis du har flere sider at fjerne fra Googles indeks, skal de prioriteres i overensstemmelse hermed.

højeste prioritet: disse sider er normalt sikkerhedsrelaterede eller relateret til fortrolige data. Dette omfatter indhold, der indeholder personlige data (PII), kundedata eller proprietære oplysninger.

Medium prioritet: dette involverer normalt indhold beregnet til en bestemt gruppe brugere. Virksomhedens intranet eller medarbejderportaler, indhold, der kun er beregnet til medlemmer, og iscenesættelse, test eller udviklingsmiljøer.

lav prioritet: disse sider involverer normalt duplikatindhold af en slags. Nogle eksempler på dette vil omfatte sider, der serveres fra flere URL ‘er, URL’ er med parametre, og igen kan omfatte iscenesættelse, test eller udviklingsmiljøer.

Jeg vil gerne dække et par af de måder, jeg normalt ser fjernelse udført forkert, og hvad der sker i hvert scenario for at hjælpe folk med at forstå, hvorfor de ikke virker.

Noindeks i robotter.

mens Google plejede uofficielt at understøtte noindeks i robotter.det var aldrig en officiel standard, og de har nu formelt fjernet support. Mange af de steder, der gjorde dette gjorde det forkert og skade sig selv.

blokering fra gennemsøgning i robotter.

gennemgang er ikke det samme som indeksering. Selv hvis Google er blokeret fra gennemsøgning af sider, hvis der er interne eller eksterne links til en side, kan de stadig indeksere den. Google ved ikke, hvad der er på siden, fordi de ikke vil gennemgå den, men de ved, at der findes en side og vil endda skrive en titel, der skal vises i søgeresultaterne baseret på signaler som ankerteksten i links til siden.

Nofølg

dette bliver ofte forvirret for noindeks, og nogle mennesker vil bruge det på et sideniveau, der forventer, at siden ikke bliver indekseret. Nofølg er et tip, og mens det oprindeligt stoppede links på siden og individuelle links med attributten nofølg fra at blive gennemsøgt, er det ikke længere tilfældet. Google kan nu gennemgå disse links, hvis de vil. Nofølg blev også brugt på individuelle links for at forsøge at forhindre Google i at kravle igennem til bestemte sider og til PageRank-skulptur. Igen fungerer dette ikke længere, da nejfølg er et tip. Tidligere, hvis siden havde et andet link til det, kunne Google stadig opdage fra denne alternative gennemsøgningssti.

Bemærk, at du kan finde No-fulgte sider i bulk ved hjælp af dette filter i Sideudforskeren i Ahrefs’ Site Audit.

da det sjældent giver mening at nrfølg alle links på en side, skal antallet af resultater være nul eller tæt på nul. Hvis der er resultater, der svarer til hinanden, opfordrer jeg dem til at kontrollere, om direktivet om forbud mod følgesygdomme ved et uheld blev tilføjet i stedet for forbud, og om nødvendigt vælge en mere hensigtsmæssig metode til fjernelse.

Du kan også finde individuelle links markeret nrfølg ved hjælp af dette filter i Linkstifinder.

Noindeks og canonical til en anden URL

disse signaler er modstridende. Noindeks siger at fjerne siden fra indekset, og canonical siger, at en anden side er den version, der skal indekseres. Dette kan faktisk fungere for konsolidering, da Google typisk vælger at ignorere noindekset og i stedet bruge det kanoniske som hovedsignal. Dette er dog ikke en absolut adfærd. Der er en algoritme involveret, og der er en risiko for, at noindeks-tagget kan tælles signalet. Hvis det er tilfældet, konsolideres siderne ikke korrekt.

Bemærk, at du kan finde noindeksede sider med ikke-selvhenvisende kanonikaler ved hjælp af dette sæt filtre i Sideudforskeren i Site Audit:

Noindeks, vent på, at Google gennemgår, og bloker derefter fra gennemsøgning

Der er et par måder, dette normalt sker på:

1. sider er allerede blokeret, men er indekseret, tilføjer folk noindeks og fjerner blokeringen, så Google kan gennemgå og se noindekset og derefter blokere siderne fra at gennemgå igen.
2. personer tilføjer noindeks-tags for de sider, de ønsker fjernet, og efter at Google har gennemsøgt og behandlet noindeks-tagget, blokerer de siderne for gennemsøgning.

uanset hvad er den endelige tilstand blokeret fra gennemsøgning. Hvis du husker, talte vi tidligere om, hvordan gennemsøgning ikke er det samme som indeksering. Selvom disse sider er blokeret, kan de stadig ende i indekset.

Hvis du ejer det indhold, der bruges på en anden hjemmeside, kan du muligvis indgive et krav baseret på Digital Millennium Copyright Act (DMCA). Du kan bruge Googles værktøj til fjernelse af ophavsret til at gøre det, der kaldes en DMCA-fjernelse, der anmoder om fjernelse af ophavsretligt beskyttet materiale.

hvad hvis det er indhold om dig, men ikke på en hjemmeside, du ejer?

Hvis du er i EU, kan du få fjernet indhold, der indeholder oplysninger om dig, takket være en retskendelse om retten til at blive glemt. Du kan anmode om at få fjernet personlige oplysninger ved hjælp af formularen til fjernelse af privatlivets fred.

for at fjerne billeder fra Google er den nemmeste måde med robotter.TST. Mens den uofficielle støtte til fjernelse af sider blev fjernet fra robotter.som vi nævnte tidligere, er det simpelthen at afvise gennemgang af billeder den rigtige måde at fjerne billeder på.

For et enkelt billede:

User-agent: Googlebot-ImageDisallow: /images/dogs.jpg 

for alle billeder:

User-agent: Googlebot-ImageDisallow: /

Endelige tanker

hvordan du fjerner URL ‘ er er ret situationelt. Vi har talt om flere muligheder, men hvis du stadig er forvirret, hvilket er rigtigt for dig, skal du henvise til rutediagrammet i starten.

Du kan også gennemgå den juridiske fejlfinding, der leveres af Google til fjernelse af indhold.

har du spørgsmål? Lad mig vide på kvidre.