Patrick Stox jest doradcą produktu, technicznym SEO i ambasadorem marki w Ahrefs. Jest organizatorem Raleigh SEO Meetup, Raleigh SEO Conference, Beer & SEO Meetup, Findability Conference i moderatorem na /R/TechSEO.

to ważny punkt do zrozumienia. Nie tylko stosowanie niewłaściwej metody czasami prowadzi do tego, że strony nie zostaną usunięte z indeksu zgodnie z przeznaczeniem, ale może również mieć negatywny wpływ na SEO.

aby pomóc Ci szybko zdecydować, która metoda usuwania jest dla Ciebie najlepsza, stworzyliśmy SCHEMAT BLOKOWY, dzięki czemu możesz przejść do odpowiedniej sekcji artykułu.

w tym poście dowiesz się:

• Jak sprawdzić, czy adres URL jest indeksowany
• Pięć sposobów usuwania adresów URL z Google
• Jak ustalić priorytety usuwania
• typowe błędy usuwania, aby uniknąć
• Jak usunąć zawartość, której nie ma w Twojej witrynie
• Jak usunąć obrazy

to, co zwykle widzę SEO, aby sprawdzić, czy zawartość jest indeksowana, to użyj witryny: szukaj w Google (np.:https://ahrefs.com). While site: wyszukiwania mogą być przydatne do identyfikacji stron lub sekcji witryny, które mogą być problematyczne, jeśli pojawiają się w wynikach wyszukiwania, musisz być ostrożny, ponieważ nie są to normalne zapytania i nie poinformują Cię, czy strona jest indeksowana. Mogą one wyświetlać strony znane Google, ale nie oznacza to, że mogą wyświetlać się w normalnych wynikach wyszukiwania bez operatora site:.

na przykład wyszukiwanie site: może nadal wyświetlać strony, które przekierowują lub są kanoniczne na inną stronę. Gdy poprosisz o konkretną witrynę, Google może wyświetlić stronę z tej domeny z zawartością, tytułem i opisem z innej domeny. Weźmy na przykład moz.com które kiedyś były seomoz.org. wszelkie regularne zapytania użytkowników, które prowadzą do stron na moz.com pokaże moz.com w SERPach, podczas gdy site:seomoz.org pokaże seomoz.org w wynikach wyszukiwania, Jak pokazano poniżej.

powodem, dla którego jest to ważne rozróżnienie, jest to, że może prowadzić SEO do popełniania błędów, takich jak aktywne blokowanie lub usuwanie adresów URL z indeksu dla starej domeny, co zapobiega konsolidacji sygnałów takich jak PageRank. Widziałem wiele przypadków migracji domen, w których ludzie myślą, że popełnili błąd podczas migracji, ponieważ te strony nadal wyświetlają się dla site:old-domain.com wyszukuje i kończy się aktywnie szkodząc ich stronie internetowej, próbując „naprawić” problem.

lepszą metodą sprawdzania indeksacji jest użycie raportu pokrycia indeksu w Google Search Console lub narzędzia inspekcja adresu URL dla pojedynczego adresu URL. Narzędzia te informują, czy strona jest indeksowana i dostarczają dodatkowych informacji na temat sposobu traktowania Strony przez Google. Jeśli nie masz do tego dostępu, po prostu wyszukaj w Google pełny adres URL swojej strony.

w Ahrefs, jeśli znajdziesz stronę w naszym raporcie „Top pages” lub rankingu dla organicznych słów kluczowych, zwykle oznacza to, że widzieliśmy ją w rankingu dla normalnych zapytań wyszukiwania i jest dobrą wskazówką, że strona została zindeksowana. Zauważ, że strony były indeksowane, gdy je zobaczyliśmy, ale to mogło się zmienić. Sprawdź datę ostatniego wyświetlenia strony dla zapytania.

Jeśli występuje problem z określonym adresem URL i wymaga usunięcia z indeksu, postępuj zgodnie z schematem na początku artykułu, aby znaleźć odpowiednią opcję usuwania, a następnie przejdź do odpowiedniej sekcji poniżej.

Jeśli usuniesz stronę i podasz kod statusu 404 (nie znaleziono) lub 410 (nie ma), strona zostanie usunięta z indeksu wkrótce po ponownym zindeksowaniu strony. Dopóki nie zostanie usunięta, strona może nadal wyświetlać się w wynikach wyszukiwania. A nawet jeśli sama strona nie jest już dostępna, buforowana wersja strony może być tymczasowo dostępna.

Kiedy możesz potrzebować innej opcji:

• potrzebuję natychmiastowego usunięcia. Zobacz sekcję narzędzie do usuwania adresów URL.
• muszę skonsolidować sygnały takie jak linki. Zobacz sekcję kanoniczność.
• potrzebuję strony dostępnej dla użytkowników. Sprawdź, czy sekcje noindex lub ograniczenie dostępu pasują do twojej sytuacji.

opcja usuwania 2: Noindex

znacznik noindex meta robots lub odpowiedź nagłówka X‑robots powie wyszukiwarkom, aby usunęły stronę z indeksu. Znacznik meta robots działa dla stron, gdzie odpowiedź X-robots działa dla stron i dodatkowych typów plików, takich jak pliki PDF. Aby te tagi były widoczne, wyszukiwarka musi mieć możliwość indeksowania stron—więc upewnij się, że nie są one blokowane w robotach.txt. Należy również pamiętać, że usunięcie stron z indeksu może uniemożliwić konsolidację linków i innych sygnałów.

przykład meta robots noindex:

<meta name="robots" content="noindex">

przykład znacznika X‑robots noindex w odpowiedzi na nagłówek:

HTTP/1.1 200 OKX-Robots-Tag: noindex

Kiedy możesz potrzebować innej opcji:

• nie chcę, aby użytkownicy mieli dostęp do tych stron. Zobacz sekcję ograniczanie dostępu.
• muszę skonsolidować sygnały takie jak linki. Zobacz sekcję kanoniczność.

opcja usuwania 3: ograniczenie dostępu

Jeśli chcesz, aby strona była dostępna dla niektórych użytkowników, ale nie dla wyszukiwarek, to prawdopodobnie potrzebujesz jednej z tych trzech opcji:

• pewnego rodzaju systemu logowania;
• Uwierzytelnianie HTTP (gdzie hasło jest wymagane do dostępu);
• Biała lista IP (która pozwala tylko określonym adresom IP na dostęp do stron)

ten typ konfiguracji jest najlepszy dla takich rzeczy, jak sieci wewnętrzne, zawartość Tylko dla członków lub witryny testowe, testowe lub deweloperskie. Pozwala to grupie użytkowników na dostęp do strony, ale Wyszukiwarki nie będą w stanie uzyskać do nich dostępu i nie będą indeksować stron.

Kiedy możesz potrzebować innej opcji:

• potrzebuję natychmiastowego usunięcia. Zobacz sekcję narzędzie do usuwania adresów URL. W tym konkretnym przypadku możesz chcieć bardziej natychmiastowego usunięcia, jeśli zawartość, którą próbujesz ukryć, została zbuforowana i musisz uniemożliwić użytkownikom zobaczenie tej zawartości.

Removal option 4: URL Removal Tool

nazwa tego narzędzia od Google jest nieco mylące, jak to działa jest to, że będzie tymczasowo ukryć zawartość. Google nadal będzie widzieć i indeksować tę zawartość, ale strony nie będą wyświetlane dla użytkowników. Ten tymczasowy efekt trwa sześć miesięcy w Google, podczas gdy Bing ma podobne narzędzie, które trwa trzy miesiące. Narzędzia te powinny być stosowane w najbardziej ekstremalnych przypadkach, takich jak kwestie bezpieczeństwa, wycieki danych, dane osobowe (PII) itp. W przypadku Google użyj narzędzia Usuwanie, a w przypadku Bing zobacz jak blokować adresy URL.

nadal musisz zastosować inną metodę wraz z użyciem narzędzia do usuwania, aby faktycznie strony zostały usunięte na dłuższy okres (noindex lub delete) lub uniemożliwić użytkownikom dostęp do treści, jeśli nadal mają linki (Usuń lub ogranicz dostęp). To po prostu daje szybszy sposób ukrywania stron, podczas gdy usunięcie ma czas na przetworzenie. Rozpatrzenie wniosku może potrwać do jednego dnia.

opcja usuwania 5: Kanoniczność

gdy masz wiele wersji strony i chcesz skonsolidować sygnały, takie jak linki do jednej wersji, to co chcesz zrobić, to jakaś forma kanoniczności. Ma to głównie na celu zapobieganie duplikowaniu treści podczas konsolidacji wielu wersji strony do jednego zindeksowanego adresu URL.

masz kilka opcji kanonicznych:

• tag kanoniczny. Określa inny adres URL jako wersję kanoniczną lub wersję, którą chcesz wyświetlić. Jeśli strony są duplikowane lub bardzo podobne, powinno to być w porządku. Gdy strony są zbyt różne, Canonical może zostać zignorowany, ponieważ jest to wskazówka, a nie dyrektywa.
• przekierowania. Przekierowanie przenosi użytkownika i Bota wyszukiwania z jednej strony na drugą. 301 jest najczęściej używanym przekierowaniem przez SEO i mówi wyszukiwarkom, że chcesz, aby ostateczny adres URL był tym pokazywanym w wynikach wyszukiwania i gdzie sygnały są konsolidowane. Przekierowanie 302 lub tymczasowe informuje Wyszukiwarki, że oryginalny adres URL ma pozostać w indeksie i skonsolidować tam sygnały.
• obsługa parametrów URL. Parametr jest dołączany na końcu adresu URL i zazwyczaj zawiera znak zapytania, jak ahrefs. com? this = parametr.to narzędzie od Google pozwala im powiedzieć, jak traktować adresy URL z określonymi parametrami. Na przykład możesz określić, czy parametr zmienia zawartość strony, czy ma tylko śledzić użycie.

Jeśli masz wiele stron do usunięcia z indeksu Google, to powinny być odpowiednio priorytetowe.

najwyższy priorytet: strony te są zwykle związane z bezpieczeństwem lub związane z poufnymi danymi. Obejmuje to treści zawierające dane osobowe (PII), dane klientów lub informacje zastrzeżone.

priorytet średni: zazwyczaj dotyczy to treści przeznaczonych dla określonej grupy użytkowników. Intranety firmowe lub portale pracownicze, treści przeznaczone wyłącznie dla członków oraz środowiska testowe, testowe lub programistyczne.

niski priorytet: te strony zwykle zawierają duplikaty treści. Niektóre przykłady obejmują strony serwowane z wielu adresów URL, adresy URL z parametrami i ponownie mogą obejmować środowiska testowe, testowe lub programistyczne.

chcę opisać kilka sposobów, w jakie zwykle widzę, że przeprowadzki są wykonywane nieprawidłowo i co dzieje się w każdym scenariuszu, aby pomóc ludziom zrozumieć, dlaczego nie działają.

Noindex w robotach.txt

podczas gdy Google nieoficjalnie wspierało noindex w robotach.txt, To nigdy nie był oficjalny standard i teraz formalnie usunęli wsparcie. Wiele stron, które to robiły, robiło to nieprawidłowo i szkodziło sobie.

blokowanie przed pełzaniem w robotach.indeksowanie txt

To nie to samo co indeksowanie. Nawet jeśli Google jest zablokowany przed indeksowaniem stron, jeśli są jakieś wewnętrzne lub zewnętrzne linki do strony, nadal mogą ją zindeksować. Google nie będzie wiedział, co znajduje się na stronie, ponieważ nie będzie jej indeksować, ale wie, że strona istnieje, a nawet napisze tytuł do wyświetlenia w wynikach wyszukiwania na podstawie sygnałów takich jak tekst kotwicy linków do strony.

Nofollow

to często jest mylone z noindex, a niektórzy ludzie będą go używać na poziomie strony oczekując, że strona nie będzie indeksowana. Nofollow jest podpowiedzią i chociaż pierwotnie zatrzymała linki na stronie i poszczególne linki z atrybutem nofollow przed indeksowaniem, tak już nie jest. Google może teraz indeksować te linki, jeśli chce. Nofollow został również użyty na pojedynczych linkach, aby powstrzymać Google przed indeksowaniem do określonych stron i rzeźbieniem PageRank. Ponownie, to już nie działa, ponieważ nofollow jest podpowiedzią. W przeszłości, jeśli strona miała inny link do niej, Google może nadal odkrywać z tej alternatywnej ścieżki indeksowania.

zauważ, że możesz znaleźć strony nofollowed luzem za pomocą tego filtra w Eksploratorze stron w Ahrefs’ S site Audit.

ponieważ rzadko ma sens nofollow wszystkich linków na stronie, Liczba wyników powinna być zerowa lub bliska zeru. Jeśli są dopasowane wyniki, zachęcam do sprawdzenia, czy dyrektywa nofollow została przypadkowo dodana w miejsce noindex i wyboru bardziej odpowiedniej metody usuwania, jeśli zajdzie taka potrzeba.

Możesz również znaleźć pojedyncze linki oznaczone nofollow za pomocą tego filtra w Eksploratorze linków.

Noindex i canonical do innego URL

te sygnały są sprzeczne. Noindex mówi, aby usunąć stronę z indeksu, a canonical mówi, że inna strona jest wersją, która powinna być indeksowana. Może to faktycznie działać na konsolidację, ponieważ Google zazwyczaj zdecyduje się zignorować noindex i zamiast tego użyć canonical jako głównego sygnału. Nie jest to jednak zachowanie bezwzględne. Istnieje algorytm i istnieje ryzyko, że tag noindex może być sygnałem zliczonym. Jeśli tak jest, Strony nie będą się prawidłowo konsolidować.

zauważ, że możesz znaleźć strony noindexed z nieautomatycznymi kanonicznymi dokumentami za pomocą tego zestawu filtrów w Eksploratorze stron w audyt witryny:

noindex, poczekaj, aż google się indeksuje, a następnie zablokuj indeksowanie

zwykle dzieje się to na kilka sposobów:

1. strony są już zablokowane, ale są indeksowane, ludzie dodają noindex i odblokowują, aby Google mogło się indeksować i zobaczyć noindex, a następnie zablokować strony przed ponownym indeksowaniem.
2. ludzie dodają tagi noindex dla stron, które chcą usunąć, a po przeszukiwaniu i przetworzeniu tagu noindex przez Google blokują indeksowanie stron.

tak czy inaczej stan końcowy jest zablokowany przed pełzaniem. Jeśli pamiętasz, wcześniej rozmawialiśmy o tym, że indeksowanie to nie to samo, co indeksowanie. Mimo że te strony są zablokowane, nadal mogą znaleźć się w indeksie.

Jeśli jesteś właścicielem treści używanej na innej stronie internetowej, możesz złożyć roszczenie na podstawie ustawy Digital Millennium Copyright Act (DMCA). Możesz użyć narzędzia Google do usuwania praw autorskich, aby zrobić to, co nazywa się usuwaniem DMCA, które żąda usunięcia wszelkich materiałów chronionych prawem autorskim.

a co jeśli jest to treść o tobie, ale nie na stronie, którą posiadasz?

Jeśli jesteś w UE, możesz usunąć treści zawierające informacje o Tobie dzięki nakazowi sądowemu o prawie do bycia zapomnianym. Możesz poprosić o usunięcie danych osobowych za pomocą unijnego formularza usuwania Prywatności.

aby usunąć obrazy z Google, najprostszym sposobem jest z robotami.txt. Podczas gdy nieoficjalne wsparcie dla usuwania stron zostało usunięte z robotów.txt jak już wspomnieliśmy wcześniej, po prostu wyłączenie indeksowania obrazów jest właściwym sposobem usuwania obrazów.

dla pojedynczego obrazu:

User-agent: Googlebot-ImageDisallow: /images/dogs.jpg 

dla wszystkich obrazów:

User-agent: Googlebot-ImageDisallow: /

końcowe myśli

sposób usuwania adresów URL jest dość sytuacyjny. Rozmawialiśmy o kilku opcjach, ale jeśli nadal jesteś zdezorientowany, co jest dla ciebie odpowiednie, wróć do schematu na początku.

Możesz również przejść przez narzędzie do rozwiązywania problemów prawnych dostarczane przez Google w celu usunięcia treści.

masz pytania? Daj mi znać na Twitterze.