Noindex i nofollow – jakie mają znaczenie w SEO

Każdy webmaster chce, by jego strona internetowa była jak najczęściej odwiedzana. Najłatwiejszym sposobem na osiągnięcie tego celu jest zadbanie, by wyświetlała się w wynikach organicznych Google.

Warto jednak wiedzieć, że strony nie trafiają „automatycznie” do indeksu wyszukiwarki. W tym celu muszą zostać zindeksowane przez roboty Google, inaczej określane jako crawlery, przemierzające Internet i zapisujące w indeksie napotkane strony

W jaki sposób działają crawlery Google

Celem Googlebotów jest przemieszczanie się między stronami internetowymi i dodawanie ich do indeksu Google. Przechodzą pomiędzy poszczególnymi adresami URL, korzystając ze znajdujących się na nich linków. Każda witryna posiada jednak budżet crawlowania (ang. crawl budget), który określa liczbę adresów URL, które boty mogą zaindeksować w czasie jednej wizyty. Gdy crawler znajdzie się w serwisie, pozostaje w nim aż do czasu, gdy zaindeksuje wszystkie podstrony lub wyczerpie budżet crawlowania.

Czym są atrybuty noindex oraz nofollow

Zdarzają się jednak sytuacje, gdy nie chcemy, by boty Google indeksowały jakąś podstronę lub podążały za linkiem. W takich sytuacjach wykorzystujemy atrybuty noindex oraz nofollow.

Są to znaczniki mające postać kodu, zawierające informacje przeznaczone dla robotów Google. Korzystając z nich, możemy wpłynąć na to, w jaki sposób boty będą się zachowywać, gdy trafią do naszego serwisu. Podczas, gdy rel noindex  ma na celu poinformować crawlery, by nie indeksowały konkretnej podstrony, nofollow mówi im, by nie podążały za danym linkiem.

Kiedy wykorzystujemy atrybuty noindex i nofollow

Nie w każdej sytuacji zależy nam na tym, by podstrona naszego serwisu znajdowała się w indeksie Google czy była odwiedzana oraz oceniana przez boty.

Część podstron mogłaby negatywnie wpłynąć na ocenę całego serwisu lub powinna być wyświetlana tylko w danym kontekście. Zastosowanie metatagów może być celowe również w sytuacji, gdy nasz serwis jest bardzo duży i zawiera częściowo adresy, które nie powinny znaleźć się w indeksie. Adresy URL, dla których dobrym pomysłem jest zastosowanie znaczników, mogą zawierać np.:

• duplicate content,
• treści generowane maszynowo,
• content niskiej jakości,
• kod back-end,
• zawartość, którą chcemy pokazać użytkownikom jedynie w określonym kontekście, np. po zapisaniu się do newslettera naszego sklepu internetowego.

Noindex – kiedy i jak używać

Gdy crawler Google indeksujący nasz serwis trafi na noindex, nie doda danego adresu URL. W efekcie podstrona nigdy nie pojawi się w wynikach wyszukiwania Google.

Metatag może być umieszczony w kodzie naszej strony na jeden z dwóch sposobów:

• w kodzie HTML,
• nagłówku HTTP jako metatagi X-Robots-Tag.

Niezależnie od sposobu, w jaki go zaimplementujemy, znacznik będzie działał w podobny sposób.

Dodatkowo, możemy wykorzystać plik robots.txt, by poinformować roboty, że nie chcemy, by indeksowały daną podstronę.

Atrybut w kodzie HTML strony

Jest on najczęściej umieszczany w sekcji head. W tym celu powinniśmy umieścić w niej komendę:

<meta name=”robots” content=”noindex”>

Jak widać, jest to bardzo prosty kod, który składa się z dwóch elementów. Pierwszy z nich zawiera informację o tym, że polecenie jest adresowane do crawlera. Drugi przekazuje informację na temat konkretnego polecenia.

Co ciekawe, Google korzysta z wielu botów, a każdy z nich ma nieco inną funkcję. Warto o tym pamiętać, ponieważ czasami przydatne może okazać się adresowanie metatagu tylko do konkretnego crawlera, takiego jak np. Googlebot, Adsbot czy Storebot.

Jeśli chcemy, by nasz metatag był adresowany do konkretnego robota, musimy umieścić jego nazwę w kodzie np.:

<meta name=”googlebot” content=”noindex” />

Wykorzystanie pliku robots.txt

Plik robots.txt ma za zadanie przekazać robotom informację, czy pozwalamy na zaindeksowanie danej podstrony. W tym celu wykorzystywane są dyrektywy allow oraz disallow. W efekcie w pliku tworzony jest spis podstron z dyrektywami.

User-agent: *

Allow: /o nas

Allow: /galeria

Disallow: /login/

W pliku robots możemy ponadto zablokować pojedyncze podstrony, a także całe ścieżki/katalogi. Dodatkowo Google udostępniło w narzędziu Google Search Console specjalny tester, za pomocą którego możemy sprawdzić działanie dyrektyw w naszym pliku robots. Narzędzie znaleźć można pod adresem: https://support.google.com/webmasters/answer/6062598?hl=pl

Noindex jako X-Robots-Tag

Kolejnym sposobem na upewnienie się, że podstrona nie zostanie zaindeksowana, jest zablokowanie jej w nagłówku HTTP. Chcąc zrozumieć taki sposób implementacji atrybutu, warto najpierw wyjaśnić sobie, czym są nagłówki HTTP. Są to komendy dołączane do zapytań wysyłanych między stroną WWW a serwerem. Każdy z nich składa się z nazwy oraz konkretnej wartości.

Warto jednak pamiętać, że ta metoda wykorzystywana jest w ramach konfiguracji serwera. Z tego względu wymaga od webmastera dużo więcej wiedzy oraz umiejętności.

Metoda wykorzystująca tagi daje nam więcej kontroli. Pozwala bowiem oznaczyć zaledwie fragment strony, np. mówiąc botowi, by nie indeksował zdjęcia bądź filmiku.

Nofollow links

Pozornie mogłoby się wydawać, że atrybut nofollow wyszukiwarki jest mniej istotny od noindex – co może być bowiem bardziej stanowczym działaniem niż zabronienie robotom indeksowania konkretnej podstrony? Nie warto jednak lekceważyć drugiego atrybutu. Nofollow stanowi bowiem informację dla crawlerów, by nie wchodziły w konkretny link lub zbiór linków na stronie.

Powodem dlaczego nofollow odgrywa bardzo ważną rolę, jeśli chodzi o budowę naszej strony, jest znaczenie link buildingu dla SEO. Odnośniki służą bowiem crawlerom do nawigowania oraz przemieszczania się w obrębie naszego serwisu oraz wpływają na jej ocenę. Jeśli w treści strony umieścimy komendę, by boty nie przechodziły przez dany odnośnik, nie ocenią znajdującej się za nim podstrony.

W efekcie nofollow może również przynieść taki sam efekt jak metatag noindex. Jeśli zabronimy robotom przechodzić przez wszystkie linki prowadzące w naszym serwisie do konkretnej podstrony, nie będą miały jak się na nią dostać, a w efekcie jak ją zaindeksować.

Nie jest to oczywiście główny cel tego atrybutu. Chcąc zrozumieć jego działanie, należy sobie uzmysłowić istnienie zjawiska takiego jak link juice. Jest to wartość, która płynie z posiadania wysokiej jakości linka prowadzącego do naszej witryny, pozytywnie wpływająca na jej ocenę ze strony Google. Jeśli odnośniki prowadzą do naszego portalu, my otrzymujemy link juice. Gdy umieszczamy odnośnik do innej strony, to właśnie ona go dostaje.

Nie zawsze jednak chcemy go przyznawać. Jeśli musimy podlinkować jakiś serwis np. jako negatywny przykład, nie chcemy, by na tym zyskał. Umieszczenie nofollow sprawi, że crawler nie przejdzie z naszego artykułu do podlinkowanego serwisu i nie przekaże link juice.

W obrębie strony znacznik jest stosowany, ponieważ daje znać crawlerom, by nie wchodziły na podstrony, które nie mają znaczenia w procesie pozycjonowania strony www.

Umieszczanie metatagu nofollow w obrębie strony

Istnieją aż trzy sposoby umieszczenia znacznika w treści swojej strony. Można to zrobić poprzez umieszczenie go:

• w kodzie HTML,
• w nagłówku HTTP jako X-Robots-Tag,
• w kodzie konkretnego linku.

Dwie pierwsze metody wyglądają analogicznie jak w przypadku znacznika. Jeśli chcemy umieścić go w kodzie, należy zastosować komendę:

<meta name=”robots” content=”nofollow”>

Dokładnie w taki sam sposób jak w przypadku pierwszego atrybutu, przy X-Robots-Tag możemy skierować komunikat jedynie do jednego określonego bota, wpisując w kod jego nazwę. Obie metody będą odnosić się jednak do wszystkich odnośników w obrębie podstrony lub jej fragmentu.

Jeśli chcemy, by boty zignorowały tylko jeden odnośnik, możemy dodać metatag nofollow HTML wewnątrz kodu odnośnika. W takiej sytuacji kod będzie wyglądał następująco:

<a href=”adres_strony” rel=”nofollow”>tytuł odnośnika</a>

Warto dokładnie przemyśleć stosowanie metatagów

Chociaż w wielu przypadkach stosowanie noindex oraz nofollow może być dla nas korzystne, warto dokładnie przemyśleć swoje działania. Należy pamiętać, że ich użycie pozbawi podstronę możliwości wyświetlenia się w rankingu Google, a tym samym – nie zapewni nam wejść do naszego serwisu. Każde zastosowanie atrybutów powinno być celowe i dokładnie przemyślane.

Ponadto, zgodnie ze słowami Johna Muellera, gdy roboty Google trafią na jeden z opisywanych atrybutów, traktują URL tak samo jak błąd 404 i przestają go regularnie odwiedzać. Z tego względu wycofanie się ze wskazówki danej crawlerom może okazać się bardzo trudne i czasochłonne.

Wpływ atrybutów na SEO – podsumowanie

Celem atrybutów rel=”noindex, nofollow” jest wykluczyć poszczególne podstrony z wyników wyszukiwania lub sprawić, że linki zostaną zignorowane przez crawlery. Z tego względu efekty SEO, jakie przyniosą, będą zależne od sytuacji, w jakiej je wykorzystamy. Jeśli rozmieścimy je w naszym serwisie w sposób przemyślany np.:

• nofollow HTML przy linku do podstrony nieistotnej dla pozycjonowania,
• noindex rel na podstronie zawierającej duplicate content,

możemy pozytywnie wpłynąć na wynik naszego serwisu. Wykorzystanie atrybutów w niewłaściwy sposób może sprawić, że nasza witryna nie uzyska pożądanej przez nas pozycji w organicznych wynikach wyszukiwania.

Prawidłowe korzystanie z noindex rel pozwoli nam uniknąć kar za wykorzystanie duplicate content czy umieszczenie w wynikach zbędnej podstrony, np. podziękowania za zakupy w naszym sklepie internetowym.

Zastosowanie metatagu nofollow HTML to sposób, by zasugerować botom, by nie przechodziły przez dany link oraz go nie punktowały. W ten sposób możemy wpłynąć na to, jak crawlery będą poruszały się po serwisie i wykluczyć wejścia na zbędne podstrony.