Jak zablokować bot traffic – źródło spamu w Google Analytics?

Ruchem spamerskim nazywa się ruch w sieci, który został sztucznie wygenerowany, bez udziału realnego użytkownika. Ma on na celu utrudnienie lub uniemożliwienie przeprowadzenia wiarygodnej analizy zachowań na stronie. Jednym z rodzajów ruchu spamerskiego jest tak zwany „bot traffic”, o którym opowiem więcej w artykule. Odpowiem również na pytania, czy można go odfiltrować lub usunąć z Google Analytics, w jaki sposób to zrobić, a także czy wszystkie boty są złe.

Czym jest bot i czy przedstawianie go w złym świetle jest uzasadnione?

Bot to program komputerowy z zaprogramowanym szeregiem zachowań. Jego celem jest zastąpienie człowieka w wykonywaniu określonych zadań – z reguły tych nużących i powtarzalnych.

Boty często budzą negatywne skojarzenia, jednak z założenia są zjawiskiem neutralnym. To od człowieka zależy, jak je wykorzysta: od pomocy w rozwiązaniu nieskomplikowanego problemu, przez wyłudzenie danych nieostrożnego internauty, do przeprowadzenia zmasowanego ataku na stronę internetową (tak zwanego DDoS), skutkującego jej zawieszeniem.

Zainicjuj wzrost swojego biznesu dzięki profesjonalnemu pozycjonowaniu stron. Sprawdź, jak możemy poprawić wyniki Twojej strony i przyciągnąć nowych klientów!

Chatboty

Istnieją firmy specjalizujące się w tworzeniu botów internetowych, zwanych również automatycznymi asystentami lub chatbotami. Ich zadaniem jest usprawnienie i automatyzacja komunikacji z użytkownikiem, chociażby poprzez odpowiadanie na najczęściej zadawane pytania. Mogą one też być wykorzystywane wtedy, gdy żaden konsultant nie jest dostępny. Asystent Google czy Siri, z których być może korzystasz na co dzień, również są przykładami chatbotów.

Boty w grach komputerowych

Boty są popularne w niektórych sieciowych grach komputerowych. Z jednej strony zastępują człowieka przy wymianie towarów lub trenowaniu, z drugiej natomiast są wykorzystywane jako programy automatyzujące albo ułatwiające pewne czynności, jak chociażby celowanie i strzelanie. W tym kontekście boty dają nieuczciwą przewagę osobom ich używającym, a ich wykorzystywanie jest piętnowane przez innych graczy i często wprost zakazane przez regulaminy gier.

Googleboty

Google również ma swoje boty – tzw. Googleboty (inne spotykane nazwy: crawlery, pająki, pełzacze), których zadaniem jest indeksowanie stron, czyli zapisywanie w indeksie wyszukiwarki. Więcej o tym, w jaki sposób Googleboty indeksują strony znajdziesz w artykule Marka.

Traffic bot czy bot traffic?

W celu jak najlepszego zgłębienia tematu tego artykułu zapoznałam się z materiałami dostępnymi w internecie zarówno w języku polskim, jak i angielskim. Zaskakujące było dla mnie to, że we wpisach w naszym rodzimym języku występuje forma „traffic bot”, a dla odmiany w artykułach anglojęzycznych używane jest pojęcie „bot traffic” (samo słowo „traffic” z języka angielskiego oznacza „ruch”).

Obie nazwy uważam za poprawne i stosuję je zamiennie w zależności od kontekstu. „Traffic bot” można rozumieć jako rodzaj bota, generującego ruch w serwisie internetowym (zwiększającego liczbę odsłon strony), który jest widoczny w Google Analytics; z kolei „bot traffic” to po prostu ruch generowany przez boty.

Jak sprawdzić, czy Twoją stronę odwiedziły boty?

Do identyfikacji spamerskiego ruchu na stronie niezbędne będzie narzędzie służące do analizy ruchu i zachowań użytkowników. W tym artykule opieram się na Google Analytics – wszystkie zrzuty ekranu w nim zawarte, pochodzą właśnie z tego narzędzia.

Czy Twoją stronę rzeczywiście odwiedził bot, sprawdzisz, wykorzystując do tego zakładki „Pozyskiwanie”, rozwijając „Cały ruch”, klikając „Kanały”, a następnie wchodząc w „Organic Search”:

Drugim sposobem jest wybranie, jak poprzednio, zakładki „Pozyskiwanie”, następnie „Przegląd” i ponownie „Organic Search”:

Tak naprawdę w obu przypadkach otrzymujesz dokładnie ten sam raport, różnica polega na tym, że korzystając z drugiego sposobu, dostajesz go o jedno kliknięcie szybciej:

Jeśli w ostatnim czasie zaobserwowałeś na stronie zwiększony ruch pochodzący z wyników organicznych, a wykres w Google Analytics jest zbliżony do tego powyżej, to prawdopodobnie odwiedziły Cię traffic boty.

Boty mogą być widoczne pod wieloma nazwami, ja do tej pory spotkałam się między innymi z takimi:

Za interesujący uważam współczynnik odrzuceń (więcej o nim dowiesz się z tego artykułu), który jest równy lub niewiele wyższy od 0%. Ruch pochodzący przynajmniej od części botów tego typu powiązany jest z serwisami sprzedającymi pakiety wejść na stronę i właśnie w taki sposób próbującymi pozyskać nowych klientów.

Po co blokować boty?

Mogłoby się wydawać, że większy ruch na stronie jest pożądany. Jest to prawdą, o ile ruch jest naturalny i wygenerowany przez ludzi, zainteresowanych (lub nie) treścią naszej strony. W przypadku botów ingerują one nie tylko w liczbę użytkowników czy sesji, ale mogą również wpływać na współczynnik odrzuceń, średnią liczbę odwiedzanych stron na sesję czy średni czas trwania sesji. Przez boty analiza ruchu oparta jest na nieprawdziwych danych, mogących doprowadzić do wysnucia błędnych wniosków, a w konsekwencji do podjęcia błędnych decyzji biznesowych przez właściciela strony.

Z drugiej strony, ruch taki może być niebezpieczny, ponieważ w Google Analytics często wyświetlany jest pod postacią adresu URL, w który osoba nieostrożna lub nieświadoma zagrożenia może wejść i tym samym narazić się na zainfekowanie swojego urządzenia wirusem.

Z powyższych powodów wskazane jest blokowanie ruchu generowanego przez boty.

Jak odfiltrować traffic boty w Google Analytics 3?

W wersji 3 Google Analytics ruch pochodzący od botów można odfiltrować na dwa sposoby:

• w przypadku ruchu historycznego (danych już zebranych), za pomocą segmentu niestandardowego,
• wykorzystując filtr niestandardowy, działający na dane, które dopiero zostaną zebrane w przyszłości.

Segment niestandardowy

By dodać nowy segment, należy wejść kolejno w „Pozyskiwanie”, „Przegląd”, „Dodaj segment”:

a następnie w „Nowy segment”:

Wpisując nazwę nowego segmentu, warto wybrać taką, która nawet po długim czasie będzie jednoznacznie wskazywać, czego dotyczy.

W sekcji „Warunki” ustaw filtr na „Sesje” oraz „Wyklucz”, z list rozwijanych wybierz „Słowo kluczowe” i „zawiera”, a w pustym polu wpisz nazwę traffic bota i zapisz segment:

Utworzony segment będzie widoczny na liście segmentów niestandardowych:

Po jego aktywowaniu otrzymasz następujące zestawienie, porównujące ruch nieodfiltrowany (na niebiesko) i odfiltrowany (na pomarańczowo).

Jak łatwo zauważyć, wykres w kolorze pomarańczowym jest płaski (nie zawiera charakterystycznego dla botów kształtu piramidy), ponieważ nie uwzględnia sesji wygenerowanych przez traffic bota.

Filtr niestandardowy

Zanim dane zebrane przez Google Analytics zostaną wyświetlone w „Widoku danych”, wcześniej są filtrowane. Może się zatem zdarzyć, że mając filtr, przy którego tworzeniu pomyliłeś się, w konsekwencji odfiltrujesz za dużo danych i stracisz je bezpowrotnie. Raz odfiltrowanych danych nie można już w żaden sposób odzyskać.

Mając to na uwadze, w pierwszej kolejności należy utworzyć nowy widok danych, który od teraz będzie widokiem zawierającym „surowe”, czyli nieprzetworzone dane. Warto pamiętać, że tworzenie nowego lub kopiowanie już istniejącego widoku nie przenosi danych archiwalnych, zatem dane będą zbierane od chwili jego utworzenia.

W celu dodania nowego widoku wejdź w zakładkę „Administracja” i kliknij „Utwórz widok danych”:

a następnie uzupełnij nazwę nowego widoku, wybierz odpowiednią strefę czasową oraz kliknij przycisk „Utwórz widok”:

Mając już nowy widok danych, możesz przystąpić do tworzenia filtra niestandardowego.

Wejdź w zakładkę „Administracja”, w „Widoku danych” wybierz widok, dla którego chcesz utworzyć nowy filtr, a następnie kliknij „Filtry”:

oraz czerwony przycisk „Dodaj filtr”:

Podobnie, jak w przypadku segmentów, nazywając nowy filtr, warto wybrać nazwę jednoznacznie wskazującą, jakie dane filtr odsiewa.

W typie filtra wybierz „Niestandardowy”, upewnij się, że zaznaczone jest polecenie „Wyklucz”, w polu filtra ustaw „Hasło kampanii”, natomiast we wzorcu filtra podaj nazwę bota – w tym wypadku „trafficart”. Dobrą praktyką jest przetestowanie filtra przed jego zapisaniem. Na poniższym zrzucie widać, że weryfikacja powiodła się i po zastosowaniu filtra, ruch pozyskany ze słowa kluczowego „www.trafficart.club” nie będzie uwzględniany w statystykach.

#gtip: Należy monitorować od czasu do czasu, czy nie pojawiają się nowe spam boty. W tej sytuacji nie ma potrzeby tworzenia dodatkowych filtrów. Można wykorzystać wyrażenia regularne w polu wzorców, oddzielając nazwy spam botów znakiem „|” np. „bottraffic123|trafficguide|trafficnow|trafficart”.

Trzeba przy tym pamiętać, aby nie umieszczać tego znaku na początku ani na końcu wzorca. Więcej na temat wyrażeń regularnych znajdziesz na supporcie Google.

Uwaga! Radzę unikać niedoprecyzowanych wzorców, np. „traffic”. Mogą one odfiltrować również realny ruch pochodzący z fraz zawierających taki ciąg znaków, np. „zderzak do renault traffic”.

Jak odfiltrować traffic boty w Google Analytics 4?

Najnowsza, opublikowana jesienią 2020 roku, wersja 4 Google Analytics, dobrze radzi sobie z filtrowaniem spamu, ruchu pochodzącego od botów. Zgodnie z informacją zaczerpniętą bezpośrednio ze strony supportu Google:

„W usługach Google Analytics 4 ruch generowany przez znane roboty jest automatycznie wykluczany. Dzięki temu dane Analytics nie obejmują – w zakresie, w jakim jest to możliwe – zdarzeń wywoływanych przez znane roboty. Nie możesz obecnie wyłączyć wykluczania ruchu generowanego przez znane roboty ani sprawdzać, ile takiego ruchu zostało wykluczone.”

Inne sposoby blokowania botów

Poza tworzeniem filtrów i segmentów niestandardowych w Google Analytics, istnieje jeszcze inny sposób radzenia sobie z botami. Jak informuje Cloudflare, jeden z najbardziej popularnych dostawców usługi CDN (Content Delivery Network), do blokowania botów w witrynie można wykorzystać plik robots.txt. Plik ten, jak jego nazwa wskazuje, zawiera instrukcje dla robotów odwiedzających stronę internetową.

Dzięki niemu wskażesz botom, po których częściach serwisu nie mają się poruszać. Uważaj, by nie zabronić Googlebotom odwiedzania i indeksowania witryny! Niestety, do poleceń zawartych w robots.txt zastosują się tylko „dobre” boty, a te „złe” najprawdopodobniej je zignorują.

Przykładowo, chcąc zablokować całą stronę przed botami:

trafficstar.club

trafficguide.club
bottraffic113.xyz

do robots.txt powinieneś dopisać następujące instrukcje:

User-agent: trafficstar, trafficguide, bottraffic113

Disallow: /

Warto jednak pamiętać, że plik ten przekazuje instrukcje poruszania się po stronie tylko botom o wskazanych nazwach. W przypadku innych botów, np. trafficnow.club lub trafficart.club, wykluczenia nie będą działały.

Uważaj na boty na swojej stronie

Metod radzenia sobie ze spamem pochodzącym od botów jest wiele, jednak należy pamiętać, że żadna z nich nie wykluczy takiego ruchu raz na zawsze. Na tę chwilę wydaje się, że korzystanie z Google Analytics w wersji 4 rozwiązuje problem odwiedzin traffic botów na stronie.

Uważam jednak, że za jakiś czas może okazać się, że nowe ich typy przebiły się przez zabezpieczenia i użytkownicy narzędzia będą musieli konfigurować nowe elementy filtrujące i blokujące boty. Warto zatem trzymać rękę na pulsie i śledzić nowinki z branży, aby zawsze mieć pewność, że dobrze radzimy sobie ze spamem.