Czy Twój plik robots to chaos?
Widziałem pliki robots.txt, które miały po 5000 linii.
Administratorzy ręcznie wpisywali każdy adres poprawny plik robots txt URL, który specyfikacja robots.txt chcieli zablokować. To nie tylko marnowanie czasu, ale też ryzyko przekroczenia limitu wielkości pliku (500 KB).
Rozwiązaniem jest użycie "magicznych" znaków: gwiazdki (*) oraz dolara ($).
Google obsługuje specyficzny standard dopasowywania wzorców. Oto jak z niego korzystać jak profesjonalista.
Gwiazdka (*) – więcej niż myślisz
Większość wie, że gwiazdka oznacza "dowolny ciąg znaków".
Ale mało kto wie, że można jej używać w środku ścieżki, a nie tylko na końcu.
Przykład: Blokowanie ID sesji w środku URL
Załóżmy, że masz adresy typu:
- /produkt/sid-12345/opis /kategoria/sid-99999/buty
Chcesz zablokować wszystko, co zawiera "sid-", niezależnie gdzie się znajduje. Twoja reguła:
User-agent: * Disallow: /*sid-*
Ta jedna linijka mówi: "Zablokuj każdy adres, który w dowolnym miejscu ma frazę 'sid-'". Proste, prawda?
Dolar ($) – chirurgiczna precyzja
Symbol dolara oznacza koniec adresu URL.
To kluczowe, gdy chcesz zablokować konkretny plik lub rozszerzenie, ale nie chcesz blokować folderu o tej samej nazwie.
Przykład: Pliki .xls vs Kategoria .xls
Wyobraź sobie, że masz:
Plik cennika: /cennik.xls (Chcesz zablokować) Kategorię produktów: /cennik.xls-modele-2024 (Chcesz zaindeksować)
Jeśli wpiszesz Disallow: /*.xls, zablokujesz OBA adresy (bo oba zawierają ".xls").
Jeśli użyjesz dolara:
Disallow: /*.xls$
Zablokujesz tylko to, co KOŃCZY SIĘ na .xls. Kategoria "modele-2024" pozostanie bezpieczna i widoczna dla Google.
Kombinacja mistrzowska
Możesz łączyć te znaki, tworząc bardzo zaawansowane filtry.
Załóżmy, że chcesz zablokować w swoim sklepie wszystkie wyniki sortowania, ale tylko dla kategorii "buty".
Disallow: /buty/*?sort=
Dzięki temu:
- /buty/zimowe?sort=cena -> ZABLOKOWANE /kurtki/zimowe?sort=cena -> DOSTĘPNE
Podsumowanie
Znajomość składni pliku robots odróżnia amatora od eksperta.
Zamiast pisać setki linii kodu, naucz się używać wzorców. Twój plik będzie lżejszy, czytelniejszy i łatwiejszy w zarządzaniu. Pamiętaj tylko, by każdą taką "sprytną" regułę przetestować w Google Search Console!
Masz problem z indeksacją strony?
Zamów darmową analizę widoczności.
Gwarantujemy wzrost pozycji.