Wraz z rozwojem stron internetowych pojawia się potrzeba optymalizacji ich widoczności w wynikach wyszukiwarek. Jednym z narzędzi pozwalających na poprawę pozycji strony jest właściwe zarządzanie tagami w WordPressie. Niestety, nie wszystkie tagi są potrzebne i warto wstrzymać indeksowanie niepotrzebnych zasobów przez wyszukiwarki. W tym artykule dowiesz się, jak wykorzystać plik robots.txt do wstrzymania indeksowania tagów WordPress.

• Tagi WordPress, robots.txt
• Edycja robots.txt w Yoast SEO – wykluczenie indeksowania tagów
• Dostęp do pliku robotos.txt za pomocą menedżera plików
• Czy należy zgłaszać plik robots.txt w Google Search Console?

Tagi WordPress, robots.txt, indeksowanie tagów

Tagi WordPress to jedna z funkcjonalności, która pozwala na przypisywanie określonych słów kluczowych do postów na blogu. Pozwala to na łatwiejsze ich kategoryzowanie i organizowanie wewnętrznej struktury strony. Tagi są przydatne dla użytkowników, którzy chcą szybko i łatwo odnaleźć interesujące ich treści, ale również dla wyszukiwarek internetowych, które dzięki nim lepiej rozumieją zawartość strony.

Jednakże nadmierne korzystanie z tagów może wpłynąć negatywnie na SEO, ponieważ powoduje to duplikację treści na stronie oraz zwiększa liczbę stron indeksowanych przez wyszukiwarki. Dlatego też warto wdrożyć odpowiednie metody ograniczające indeksowanie tagów, takie jak wykorzystanie pliku robots.txt.

• Do czego służy plik robots.txt?

Robots.txt to plik tekstowy umieszczany w głównym katalogu strony, który zawiera instrukcje dla robotów internetowych dotyczące indeksowania strony. Za pomocą pliku robots.txt możemy wykluczyć niektóre katalogi i strony z indeksowania, co pozwala nam na kontrolowanie widoczności naszej strony w wynikach wyszukiwania. Dzięki temu, możemy skutecznie ograniczyć indeksowanie tagów WordPress, co przyczyni się do poprawy pozycji naszej strony w wynikach wyszukiwania.

• Dlaczego strona nie wyświetla się w Google?

Aby powiedzieć Google, aby definitywnie nie uzyskiwał dostępu do tagów Twojej witryny i w ten sposób zrozumiał, że musi usunąć je ze swojego indeksu, należy dodać regułę w pliku robots.txt .

Można to zrobić, edytując plik przez FTP lub korzystając z menedżera plików swojego hostingu, albo z wtyczki Yoast SEO.

W każdym przypadku polega to na dodaniu linijki i ponownym wysłaniu zmodyfikowanego pliku do robota przez Search Console, aby wziął go pod uwagę.

Edycja robots.txt w Yoast SEO – indeksowanie tagów wykluczenie

Najprościej jest wrócić do korzystania z Yoast SEO, który poza dedykowaną funkcją wykluczania tagów z indeksowania, posiada też edytor plików tekstowych, w tym robots.txt. Korzystanie z tej metody wykluczania tagów, jest o tyle wygodne, że umożliwia wskazanie konkretnych, pojedynczych tagów, jakie chcesz wykluczyć.

Aby to zrobić, przejdź do opcji Narzędzia ➜ Edytor plików .

Tam możesz dodać następującą linię:

Disallow: /tag/

Znając ich nazwę, musisz uzyskać dostęp do pliku Robots.txt i dodać następujący wiersz kodu:

Aby wstrzymać indeksowanie tagów WordPress przez roboty wyszukiwarek za pomocą pliku robots.txt, należy dodać następujące linie kodu do pliku:

User-agent: *
Disallow: /tag/

Powyższy kod blokuje indeksowanie każdej strony zawierającej „/tag/” w URL przez każdego robota wyszukiwarki. Można również zablokować indeksowanie pojedynczych tagów, dodając ich nazwę za końcówkę „/tag/”. Na przykład, aby zablokować indeksowanie taga „example”, należy dodać następujące linie kodu:

User-agent: *
Disallow: /tag/example/

Ważne jest, aby pamiętać, że ta metoda nie uniemożliwia zindeksowania tagów przez wszystkie roboty, ponieważ niektóre mogą zignorować plik robots.txt. Jednak większość robotów przestrzega wytycznych pliku robots.txt i nie indeksuje stron objętych zakazem dostępu.

Dostęp do pliku robotos.txt za pomocą menedżera plików

Jeśli chcesz uzyskać dostęp do pliku robots.txt w panelu DirectAdmin, możesz skorzystać z menedżera plików. Oto kroki, jak to zrobić w panelu DirectAdmin.

Aby połączyć się ze swoim serwerem FTP w Domenomania.pl, wykorzystując menedżera plików DirectAdmin:

1. Zaloguj się do panelu DirectAdmin.
   • Jak zalogować się do DirectAdmin?
2. Przejdź do zakładki: Informacje o systemie i pliki,następnie wybierz opcję Zarządzanie plikami.
3. Przejdź do folderu z instalacją WordPress i otwórz robots.txt, a jeśli go nie ma, utwórz go.

Jeśli korzystasz z cPanel, analogicznie postępuj zgodnie z instrukcją:

Aby połączyć się z serwerem FTP w Domenomania.pl, stosując do tego menedżera plików cPanel:

1. Zaloguj się do panelu cPanel.
   • Jak zalogować się do cPanel?
2. Przejdź do sekcji Pliki, następnie wybierz opcję Menedżer plików.
3. Przejdź do folderu z instalacją WordPress i otwórz plik lub utwórz robots.txt

Po utworzeniu pliku możesz edytować go tak, jak opisano powyżej. Pamiętaj, że po wprowadzeniu zmian może minąć trochę czasu, zanim roboty indeksujące zaczną działać zgodnie z nowymi zasadami w pliku robots.txt.

Czy należy zgłaszać plik robots.txt w Google Search Console?

Nie ma potrzeby informowania Google w Google Search Console o dodaniu pliku robots.txt. Googlebot automatycznie sprawdza obecność pliku robots.txt na Twojej stronie internetowej podczas indeksowania Twojej witryny. Jeśli plik robots.txt jest poprawnie skonfigurowany i dostępny dla robotów wyszukiwarek, Googlebot go odnajdzie i zastosuje w swoich działaniach indeksacyjnych.

Jednak jeśli masz wątpliwości co do poprawności składni swojego pliku robots.txt lub masz specyficzne wymagania dla swojej witryny, możesz dodać plik robots.txt do Google Search Console i przetestować go za pomocą narzędzia Testowanie robots.txt – kliknij tutaj, aby przejść do witryny.