Здравейте! Днес ние от GrowEasy ще обсъдим как да блокирате Googlebot да обхожда определени части от страница и как да предотвратите достъпа на Googlebot до даден сайт изобщо.
Блокиране на Googlebot от определени секции на уебстраницата
Някои казват, че е невъзможно да спрете Googlebot да обхожда конкретни секции на уебстраницата, като например областите „също купени“ на продуктови страници.
Кратката версия е, че не можете да блокирате обхождането на конкретен раздел на HTML страница.
По-нататък ще предложим две потенциални стратегии за справяне с проблема, като подчертавам, че нито една от тях не е идеално решение.
Първото решение е да се използва HTML атрибутът data-nosnippet, за да се предотврати появата на текст в извадката за търсене.
Като алтернатива може да използвате iframe или JavaScript с източник, блокиран от robots.txt, въпреки че предупреждавам, че това също не е добра идея.
Достъп до индекса на Brave с помощта на Brave Search API
Захранвайте приложенията си за търсене и изкуствен интелект с най-бързо развиващата се независима търсачка след Bing. Получете достъп до индекс от милиарди страници с едно API повикване.
Използването на роботизиран iframe или JavaScript файл може да доведе до проблеми при обхождането и индексирането, които са трудни за диагностициране и разрешаване.
Ако въпросното съдържание се използва повторно в множество страници, това не е проблем, който трябва да се отстрани.
Не е необходимо да блокирате Googlebot да вижда този вид дублиране.
Блокиране на достъпа на Googlebot до даден уебсайт
В отговор на въпрос за предотвратяването на достъпа на Googlebot до която и да е част от даден сайт, предоставяме лесно за изпълнение решение.
Най-простият начин е robots.txt: ако добавите disallow: / за потребителския агент на Googlebot, Googlebot ще остави сайта ви на мира, докато поддържате това правило там.
За тези, които търсят по-надеждно решение, предлагаме и друг метод:
Ако искате да блокирате дори достъпа до мрежата, ще трябва да създадете правила за защитна стена, които зареждат нашите IP диапазони в правило за отказ.
Вижте официалната документация на Google за списък на IP адресите на Googlebot.
В обобщение
Въпреки че е невъзможно да се предотврати достъпът на Googlebot до определени секции на HTML страница, методи като използването на атрибута data-nosnippet могат да осигурят контрол.
Когато обмисляте да блокирате напълно достъпа на Googlebot до вашия сайт, просто правило за забрана във вашия файл robots.txt ще свърши работа. Възможни са обаче и по-крайни мерки като създаване на специфични правила за защитна стена.
Още от блога на Дигитална агенция Grow Easy:
GOOGLE: ЛИНКОВЕТЕ ВЕЧЕ НЕ СА СИГНАЛ ЗА КЛАСИРАНЕ НА ПЪРВИТЕ ТРИ МЕСТА
КАК ДА БЪДЕМ ЕФЕКТИВНИ С БЮДЖЕТА ЗА SEO ПО ВРЕМЕ НА ЗАСТОЙ
0 коментара