Перегрузка сайта

С моим блогом в выходные приключилась не очень приятная история. Сайт несколько раз автоматически блокировался за превышение лимита на использование системных ресурсов, или, говоря проще, перегрузку.

Перегрузка происходит тогда, когда отдельный процесс захватывает один или несколько ресурсов на длительный срок, в результате чего другие процессы выстраиваются в очередь, и весь хостинг замедляет свою работу. При этом имеется риск, что работа может остановиться. Чтобы такого не произошло, на не очень мощных хостингах, а таковым и является Мультихост, производят периодические блокировки сайтов, занявших слишком много ресурсов, пишут гневные письма владельцам сайтов и грозятся разорвать договор, если причина перегрузки не будет устранена.

Причин перегрузки несколько:
— Чрезмерная активность поисковых роботов;
— Высокая посещаемость ресурса;
— Программные коды низкого качества.

Среди файлов, размещенных на платном хостинге, всегда есть логи, в которых в простом текстовом формате записано, какой IP, когда, куда и с какой страницы заходил. Так что первые две причины необходимо выявлять именно на основе логов, которые фиксируют как посетителей-людей, так и ботов. Проверка логов выявила, что мой сайт был заблокирован по первой и третьей причинам одновременно, отчасти, быть может, и по второй. Чересчур активные поисковые роботы полезли на страницу регистрации и входа на сайт, на который можно было зайти не только с помощью обычной регистрации, но и с помощью плагина Loginza. Этот плагин, видимо, оказался тяжелым, если его активизировать много раз одновременно, потому и был без сожаления отключен.

Трудно сказать, сильно ли повлияла посещаемость сайта, но могла повлиять. Судя по логам, DDOS-атак не было, но изначально, создавая блог, я рассчитывала на посещаемость в 100-200 человек в день, однако она превысила мои ожидания, а в последние дни и вовсе достигла 2500. В моем блоге есть несколько докладов о космосе, которые вдруг всем понадобились в преддверии 50-летия Дня Космонавтики и немногим позже.

Можно решить проблему по-другому, если жаль удалить плагин Loginza, который позволяет зайти в блог как по OpenID, так и с помощью распространенных ныне аккаунтов ВКонтакте, Facebook, Яндекс, Google, Twitter и других. Хотя необходимо запомнить одно правило: лишний плагин — лишняя нагрузка. Но, если этот плагин так нужен, установите лимит захода поисковых роботов в блог и закройте от них страницу входа и регистрации.

Для этого нужно открыть файл robots.txt, находящийся в корневом каталоге WordPress. Этот файл содержит указания для поисковых роботов. Нужно добавить в него следующие строки.

Исправление от 10.03.2024: Crawl-delay — устаревшая директива. Остальное должно быть в robots.txt и сейчас.

User-agent: *
Disallow: /wp-admin
/wp-includes
/wp-login.php
Crawl-delay: 3

Строка User-agent содержит указания, для какие поисковых роботов действуют указания. Звездочка * означает, что они действуют на все боты.
Disallow — запрет на индексацию. Блокируем доступ к страницам, начинающимся с /wp-admin, /wp-includes, и к странице входа и регистрации.
Crawl-delay задает паузу в секундах для поисковых роботов.

Кроме этого, рекомендуется установить плагин WP Super Cache, который генерирует статические html-файлы, периодически обновляемые, в результате чего тяжелые скрипты должны выполняться реже.