Бот 200 OK

Мы проверяем, откроется ли сайт обычному пользователю: короткий GET как у Chrome (Windows, ru-RU), читаем заголовки и начало тела (до 16 КБ), таймаут около 12 секунд. Соединяемся на публичный IP с SNI/Host проверяемого имени. Редиректы следуем только на публичные адреса; cookie — только те, что сайт сам выставил за эту проверку. Не логинимся, не решаем капчу и не выполняем JavaScript. Для TLS доверяем обычным корневым ЦС и корневому сертификату Минцифры (Russian Trusted Root CA) — как Яндекс Браузер. Если сайт крутит 307/302 (часто так устроена защита от ботов), считаем хост доступным.

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Safari/537.36

На странице проверки дополнительно идёт запрос из вашего браузера — так видно фильтр датацентрового IP, который с сервера выглядит как «сайт лежит». Если бот создаёт лишнюю нагрузку, напишите на contacts — добавим интервал или исключение. Популярные домены с сервера опрашиваются не чаще раза в 30 минут.