Представьте, что вы строите небоскреб. Фасад сверкает стеклом, в холле мрамор, лифты играют джаз. Но в фундаменте — трещина, а в подвале крысы грызут проводку. Жильцы (посетители) могут этого не заметить сразу. Но инспектор (Googlebot) увидит это мгновенно и закроет здание.
В мире SEO ручная проверка сайта — это каменный век. Вы физически не сможете прокликать 5000 страниц интернет-магазина, чтобы найти одну битую ссылку или дубль заголовка.
Роботы поисковых систем видят ваш сайт не как картинку, а как набор кода и HTTP-заголовков. Чтобы победить робота, нужно думать как робот.
Именно для этого существует Screaming Frog SEO Spider. Это не просто парсер. Это золотой стандарт индустрии. Это «МРТ-сканер» для вашего веб-ресурса. «Лягушка» (как её ласково называют сеошники) проходит по каждой ссылке, заглядывает в каждый тег и вытаскивает наружу всю техническую грязь, которая тянет ваш сайт на дно выдачи.
Сегодня мы проведем полный технический аудит своими руками. Я покажу, как настроить программу, куда смотреть и как интерпретировать данные, чтобы спасти свой трафик.
- Перед сканированием настройте скорость, User-Agent и параметры Spider, чтобы не перегрузить сервер и увидеть сайт глазами Googlebot.
- Начинайте аудит с вкладки Response Codes: исправляйте внутренние 404 через Inlinks и реагируйте на 5xx как на критический сигнал нестабильности.
- Ищите и сокращайте цепочки редиректов: они съедают краулинговый бюджет, замедляют сайт и «съедают» ссылочный вес.
- Дальше — on-page гигиена: дубли Title и H1, тяжёлые изображения и ошибки в директивах (canonical/noindex) чаще всего и тянут сайт вниз.
- Первый запуск: Настройка паука, чтобы не «положить» сервер
- Коды ответа: Красная зона (4xx и 5xx)
- Редиректы: Убийцы краулингового бюджета (3xx)
- Page Titles: Битва клонов
- Images: Лишний вес, который тянет на дно
- H1: Король должен быть один
- Directives: Правила дорожного движения для роботов
- Частые ошибки: Как не выстрелить себе в ногу
- Заключение: Гигиена важнее магии
Первый запуск: Настройка паука, чтобы не «положить» сервер
Новички совершают одну и ту же ошибку. Они вбивают домен, жмут Start и уходят пить кофе. Если ваш сайт стоит на дешевом хостинге за 100 рублей, а страниц на нем тысячи — «Лягушка» положит его за две минуты.
Программа работает очень быстро. Она отправляет сотни запросов в секунду, имитируя небольшую DDoS-атаку.
Базовая настройка перед стартом:
- Configuration -> Speed: По умолчанию стоит 5 потоков (Threads). Это безопасно. Но если сайт слабый, снизьте до 2-3. Если у вас мощный VPS — ставьте 10-20, сканирование пройдет быстрее.
- Configuration -> User-Agent: По умолчанию программа представляется как Screaming Frog SEO Spider. Хитрые хостинги часто блокируют этот агент, чтобы снизить нагрузку. Смените его на Googlebot (Smartphone). Так вы убьете двух зайцев: сервер вас пропустит, и вы увидите сайт именно так, как его видит поисковик (включая мобильную верстку).
- Configuration -> Spider: Убедитесь, что стоят галочки Crawl All Subdomains (если нужно) и Follow Internal "nofollow". Мы ищем технические ошибки, поэтому нам нужно видеть даже закрытые от индексации ссылки.
Теперь жмите Start. Полоска загрузки поползла. Магия началась.
Коды ответа: Красная зона (4xx и 5xx)
Первая вкладка, куда нужно смотреть после сканирования — Response Codes (Коды ответа). Отфильтруйте список по столбцу Status Code.
Нас интересует не то, что работает (код 200), а то, что сломано.
Client Error (4xx). Чаще всего это 404 Not Found. Важно понимать: «Лягушка» показывает не просто список удаленных страниц. Она показывает внутренние битые ссылки. Кликните на любой URL с кодом 404. Внизу откройте вкладку Inlinks (Входящие ссылки). Вы увидите список живых страниц, на которых стоит ссылка на эту «мертвую» страницу.
Это дыры в вашем сайте, через которые утекает ссылочный вес (Link Juice). Пользователь кликает и попадает в тупик. Поведенческие факторы падают.
- Решение: Заменить ссылку на актуальную или удалить её.
Server Error (5xx). Если вы видите коды 500, 502, 503 — это сигнал тревоги. Ваш сервер не справляется или скрипты работают с ошибками. Часто такие страницы выпадают из индекса Google первыми, так как робот считает сайт нестабильным.
Редиректы: Убийцы краулингового бюджета (3xx)
После того как вы разобрались с явными ошибками, переходим к «тихим» проблемам. Код 301 (Moved Permanently) и 302 (Found) — это нормальные инструменты вебмастера. Вы переклеиваете старые URL на новые. Но когда редиректов становится слишком много, начинается хаос.
Главное зло — Цепочки редиректов (Redirect Chains). Это когда страница А ссылается на Б, Б ссылается на В, а В ссылается на Г. Робот Google вынужден проходить этот квест, тратя краулинговый бюджет. Кроме того, на каждом этапе такой цепочки теряется около 10-15% ссылочного веса. Если цепочка длинная, до финальной страницы доходят лишь крохи авторитета. Плюс, это замедляет загрузку для пользователя.
Как найти в Screaming Frog:
- Меню Reports (вверху) -> Redirects -> Redirect Chains.
- Программа сформирует отчет, где покажет все «паровозики».
- Ваша задача: найти место, где стоит ссылка на Страницу А, и заменить её сразу на прямую ссылку на Страницу Г.
Page Titles: Битва клонов
Заголовок страницы (Title) — это самый сильный on-page фактор ранжирования. Если у вас на сайте есть дубли Title, вы сами стреляете себе в ногу.
Вы говорите поисковику: «Смотри, у меня есть две абсолютно одинаковые страницы, выбери любую». В итоге начинается каннибализация выдачи: страницы мешают друг другу, и ни одна не выходит в топ.
Перейдите во вкладку Page Titles. Здесь есть готовые фильтры (слева или в выпадающем списке):
- Duplicate: Самый важный фильтр. Если видите дубли — уникализируйте их. Часто это случается на страницах пагинации («Каталог - Страница 2», «Каталог - Страница 3»).
- Over 60 Characters: Слишком длинные заголовки обрежутся в выдаче троеточием.
- Below 30 Characters: Слишком короткие. Вы не используете потенциал ключевых слов.
Images: Лишний вес, который тянет на дно
В 2025 году скорость загрузки (Core Web Vitals) — это не просто удобство, это фактор ранжирования. Если ваш сайт грузится дольше 2.5 секунд, вы теряете мобильный трафик. Главный враг скорости — тяжелые изображения.
Вебмастера часто заливают фото прямо с фотоаппарата (5 МБ), а потом удивляются, почему PageSpeed показывает красную зону.
Перейдите во вкладку Images.
- Over 100 KB: Отфильтруйте картинки тяжелее 100 КБ. Это ваши главные враги. Решение: Прогнать через TinyPNG, конвертировать в WebP. Современная картинка для веба не должна весить больше 50–70 КБ (кроме огромных баннеров).
- Missing Alt Text: Атрибут
altнужен не только слепым людям. Он нужен Google Картинкам. Если у вас интернет-магазин, и вы не заполнили Alt — вы потеряли 20% целевого трафика из поиска по картинкам. Screaming Frog покажет все пустые теги за секунду.
H1: Король должен быть один
Тег H1 — это главный заголовок контента. Это то, о чем ваша страница.
Во вкладке H1 ищем три классические ошибки верстальщиков:
- Missing: Страница без заголовка. Для поисковика это «безымянный документ». Ранжировать такое сложно.
- Duplicate: Одинаковые H1 на разных страницах. Пример: На всех страницах товара написано просто «Купить». Робот не понимает, чем страница «Утюг» отличается от страницы «Чайник». В H1 всегда должно быть название товара или услуги.
- Multiple: Несколько тегов H1 на одной странице. В HTML5 это технически допустимо, но в SEO это дурной тон. Это размывает релевантность. У страницы должен быть один главный босс (H1), а остальные — подчиненные (H2-H6).
Directives: Правила дорожного движения для роботов
Самая сложная, но критически важная вкладка — Directives. Здесь находятся инструкции, которые вы даете роботам: «Иди сюда», «Не иди сюда», «Это оригинал», «Это копия».
На что смотреть:
- Canonical: Если у вас есть сортировки, фильтры или UTM-метки, они создают дубли страниц. Тег
rel="canonical"спасает ситуацию, указывая на «оригинал». В Screaming Frog проверьте фильтр Missing Canonical. Если его нет на дублирующихся страницах — ждите санкций за неуникальный контент. - Noindex: Проверьте, не закрыли ли вы случайно важные страницы от индексации. Бывает, разработчик ставит
noindexна время тех работ и забывает снять. «Лягушка» подсветит это красным.
Частые ошибки: Как не выстрелить себе в ногу
Screaming Frog — инструмент мощный, как отбойный молоток. Если не уметь им пользоваться, можно не починить сайт, а сломать его (или свое видение картины).
Вот три капкана, в которые попадают 90% новичков при первом аудите.
1. Самоубийство об файрвол (Ошибка 403/429)
Вы запустили сканирование на 10 потоков. Прошло 30 секунд. И вдруг весь сайт начинает отдавать ошибки 403 Forbidden или 429 Too Many Requests. Поздравляю, защита вашего хостинга приняла вас за хакера и забанила ваш IP.
Что делать:
- Не жадничайте. Снизьте скорость (Configuration -> Speed -> Max URI/s) до 2-3 запросов в секунду.
- Используйте прокси, если сканируете чужой капризный сайт.
2. Слепота к JavaScript
По умолчанию «Лягушка» работает в режиме Text Only. Она скачивает HTML-код и анализирует его. Но если ваш сайт сделан на React, Vue или Angular (или просто использует много JS для вывода контента), паук увидит пустую страницу.
- Симптомы: В отчете мало слов на странице (Word Count), пустые заголовки, хотя в браузере всё красиво.
- Решение: Переключите режим рендеринга. Configuration -> Rendering -> JavaScript. Это замедлит сканирование, но вы увидите сайт глазами современного браузера.
3. Сканирование «Зеркала»
Вы вбили http://mysite.com. Нажали старт. Получили отчет, где все страницы отдают код 301 Moved Permanently. Почему? Потому что ваш сайт давно работает на https (защищенный протокол). Вы просканировали редиректы, а не сам сайт.
- Правило: Всегда проверяйте, какой протокол является главным, перед запуском. Скопируйте URL прямо из адресной строки браузера.
Заключение: Гигиена важнее магии
Технический аудит — это не разовая акция. Это чистка зубов. Сайт — живой организм. Ссылки бьются, картинки удаляются, контент-менеджеры забывают прописывать Alt. Если вы не проверяли сайт полгода — там гарантированно есть ошибки.
Screaming Frog SEO Spider снимает повязку с глаз. Он показывает суровую правду. Не пытайтесь исправить всё и сразу.
Следуйте приоритетам:
- Критично: Ошибки 4xx и 5xx, циклические редиректы, закрытые от индексации важные страницы.
- Важно: Дубли Title и H1, пустые Description.
- Желательно: Тяжёлые картинки, короткие заголовки, отсутствующие Alt.
Чистый код — это фундамент. Только на нем можно построить SEO-стратегию, которая принесет деньги.
💬 Ваш опыт важен!
Вы уже запускали Screaming Frog на своём сайте — и что программа показала первым делом?
Напишите, была ли статья полезна — ваша обратная связь помогает мне делать контент лучше!