Ваш сайт может иметь идеальный дизайн и контент уровня Пулитцеровской премии, но если у него «сломан» технический фундамент — вы никогда не увидите ТОП-1. Поисковые системы — это в первую очередь роботы. Если им сложно сканировать ваш код, они просто игнорируют страницы.
Технический аудит — это не магия и не секретное знание избранных. Это системная проверка здоровья ресурса. В студиях за такой документ берут от 20 000 рублей, но 95% работы вы можете сделать самостоятельно, потратив пару вечеров.
В этом фундаментальном руководстве мы разберем каждый винтик вашего сайта. Мы не просто найдем ошибки, но и научимся их исправлять.
Подготовка и Инструментарий
Прежде чем лезть под капот, нужно собрать инструменты. Нельзя починить двигатель голыми руками.
Что такое технический аудит и как часто его делать
Технический аудит — это комплексная проверка взаимодействия вашего сайта с поисковыми роботами (краулерами).
Вы смотрите на свой сайт глазами Googlebot и YandexBot.
Зачем это нужно:
- Рост трафика. Устранение одной ошибки (например, закрытого в robots.txt раздела) может вернуть тысячи посетителей.
- Экономия бюджета. Нет смысла покупать ссылки, если вес ссылок утекает через редиректы или битые страницы.
- Безопасность. Аудит часто выявляет скрытые вирусы или «левые» страницы, созданные взломщиками.
Как часто проводить:
- Глобальный аудит: Раз в 6 месяцев.
- Экспресс-аудит: Раз в месяц (проверка битых ссылок и ответов сервера).
- Экстренный аудит: Сразу после смены дизайна, переезда на новый хостинг или резкого падения позиций.
Необходимый софт: Обзор платных и бесплатных решений
Вручную проверить сайт из 1000 страниц невозможно. Нам понадобятся программы-парсери (краулеры).
Сравнительная таблица инструментов для аудита:
| Инструмент | Тип | Цена | Для чего лучше всего подходит |
|---|---|---|---|
| Screaming Frog SEO Spider | Десктоп (PC/Mac) | Бесплатно (до 500 URL) / £199 год | Золотой стандарт отрасли. Показывает абсолютно всё. Идеален для глубокого анализа. |
| Netpeak Spider | Десктоп (PC) | от $26/мес | Мощный конкурент "Лягушки" с удобным дашбордом и встроенным расчетом внутреннего PageRank. |
| Xenu Link Sleuth | Десктоп (PC) | Бесплатно | Старая, но быстрая программа. Лучший выбор для простой [проверки битых ссылок]. |
| Google Search Console | Онлайн | Бесплатно | Первоисточник данных. Показывает, как Google уже видит ваш сайт. Обязателен к использованию. |
| Яндекс.Вебмастер | Онлайн | Бесплатно | Аналог от Яндекса. Критически важен для рунета. Раздел «Диагностика» находит фатальные ошибки. |
Рекомендация для новичка:
Начните со связки Screaming Frog (бесплатной версии хватит для блога) + Панели вебмастеров. Это закроет 90% задач.
Настройка сканирования (User Agent и лимиты)
Перед запуском программы важно правильно её настроить, чтобы сервер не забанил вас за DDoS-атаку (слишком частые запросы), а данные были корректными.
1. User Agent (От чьего имени заходим). По умолчанию программы представляются своим именем (например, Screaming Frog SEO Spider).
Некоторые сервера блокируют таких ботов.
Лайфхак: В настройках поменяйте User Agent на Googlebot Smartphone. Так вы увидите сайт именно так, как видит его Google при индексации (учитывая Mobile-First).
2. Скорость сканирования. Если у вас дешевый хостинг, не ставьте больше 2–3 потоков (Threads). Иначе сайт может «лечь» от нагрузки.
3. Учет Javascript. Современные сайты часто построены на JS (React, Vue). Обычный парсер видит пустой HTML код. В настройках Screaming Frog включите режим JavaScript Rendering. Это замедлит проверку, но покажет реальную картину.
Индексация и доступность для роботов
Ваша первая задача — убедиться, что поисковые роботы могут беспрепятственно зайти на сайт, прочитать контент и добавить его в свою базу (индекс).
Файл Robots.txt: Синтаксис и фатальные ошибки
Robots.txt — это текстовый файл в корне сайта, который работает как фейс-контроль.
Он говорит роботам: «Сюда можно, а сюда нельзя».
Что проверять:
- Доступность. Файл должен открываться по адресу ваш-сайт.com/robots.txt и отдавать код ответа 200.
- Отсутствие блокировки всего сайта. Самая страшная ошибка, которую часто забывают убрать после разработки:
Disallow: /
Если видите такой код — ваш сайт полностью закрыт от поиска. Срочно удаляйте Disallow: /.
- Корректность директив. Проверьте, не закрыты ли случайно важные папки (например, Disallow: /images/ закроет картинки, а Disallow: /css/ или /js/ может испортить вид сайта для Google, так как он не сможет отрендерить страницу).
- Ссылки на Sitemap. В конце файла должна быть указана ссылка на карту сайта: Sitemap: https://site.com/sitemap.xml.
Allow: /
Disallow: /search
Sitemap: https://site.com/sitemap.xml
Подробный разбор синтаксиса и готовые примеры для разных CMS мы собрали в отдельной статье про [файл Robots.txt] (ссылка на источник 70).
Карта сайта Sitemap.xml
Sitemap.xml — это навигатор для робота. Он помогает поисковику быстрее находить новые статьи, особенно если на них еще нет внешних ссылок.
Чек-лист проверки Sitemap:
- Формат XML. Никаких HTML-карт для роботов, только XML в кодировке UTF-8.
- Отсутствие мусора. В карте должны быть только страницы со статусом 200 (ОК).
Что НЕ должно быть в Sitemap:
- Страницы с редиректами (301, 302).
- Битые ссылки (404).
- Страницы, закрытые от индексации (Noindex).
- Канонические дубли.
Лимиты. Максимум 50 000 URL и вес до 50 Мб. Если сайт больше — разбивайте карту на несколько файлов.
Если ваш движок не создает карту автоматически, используйте онлайн-генераторы, но не забывайте обновлять файл вручную после выхода новых статей. О том, как настроить автообновление карты сайта [Sitemap.xml] (ссылка на источник 71), читайте в нашем руководстве.
Коды ответов сервера: 200, 301, 302, 404, 500
Каждая страница при обращении к ней отдает цифровой код. Визуально страница может выглядеть нормально, но отдавать ошибку.
На что смотреть в отчете Screaming Frog:
1. Код 200 (OK). Это норма. Все полезные страницы должны отдавать 200.
2. Код 301 (Moved Permanently). Вечный редирект. Используется при переклейке зеркал или смене URL.
- Ошибка: Цепочки редиректов (Redirect Chains). Страница А ссылается на Б, а Б на В. Это тратит краулинговый бюджет. Ссылка должна вести сразу на конечную цель (А -> В).
3. Код 302 (Found/Moved Temporarily). Временный редирект.
- Ошибка: Использование 302 вместо 301 при переезде. 302 не передает ссылочный вес (PageRank) новой странице.
4. Код 404 (Not Found). Страница не найдена.
- Ошибка: Внутренние ссылки на 404. Если вы удалили статью, уберите ссылки на неё из меню и других статей.
- Soft 404 (Ложная 404). Страница пишет «Ничего не найдено», но сервер отдает код 200. Это вводит робота в заблуждение. Настройте сервер так, чтобы несуществующие страницы отдавали строгий 404.
5. Код 500 (Server Error). Ошибка сервера. Сайт «лежит». Критическая проблема хостинга или скриптов.
Кстати, для пользователя встреча с ошибкой — это стресс. Обязательно настройте красивую [страницу 404] (ссылка на источник 75), чтобы удержать посетителя на сайте.
Зеркала сайта и протокол HTTPS
Для поисковика http://site.ru и https://www.site.ru — это разные сайты. Если доступны оба варианта — это полные дубликаты.
Что делать:
- Выбрать главное зеркало. В 2025 году это однозначно HTTPS без www (или с www, но строго одно).
- Настроить 301 редирект. Все остальные варианты должны перенаправлять на главный.
- Проверить сертификат. Браузер не должен писать «Не защищено». Подробнее о разнице протоколов и переезде мы писали в статье про [HTTP vs HTTPS] (ссылка на источник 15).
Структура URL и Дубликаты
Уникальность контента — это не только текст. Если на сайте одна и та же статья открывается по трем разным адресам, вы сами у себя воруете трафик.
ЧПУ: Правильная структура ссылок
Адрес страницы должен быть понятен человеку (ЧПУ — Человеко-Понятный УРЛ).
❌ Плохо: site.ru/?p=123&cat=5
✅ Хорошо: site.ru/seo/tehnicheskij-audit
Правила идеального URL:
- Транслит. Поисковики отлично понимают audit, remont, kupit. Кириллица в адресной строке превращается в нечитаемый набор символов (%D0%9F%D1%80%D0%B8).
- Дефис вместо нижнего подчеркивания. Google воспринимает дефис (-) как разделитель слов, а нижнее подчеркивание (_) склеивает слова.
- Вложенность. Избегайте матрешек вида site.ru/blog/2025/category/postname. Чем ближе страница к корню (site.ru/postname), тем больше веса она получает.
О том, как правильно настроить транслитерацию и ссылки, читайте в инструкции по [ЧПУ ссылки] (ссылка на источник 72).
Настройка Canonical: Борьба с внутренним плагиатом
Часто движки CMS генерируют дубли страниц:
- Версия для печати (/print/)
- Страницы с UTM-метками (?utm_source=vk)
- Товары в разных категориях
Для робота это одинаковые страницы. Чтобы он не склеил их неправильно, используйте тег <link rel="canonical" href="..." />.
Правило: На любой странице должен быть указан канонический адрес — ссылка на саму себя (если это оригинал) или на основную версию (если это дубль). Подробнее о настройке этого тега — в статье [Тег Canonical] (ссылка на источник 73).
Проблема пагинации и параметры URL
Страницы пагинации (/page/2/, /page/3/) — боль SEO-специалиста. Обычно у них одинаковый Title («Блог — Мой Сайт») и Description.
Как лечить:
- Уникализация мета-тегов. Добавьте в шаблон генерацию приписки: «Блог — Страница 2», «Блог — Страница 3».
- Закрытие текста. Анонсы статей на страницах пагинации не должны дублировать полные тексты. Используйте короткие выдержки (Excerpt).
- Canonical. Распространенная практика — ставить со всех страниц пагинации canonical на первую страницу категории. Это убирает их из индекса, но передает вес разделу.
Скорость загрузки и Core Web Vitals
В 2025 году пользователи не ждут. Если сайт грузится дольше 3 секунд — 53% людей закрывают вкладку. Google это знает и ввел метрики Core Web Vitals (CWV) как официальный фактор ранжирования.
LCP, FID, CLS: Новые метрики Google
Вам не нужно быть программистом, чтобы понимать эти три аббревиатуры. Это база здоровья вашего сайта:
1. LCP (Largest Contentful Paint) — Скорость. Время отрисовки самого большого элемента (обычно это заголовок или главная картинка).
- Норма: до 2.5 сек.
- Как лечить: Сжать картинки, использовать быстрый хостинг.
2. FID (First Input Delay) — Отклик. Как быстро сайт реагирует на нажатие кнопки.
- Норма: до 100 мс.
- Как лечить: Убрать тяжелые скрипты (JS), которые блокируют процессор.
3. CLS (Cumulative Layout Shift) — Стабильность. Прыгает ли контент при загрузке? (Например, вы хотите нажать кнопку, а сверху подгрузился баннер, и вы кликнули по рекламе).
- Норма: 0.1.
- Как лечить: Задавать жесткие размеры (width/height) для картинок и блоков рекламы.
Проверить эти показатели можно через сервис Google PageSpeed Insights. Подробный гайд по выходу в "зеленую зону" и оптимизации [скорости сайта] (ссылка на источник 90) читайте в нашей спец статье.
Оптимизация изображений и кода
Самая частая причина "тормозов" — графика. Мы уже подробно разбирали это. Если вы пропустили, обязательно вернитесь к гайду по [оптимизации изображений] (ссылка на источник 81).
Краткий чек-лист по коду:
- Minify (Минификация). Удалите из CSS и JS файлов все пробелы и переносы строк. Это уменьшает их вес на 20-30%.
- Lazy Load (Ленивая загрузка). Картинки внизу страницы не должны грузиться, пока пользователь до них не доскроллит. В WordPress это часто встроенная функция.
Кэширование и Gzip-сжатие
Когда пользователь заходит на сайт второй раз, ему не нужно скачивать логотип и стили заново — они должны браться из памяти браузера (кэша).
- Gzip/Brotli сжатие. Сервер должен архивировать файлы перед отправкой браузеру.
- Browser Caching. В файле .htaccess нужно прописать сроки хранения файлов (обычно ставят 1 год для картинок).
Если вы используете WordPress, это решается плагинами вроде WP Rocket. О том, [как ускорить WordPress] (ссылка на источник 52) с помощью настройки кэширования, у нас есть пошаговая инструкция.
Мобильная адаптивность (Mobile-First)
Google официально перешел на Mobile-First Indexing. Это значит, что основной версией вашего сайта считается мобильная. Если на десктопе у вас всё красиво, а на телефоне криво — сайт не будет расти.
Проверка Viewport и шрифтов
В коде каждой страницы (внутри <head>) должен быть мета-тег Viewport. Он говорит браузеру: «Подстрой ширину сайта под ширину экрана устройства».
<meta name="viewport" content="width=device-width, initial-scale=1">
Без этой строчки сайт на телефоне будет выглядеть как уменьшенная копия десктопа (мелкий текст, нужно зумить пальцами).
Проверка шрифтов:
- Базовый размер текста: не менее 16px.
- Межстрочный интервал: 1.5. Если Google Search Console присылает уведомление «Текст слишком мелкий для чтения», нужно править CSS.
Интерактивные элементы и верстка
Правило большого пальца: Все кнопки и ссылки должны быть достаточно крупными и находиться на расстоянии друг от друга. Если пользователь хочет нажать «Купить», а попадает на «Отмена» — это ошибка юзабилити.
Проверьте свой сайт через официальный тест от Google или почитайте наш разбор технологии [Mobile-First Indexing] (ссылка на источник 91), чтобы избежать санкций за плохую адаптивность.
Он-пейдж (On-Page) и Микроразметка
Последний рубеж — помочь роботам понять структуру и смысл контента.
Иерархия заголовков H1-H6
Структура HTML-документа должна напоминать книгу.
- H1: Название книги. Только один на странице!
- H2: Названия глав.
- H3: Подзаголовки внутри глав.
Нарушение иерархии (например, использование H3 сразу после H1 или наличие двух H1) путает роботов. Проверьте правильную структуру в инструкции про [Заголовки H1–H6] (ссылка на источник 80).
Мета-теги Title и Description
Это то, что пользователь видит в выдаче Яндекса и Google (сниппет).
- Title: Самый важный тег для SEO. Должен содержать основной ключ в начале. Длина: до 60-70 знаков.
- Description: Рекламное описание для повышения кликабельности (CTR). Длина: до 160-200 знаков.
Если теги дублируются на разных страницах или отсутствуют — это грубая ошибка. Узнайте, как писать [мета-теги Title и Description] (ссылка на источник 79), чтобы по ним кликали чаще, чем по конкурентам.
Schema.org и расширенные сниппеты
Чтобы получить красивые «звездочки» рейтинга, цену товара, рецепт или блок FAQ прямо в результатах поиска, нужно внедрить микроразметку Schema.org.
Это специальный код (обычно в формате JSON-LD), который не виден пользователю, но говорит роботу: «Это — цена», «Это — автор», «Это — рейтинг 5.0».
Что размечать в первую очередь:
- Article: Для статей блога.
- BreadcrumbList: Для «хлебных крошек».
- Organization: Для страницы контактов.
Настройка [микроразметки Schema.org] (ссылка на источник 87) может показаться сложной, но она дает мощный буст к видимости сайта.
Итоговый чек-лист и Заключение
Мы прошли путь от проверки файла Robots.txt до настройки микроразметки. Технический аудит — это фундамент. Нельзя построить небоскреб на болоте.
Ваш план действий на ближайшие 24 часа:
- Сканирование: Запустите Screaming Frog (или аналог) и найдите все битые ссылки (404) и редиректы.
- Индексация: Проверьте Robots.txt и Sitemap.xml.
- Дубли: Убедитесь, что настроены Canonical и главное зеркало.
- Скорость: Прогоните главную страницу через PageSpeed Insights.
Как только вы закроете технические ошибки, можно переходить к следующему этапу — наращиванию ссылочной массы. О стратегиях безопасного продвижения читайте в нашей большой статье про [линкбилдинг] (ссылка на источник 96).
Удачи в оптимизации! И помните: идеальный сайт — это тот, который любят и люди, и роботы.