SEO. Заметки дилетанта-безумца. Часть 1.

Создано: 2019-10-23 23:20

Пролог.

Конец 2017 - начало 2018 годов .... великий крипто-хайп в разгаре. На сайте одного из агрегаторов крипто-новостей я достаточно регулярно комментирую публикуемые заметки и статьи. Поначалу основная масса комментов - короткие либо небольшие высказывания, но некоторые из них бывали и развёрнутыми. Со временем доля развёрнутых комментов стала увеличиваться, некоторые из них уже вполне можно было назвать мини-статьями. Возможно, так бы оно всё и продолжалось; но в середине 2018 года агрегатор отключается от платформы disqus, через которую и осуществлялось комментирование, заводит собственный форум, и обсуждение материалов предлагает вести на нём. Всё бы ничего, только материалы для обсуждения попадают на форум как-то слишком выборочно - далеко не все (как ранее), к тому же по странному стечению обстоятельств самые интересные и спорные из них в 90% случаев на обсуждение не выносились. Тогда и появляется мысль - нужно сделать свой сайт, который должен решить 2 задачи: 1 - сохранить лучшие комменты с disqus-а; 2 - иметь возможность комментировать любые новости крипто-мира без зависимости от кого-либо.

С вопросом, на чём размещать свой сайт, проблем не было - года 3-4 назад меня уже посещали мысли сделать свой сайт-визитку. Готовые решения навроде попсового Word Press или, прости-господи, 1С-Битрикс мне по разным причинам не нравились. Поэтому уже тогда был практически сделан самописный движок, но до воплощения в реальности в то время дело не дошло. И вот звёзды сошлись - указанный движок оказался востребован. Конечно, небольшая доработка движка и перенос контента с disqus заняли некоторое время; но в начале 2019 года этот процесс был завершён, и в интернете появился новый блог по тематике блокчейна и криптовалют. Эта тематика хоть и стала ажиотажной в последние пару лет, но вместе с тем она осталась достаточно узкоспециализированной. Поэтому не было иллюзий, что с посещаемостью у молодого блога будут большие проблемы, особенно на начальном этапе его существования.


Первые шаги.

Можно сказать, что сразу после запуска сайта особого стремления заниматься его продвижением не было. Скорее наоборот, мне в то время импонировала ложная мысль, что хороший контент не нуждается в продвижении. Тем не менее, в желании ускорить индексацию сайта гуглом, я зарегистрировался в Google SearchConsole; и достаточно быстро пришёл к выводу, что сайт абсолютно не готов к индексации. О чём говорить, если на тот момент title всех страниц сайта был одинаковым. Так началось моё знакомство с азами SEO. Первоначальные планы совсем ничего не делать по продвижению сайта скорректировались - было решено навести элементарный порядок в контексте SEO и, возможно, далее предпринимать в этом направлении минимальные усилия, если таковые потребуются. Начиналось всё с самых элементарных вещей; был создан файл robots.txt, поскольку именно из него поисковики узнают о расположении sitemap.xml. Сам sitemap.xml был сгенерирован несложным скриптом. На очереди было изучение различных тегов и мета-тегов.

Отдельно нужно сказать о принятых принципиальных решениях, которые сеошникам со стажем наверняка покажутся дикими. Я решил принципиально не устанавливать на свой сайт js-код типа яндекс-метрики и google analytics - мне эти шпионы не нужны; да и зачем поисковикам знать полный трафик (помимо поискового) моего сайта? Говорите, статистика будет детальнее и оперативнее, чем в предоставляемой поисковиком консоли вебмастера? Ну по большому счёту она мне особо и не нужна. Глобальная картина мне прекрасно видна из лога веб-сервера - кроме меня, поисковых ботов и сканеров уязвимостей популярных CMS (главным образом Word Press-а) никто трафик на сайт не создавал, и врядли стоило рассчитывать, что эта картина в первые месяцы существования сайта сильно изменится.

Далее, движок без проблем был расширен seo-функционалом - у каждой страницы сайта появились уникальные title и description. Легко можно было бы добавить на все страницы и мета-тег keywords, но seo-гуру практически в один голос утверждают, что этот мета-тег более не актуален и при определённых условиях может даже навредить. Не доверять мнению экпертов у меня оснований не было, поэтому с keywords я не стал связываться. Достаточно много я поиграл значениями title и description разных страниц сайта в стремлении подобрать лучший вариант; возможно даже местами переусердствовал в этом. А также не мог не заметить достаточно неприятную вещь - если гугл решил формировать сниппет страницы не из description, то переубедить его в 90% (если не больше) случаев не удастся. Как бы то ни было, необходимый SEO-минимум был реализован достаточно быстро, но азарт продвижения сайта начал набирать обороты, поэтому погружение в SEO-тематику продолжилось ...


Breadcrumbs и битва за mobile-first.

Дальнейшие действия по продвижению сайта соответствовали заголовку этого параграфа. Пытаясь влиять на формирование сниппета через description, нетрудно было прийти к следующему выводу - а неплохо бы сформировать так называемый rich-сниппет. Из возможных элементов rich-сниппета наиболее реальным мне показалось создание навигационной цепочки, известной как "хлебные крошки" или breadcrumbs. К тому же многие SEO-статьи утверждали, что breadcrumbs нравятся поисковикам, что положительно влияет на ранжирование сайта. Так я пришёл к знакомству с микро-разметкой. Из всех её вариантов мне однозначно больше всего понравился json-ld - просто поместить json-хеш в head страницы выглядит гораздо более привлекательным в сравнении с необходимостью курочить микро-разметкой её body. Поэтому достаточно быстро у моих страниц появились breadcrumbs. Но собственно дальнейшее наполнение rich-сниппета упёрлось в тупик - некоторые его элементы оказались устаревшими (например, автор), другие - картинки и видео - слишком трудоёмкими. А внутренние ссылки (прямо в сниппете) поисковик вообще выдаёт как приз по своему усмотрению, и повлиять на это микро-разметкой или как-либо ещё невозможно в принципе.

Практически параллельно с освоением микро-разметки началась битва за mobile-first - всё больше читая материалов сеошной тематики, нетрудно было узнать, что гугл с 2019 года разделил десктопную и мобильную выдачу, к тому же мобильной выдаче был отдан приоритет. Поскольку пункт меню "Удобство для мобильных" в Google SearchConsole моего сайта на тот момент был сильно красным, я решил исправить это положение. Пришлось приложить заметные усилия по коррекции css и подогнать размеры некоторых картинок, чтобы пофиксить ошибки типа "интерактивные элементы расположены слишком близко" или "размеры элемента превышают ширину экрана". Положительная динамика уменьшения красной диаграммы (и соответственно увеличения зелёной) радовала глаз; но в то же время начала проявляться специфика google-поисковика. Складывалось впечатление, что сканирования гугла идут волнами с некоторым промежутком времени между ними. При этом последующая волна легко может переписать результаты проверок предыдущей волны, вытащив старые результаты сканирования из какого-то дремучего кеша. К таким выводам меня привела именно битва за mobile-first - нередко наблюдалось явление, когда страница, на которой были исправлены все ошибки и сама страница получала статус "Оптимизирована для мобильных устройств", через некоторое время снова перемещалась в красную диаграмму. При этом время сканирования, при котором были выявлены ошибки,указывалось ДО времени проверки, зафиксировавшей, что все ошибки исправлены. Запуск проверки снова переводил страницу в зелёную область, из чего легко сделать вывод, что результаты предыдущей проверки банально не сохранились. Некоторые страницы по нескольку раз таким образом перемещались поисковиком из красной диаграммы в зелёную и обратно, прежде чем окончательно получить статус оптимизированной для мобильных устройств. Такая "особенность" поисковика кроме раздражения вызывала ещё и падение его авторитета в моих глазах. А так так она вскоре проявилась и в работе инструмента "Удаление устаревшего контента", уже определённо можно было утверждать, что это не бага, это - фича гугла.


Прощание с яндексом.

Начав возиться с продвижением своего сайта, я планировал ограничиться только гуглом. Яндекс как поисковик мне не нравится - результаты его выдачи трудно назвать иначе как сумбурным трешем. Лет 10, если не больше, я не пользуюсь яндексом как поисковиком. Но мысль опытных сеошников, что потенциальный трафик от яндекса лишним не будет, привела к тому, что спустя некоторое время я зарегистрировал свой сайт и в яндексной консоли вебмастера. Заходил я в неё нечасто; в сравнении с Google SearchConsole в яндекс-консоли мне понравился только отчёт по внешним ссылкам, который формировался заметно быстрее, чем у гугла. Прочий инструментарий меня не впечатлил, трафик с яндекса (кроме ботов) практически отсутствовал; возможно этот фоновый режим сохранялся бы и далее. Но однажды ни с того, ни с сего с яндекса прилетело письмо - ваш сайт представляет угрозу для пользователей, потому исключается из поисковой выдачи; подробности смотрите в консоли вебмастера. Это сообщение вызвало удивление - индексация сайта яндексом велась уже где-то месяц или даже два месяца; периодически он перемещал некоторые страницы в "некачественные" и возвращал их обратно; на самом сайте за это время никаких радикальных изменений не производилось. И тут вдруг - "ваш сайт представляет угрозу для пользователей". Какую угрозу? Захожу в консоль вебмастера - в разделе "Диагностика" мой сайт обозван дорвеем. Читаю определение дорвея - сайт, автоматически перенаправляющий пользователей на другой целевой ресурс. Лол-что? Первая реакция - захотелось разобраться, где чудо-яндекс сумел увидеть на моём сайте автоматическое перенаправление на другой целевой ресурс. Но сделать это оказалось невозможно - в наше время уже не существует способа связаться с суппортом яндеска. Всемирная паутина говорила, что ещё года 2-3 назад для связи с Платоном Щукиным существовала волшебная последовательность ссылок, пройдя по которой таки можно было найти форму для отправки сообщения в поддержку яндекса. Но в наши дни эта форма уже запрятана так, что указанная волшебная последовательность ссылок до неё не добирается. К тому же всемирная паутина довала добрый совет - если вы не хотите получить формальный ответ от робота, отправьте в суппорт яндекса какую-нибудь сильно энтропийную ахинею; в этом случае робот сойдёт с ума, и есть вероятность, что вашей проблемой в суппорте яндекса заинтересуется человек. Желание коммуницировать с Платошей после таких советов отпало.

В принципе мысль плюнуть на яндекс уже сформировалась. Но я решил попробовать себя в роли экстрасенса - если Платоша Щукин нашкодил и трусливо спрятался, попытаемся самостоятельно разобраться, с чего бы вдруг яндекс-диагностика стала обзывать мой сайт дорвеем. Чисто по косвенной информации из той же всемирной паутины удалось узнать, что удивительная яндекс-система может повесить на сайт ярлык дорвея даже в случае, если на нём есть внутренние редиректы. И доказывать что-либо в суппорте нет смысла - Платон делает морду кирпичом, произнося как заклинание "это нарушает правила нашей системы". Такой редирект у меня был - url-ы ненайденных страниц автоматом переводлись на главную страницу сайта. Убирать его только ради яндекс-алгоритмов, не умеющих отличать автоматическое перенаправление на другой ресурс от внутренних редиректов, у меня не было никакого желания. Дорогие дебилы из яндекс! Раз здравый смысл нарушает правила вашей ублюдочной системы, то счастливо вам оставаться с вашими удивительными правилами.

Кстати указанный выше редирект я через некоторое время скорректировал. Стимулом для корректировки стала не яндексная дорвейщина, а упомянутый выше инструмент гугла "Удаление устаревшего контента". Как я говорил в предыдущем параграфе, у меня создалось устойчивое ощущение, что проверки гугла идут волнами, причём результаты проверок между волнами легко могут не сохранится. Это ощущение сильно окрепло, когда я удалил устаревшие урлы, но через некоторое время снова увидел часть из них в "Покрытии" GoogleSearchConsole как непроидексированный контент. Удалил снова - не все, но некоторая их часть опять вернулись в статистику "Покрытия" через некоторый период. Начав внимательнее смотреть, в чём может быть причина возвратов, заметил - устаревшие урлы хоть и запрещены в robots.txt, но движок-то их редиректит на главную страницу сайта со статусом 302. После чего описанный выше редирект был трансформирован в ответ Not-Found - код ответа был изменён на 404, а также был слегка подправлен title главной страницы. Но несмотря на это гугл умудрился ещё раз вытащить из кеша часть удалённых урлов в статистику "Покрытия" (если быть совсем точным - остался один такой урл). Что только укрепило подозрения о "волновой" специфике гугла. С яндексом же, насколько мне видно, ничего не изменилось. Несмотря на ярлык дорвея и удаление из поисковой выдачи, яндекс-боты продолжают регулярно сканировать мой сайт; из статистики MegaIndex-а я увидел, что страницы не просто сканируются, но и индексируются яндексом. Где логика - непонятно. Вобщем я не сомневался, что яндекс является дерьмовым поисковиком, и он полностью подтвердил моё мнение о нём.