Алгоритмы ранжирования Яндекса и Google

В середине 90-х, когда были созданы крупнейшие поисковые системы современности, интернет походил на просторы Невады. Одинокие сайты размещались особняком друг от друга, о конкуренции не было никакой речи. Соответственно основная задача алгоритмов ранжирования сводилась к поиску соответствия по ключевому запросу пользователя. В 2019 к сайтам совсем другие требования, выйти в топ может исключительно полезный ресурс, предоставляющий пользователям максимум. Чтобы отвечать этим критериям, поисковики разработали более 1000 факторов ранжирования и создали сложные, самообучающиеся алгоритмы.

Как менялся Яндекс

Хотя поисковик работает с 1997, первый полноценный алгоритм ранжирования запустили только в 2007, назывался «Версия 7». Просуществовал он всего год и был заменен на «Версию 8», получившую серьезную доработку и очищенную от багов. Событие стало началом новой эпохи оптимизации, стандартные «прогоны» ушли в прошлое. Далее Яндекс активно внедрял изменения:

• Весна 2008-го – «Магадан», добавлена уникальность контента, сайты копирующие материал понижены.
• Осень 2008-го – «Находка», переосмыслены стоп-слова, впервые запущено машинное обучение.
• С апреля по сентябрь 2009 – «Арзамас», добавлено ранжирование по геозапросам.
• Осень 2009-го – «Снежинск», полное переосмысление машинного обучения и внедрение MatrixNet.
• Весна 2010-го – «Конаково», обновление коснулось выдачи по региональным запросам.
• Осень 2010-го – «Обнинск» перезапуск «Конаково» с учетом всех ошибок, существенное обновление математических формул.
• Зима 2010-го – «Краснодар» добавлено более 1000 формул для обработки региональных запросов.
• Лето 2011-го – «Рейкьявик», выдача результатов зависит от родного языка пользователя.
• Зима 2012-го – «Калининград» персональная выдача с учетом интересов пользователя.
• Весна 2013-го – «Дублин», глубокий анализ интересов пользователя и выдача результатов с учетом персональных предпочтений.
• Весна 2014-го – «Началово», отмена ссылочного фактора при анализе сайта, изменение в порядке поисковой выдачи.
• Лето 2014-го – «Острова», редизайн поисковой выдачи, проект закрыли, так как идея оказалась не интересной пользователям.
• Весна 2015-го – «Амстердам», добавилась карточка с определением запроса, например при запросе «молоток», пользователь видел описание и назначение инструмента.
• Весна 2015-го – «Минусинск», понижение сайтов злоупотребляющих SEO-линками.
• Осень 2015-го – «Киров», добавлена рандомизация численного значения релевантности.
• Зима 2016-го – «Владивосток», поисковик начал оценивать приспособленность сайта к просмотру на мобильных девайсах.
• Осень 2016-го – «Палех» внедрение нейронной сети по анализу редких запросов путем построения 3-D вектора сравнения тайтлов.
• Весна 2017-го – «Баден-Баден», конец эпохи спама, тексты, перегруженные ключами, выкинули из поиска.
• Лето 2017-го – «Королёв», анализ запроса средствами искусственного интеллекта и выдача результатов с учетом логических потребностей пользователя.
• Осень 2018-го – «Андромеда», переработка и сборка воедино всех разработанных ранее алгоритмов, существенные изменение искусственного интеллекта.

Как менялся Google

Как первый и крупнейший в мире поисковик, Google обязан задавать тренды. Благодаря сервису в 2000 году родилось понятие SEO оптимизации, когда вышла Google tool bar и появилось понятие Page Rank. Всего было выпущено более 100 алгоритмов ранжирования, рассмотрим наиболее революционные:

• Апрель 2003 – внедрена «Кассандра», отвечающая за борьбу со скрытыми ссылками.
• Июль 2003 – «Фриц», переход к ежедневному обновлению выдачи.
• Середина 2007 – «Остин», внедрена оценка ресурса по рейтингу доверия, чем больше авторитетных источников ссылаются на ресурс, тем выше выдача.
• Август 2008 – «Новое меню», были добавлены автоподсказки при заполнении формы поиска.
• Конец 2009 – «Кофеин» глобальное изменение всего алгоритма поиска, переход к выдаче результатов в реальном времени.
• Начало 2011 – «Панда», внедрена проверка качества контента, около 15% всех сайтов попало под фильтр.
• 2012 – «Венеция», впервые начала учитываться геозависимость пользователя.
• Апрель 2012 – «Пингвин», тотальный деконструктор спам технологии продвижения, затронул 4% всех сайтов.
• Август 2013 – «Колибри», переход к поиску искусственным интеллектом, анализирующим не только ключ, но и его смысловые значения.
• Март 2017 – «Фред», истребление сайтов с назойливой рекламой, внедрена возможность жаловаться на баннеры и прочие отвлекающие материалы.

2018 год был посвящен переосмыслению AdWords. Большой акцент сделали на мобильную выдачу, голосовой поиск и введение особых алгоритмов ранжирования для специфических сайтов (медицинской тематики, пр.)

Фильтры и за что их накладывают поисковики

Хотя каждый поисковик позиционирует себя большим инноватором, все разработчики руководствуются общим логическим принципом – результат выдачи должен быть полезен пользователю, сайты из топ 10 обязаны отвечать на все вопросы. Google не любит афишировать свои алгоритмы и критерии наложения штрафов, поэтому рассмотрим основные фильтры Яндекса.

Всего их 24, для понимания принципов работы и критериев оценки, фильтры разделены на 10 групп и налагаются в случаях:

• Нарушения закона - например призыв к терроризму или свержению законной власти.
• Низкопробный контент для рекламы сторонних ресурсов - «АГС» учитывает уникальность, полезность и наличие SEO-линков.
• Ориентация сайта - ресурсы, созданные для продвижения партнерских программ или не несущие пользы по своему содержанию в зоне риска.
• Жульничество - под этим понимается использование различных способов накрутки трафика.
• Ассоциация - предполагает уникальность не только контента, но и сниппетов.
• Чрезмерная реклама - фильтр применяется если больше 20% видимой области сайта занято рекламными объявлениями.
• Сайты для взрослых - поисковик исключает подобный контент из общей выдачи и показывает только если запрос в точности подразумевает adult-тематику.
• Накрутка поведенческих факторов - алгоритмы анализируют источники трафика и налагают штрафы на сайты, использующие подобные уловки.
• Накрутка ссылок - применяется, если алгоритмы заменять бурный рост ссылочной массы. Актуально для молодых сайтов до 2 лет.
• Переоптимизированный контент - с 2017 года произошло полное переосмысление текстовой составляющей, статьи пишутся для людей, понятным и простым языком.

По последнему пункту использование ключей никто не отменял, но это должно быть грамотно сделано, так, чтобы робот мог логически понять, что материал отвечает интересам пользователя.