Апдейты Яндекса за последние 5 лет.
Собрал все апдейты выдачи и ТИЦ за последние пять лет: с весны 2006 года и по сей день. Основной целью эксперимента был поиск закономерности между апдейтами выдачи и апдейтами ТИЦ. Информация о том, что они существуют, неоднократно встречалась на различных околосеошных форумах и блогах. Так же достаточно простые размышления о ресурсоемкости самого пересчета ТИЦ косвенно подтверждают наличие таких закономерностей.
Сбор данных
Мне найти все данные в одном месте не удалось. Более-менее подробный список апдейтов с 2007 года присутствует на pr-cy.ru, но после его проверки, были обнаружены провалы в несколько недель и не корректные даты апдейтов выдачи. Намного более точный, но к сожалению не такой старый, с 2008 года, список был обнаружен на tools.promosite.ru. В итоге пришлось собирать недостающую информацию вручную с профильных разделов на forum.searchengines.ru. Информация об апдейтах на этом форуме присутствует с лета 2006 года. Данных старше найти не удалось вовсе. Буду благодарен, если кто-то подскажет, где их раздобыть, для полноты картины и потомков.
Анализ и визуализация
В текстовом формате проводить анализ такого объема дат не удобно, я бы даже сказал практически невозможно. Несколько дней занимался визуализацией данных, для их анализа. В итоге остановился на точечном графике. По оси ординат год, по абсцисс недели, точки расставлены с точностью до дня. Синяя точка на графике любое существенное обновление выдачи, красная апдейт ТИЦ. Графики статичные и после написания статьи сами обновляться не будут, к концу 2011 года обновлю обязательно.
График №1: Апдейты выдачи
График №2: Апдейты ТИЦ
График №3: Апдейты выдачи и ТИЦ
Выводы
Честно сказать, эксперимент обманул мои надежды. Найти очевидные зависимости и закономерности между апами ТИЦ и выдачи мне не удалось. Если брать во внимание только эти факторы, то можно сказать, что: "Все апдейты Яндекса происходят абсолютно хаотично, не имеют периодичности, не повторяются в каких либо временных рамках". Скорее всего внутри компании есть внутренний график, привязанный к недоступным нам, простым смертным, событиям.
UPD: 7 марта 2011 года
Если эта статья была вам интересна и полезна, рекомендую прочитать её продолжение: Алгоритмы Яндекса с 2007 по 2010 год.
Делюсь списками апдейтов.
Мне они достались монотонным, ручным трудом и никаких результатов не принесли. Если кому нужны. пользуйтесь, возможно ваши исследования будут результативнее моих. Если кто-то вдруг обнаружит ошибки или неточности сообщите мне пожалуйста.
| Вложение | Размер |
|---|---|
| serp-up.txt | 5.07 КБ |
| tic-up.txt | 736 байт |
Комментарии (42)
28февраля 2011 17:19)Делюсь писками апдейтов
:) мой извращенный мозг уже нашел ошибку в заголовке последнего абзаца, и уж точно вы имели ввиду не список :)
28февраля 2011 17:35)все таки я букву "с" пропустил а не мягкий знак как вы подумали. Спасибо большое за внимательность.
28февраля 2011 17:28)Очень интересные исследования! Продожайте. Читаю Ваши посты с удовольствием. Прекрасное отвлечение от монотонного оптимизаторского труда. Разрядка в некотором роде.
28февраля 2011 17:36)Спасибо, для меня написание статей для блога тоже своеобразный отдых.
28февраля 2011 18:10)Как всегда на высоте;)
А на чем, если не секрет, собираете все данные для анализа?
PHP/Perl/Python?
28февраля 2011 18:23)знаком в той или иной мере со всеми языками вами перечисленными, для личных нужд пользуюсь PHP
1марта 2011 18:35)ну график немного показывает что яндекс старается делать по 2 апа рядом, хотя тоже не везде. Я думаю, что апы не ограничены по времени, просто после определенных изменений поиска происходит ап, а они могут быть 1 раз в полгода или каждый месяц.
2марта 2011 20:14)как сервер справится с нагрузкой - так и апает
а щас не успевает все гс, дорвеи, мфа и прочую чушь проиндексировать, а уж тиц считать и подавно
2марта 2011 20:27)раньше справлялся, а сейчас вдруг перестал? не думаю что причина в этом.
2марта 2011 20:16)А для чего именно вы собирали статистику ? Проводили какие то эксперименты ?
2марта 2011 20:55)Эта статья побочный продукт более масштабных изысканий.
2марта 2011 21:4)Занимайся полезным делом, а не ерундой.
2марта 2011 21:14)Можно подумать вы с 9:00 до 24:00 вкалываете за полезными делами с перерывами на поесть и опорожнится? У меня хобби такое: графики строить и данные анализировать, мне нравится.
2марта 2011 21:47)Главное делать то что самому нравится.
2марта 2011 21:27)Спасибо! Не удержался... "Скорее всего внутри компании есть внутренний график, привязанный к недоступным нам, простым смертным, событиям", например возвращению шефа из командировки
3марта 2011 4:23)Надо попробовать как-то соединить эти точки, возможно нам откроются какие-то тайны ) похоже на перфокарту.
3марта 2011 5:30)График апов тиц свидетельствует о постоянной модернизации, у меня сложилось впечатление, что график приводит не только сам ап, но и его доработку (переап). так например серия апов лишь им начинается всё остальное переап в плоть до явной обособленности.
x3y8 - ап, x6y8 - переап
x10y8 - ап, x11y8-x20y8 - переап
3марта 2011 6:58)интересное предположение, спасибо за ваш комментарий.
3марта 2011 5:33)И график апов выдачи вызывает у меня те-же мысли
3марта 2011 6:40)Непонятный график, может быть я просто не математик? Почему бы не сделать ось с месяцами?
3марта 2011 6:57)по неделям проще(точнее) ориентироваться по крайней мере мне.
3марта 2011 9:2)Спасибо за проделанную работу, конечно. Информация действительно представлена не в самой удобной форме, но разобраться можно. Ещё было полезно визуализировать не только информацию о датах обновлений, но и информацию о промежутках между ними. Где-то я уже видел подобную статистику...
3марта 2011 9:34)Пожалуйста, Что именно не удобно? Для меня очевидно что 26 неделя это начало июля, точно так же как и то что июль летний месяц.
3марта 2011 22:37)Если бы я мог сразу сказать, что именно неудобно, я бы предложил изменения :) Просто я примерно минуту сначала смотрел на график и пытался понять, что к чему. Не могу сказать, что конкретно не нравится... может быть, не помешали бы вертикальные линии, обозначающие недели. И кстати, для меня вообще не очевидно, что 26 неделя - это июль :) Никогда не считал недели :)
4марта 2011 23:15)Антон выкладывает очень важные исследования.
По крайней мере для себя, для анализа, очень полезно;)
5марта 2011 12:36)pchart, конечно, хорошо, но исследование изначально ничего не должно было показать. Вы надеялись, что точки на графике сольются в слово "Яндекс" и тогда можно было бы предсказать что следующий апдейт будет, где не хватает точек? :)
5марта 2011 12:52)От pChart там осталось 1/3 наверное, проект умер, не развивается c 2008 года, допиливаю под себя.
Не надеюсь, что то предсказать, мне просто интересно, на одном из форумов юзер соединил точки у него получилось 08.03.2011 дать ссылку?
8марта 2011 11:42)5марта 2011 19:31)честно думал об этом графике около неделю искал зависимости, последовательности и т.д. и т.п., даже задумывался о возможностях если бы знали когда следующий ап будет, в конце понял что нихрена поддающиеся математическим последовательностям нету. Но натолкнуло на другую мысль, я предположил что яндекс проводит апы по принципу накопления, тоесть например яндекс проиндексировал определённое количество страниц и организовал ап, дабы опустошить это временное хранилище индексации и тиц также пересчитывается пока определённое кол-во данных о тице не соберётся и ап, и когда там надо чёто испытать просто лимит кол-ва индексированных страниц уменьшают и всё, так легче ориентироватся(это о странностях поведения апов иногда)
5марта 2011 20:30)Спасибо за толковый комментарий. Математической последовательности быть не может, но должны быть какие то закономерности, сейчас делаю вторую статью на эту же тему. Проверить вашу теорию никак нельзя к сожалению.
5марта 2011 20:51)Буду с удовольствием ждать, да к сожалению мою теорию проверить очень сложно...
6марта 2011 10:48)Отличный сбор данных! Можно ещё на эти графики наложить даты внедрения яндексом новых алгоритмов. Для истории самое то!
6марта 2011 19:28)Этим и занимаюсь уже третий день, завтра готово будет.
8марта 2011 9:42)8марта 2011 11:42)11марта 2011 1:54)11марта 2011 14:1)11марта 2011 8:48)11марта 2011 14:2)18марта 2011 21:0)21марта 2011 6:45)15мая 2011 13:12)Отправить комментарий