ТИЦ, байт и 12 лет истории. Казалось бы что общего?

Во время проектирования базы данных для большого эксперимента с ТИЦ, была замечена интересная особенность, позволяющая сэкономить несколько байт при хранении значений индекса цитирования. На момент создания базы я не придал этому особого значения, был увлечен разработкой, сейчас, в ожидании следующего апдейта, хотелось бы подробнее рассмотреть способ хранения.

Общеизвестно, что кратность значений ТИЦ не равномерно и увеличивается вмести с самим индексом цитирования. Ступени я собрал в табличку для наглядности и тех кто не знает.

Никогда не задумывался зачем такая система нужна, принимал её как что-то естественное, до того момента пока не возникла необходимость хранить большой объем данных с весьма не равномерным распределением. Всего лишь шесть тысяч сайтов имеет группы больше 4. 253 из них входят в 5 группу и всего лишь 7 в 6. Два байта могут хранить максимально значение 65 535 в десятичной системе. Отсюда следует, что для незначительного количества сайтов потребуется еще один байт, его добавление сдвигает максимальное значение до ~16,8 миллионов. Но нам столько не нужно! Максимальный ТИЦ на данный момент у самого Яндекса и составляет 220 000 единиц.

Какая разница сколько байт?

Значения ТИЦ для всех 120 миллионов доменов займут в базе данных для трех байт ~350Мб для одного 125Мб соответственно. Экономия весьма существенна с учетом того, что данные будут храниться для всех апдейтов и количество доменов постоянно растет.

Все уже придумано за нас.

Самый очевидный вариант: убрать последний ноль не подходил из-за второй группы с кратностью 25. Несколько часов размышлял как сократить занимаемый объем. В итоге выяснилось что зря, все уже придумано за нас. Понятно что я не первый кто столкнулся с этой проблемой, нужно всего лишь быть чуть внимательнее. Все помещается в один байт!

Вот так все просто. Байтовый ТИЦ укладывается в простую формулу для значений меньше 250:

байтовый тиц = истинный тиц/10

И чуть сложнее для остальных значений:

байтовый тиц = P-10 + истинный тиц/S

• P - максимальное значение предыдущей группы
• S - байтовый шаг текущей группы

Функция на php для кодирования выглядит следующим образом:

function ticEnc($tic) {
	switch ($tic) {
		case 0:	break;
		case ($tic <    250): $tic = $tic/10; break;
		case ($tic <    500): $tic = 15 + $tic/25; break;
		case ($tic <   1000): $tic = 25 + $tic/50; break;
		case ($tic <  10000): $tic = 35 + $tic/100; break;
		case ($tic < 100000): $tic = 125 + $tic/1000; break;
		case ($tic < 400000): $tic = 215 + $tic/10000; break;
		default : $tic = "ERROR";
	}
	return (int) $tic;
}

Скорость её работы вполне приемлема для небольших объемов. Чуть позже было найдено более элегантное и почти в 20 раз более быстрое решение, большей части читателей оно ни к чему, а кому очень надо сам догадается.

Размышления

Зачем была разработана подобная система хранения и когда?

Индекс цитирования появился в 1999 году. Скорее всего именно тогда и был придуман алгоритм его хранения. Причины внедрения тоже понятны - банальная экономия ресурсов. Средней домашней железкой тех времен был Celeron-300МГц с 64Мб оперативной памяти и жестким диском на 4 Гб. На серверах стояли 2xPentium II Xeon 400 МГц до 2Гб ОЗУ и SCSI RAID на пару десятков гигабайт.

Актуально спустя 12 лет?

Сложно сказать наверняка. Рунет за это время вырос на несколько порядков и расценивать все 225 тысяч сайтов с ТИЦ 10 как одинаковые было бы глупо. Возможно сейчас ТИЦ считается с точностью в 4 байта и может иметь отрицательное значение, но все равно округляется до шкалы 12 летней давности.