Рассмотрим реализацию выборки на одном элементарном исходе

— набор чисел

,

,

. На подходящем вероятностном пространстве введем случайную величину

, принимающую значения

,

,

с вероятностями по

(если какие-то из значений совпали, сложим вероятности соответствующее число раз). Таблица распределения вероятностей и функция распределения случайной величины

выглядят так:
| Распределение величины
называют эмпирическим или выборочным распределением. Вычислим математическое ожидание и дисперсию величины
и введем обозначения для этих величин: 
Точно так же вычислим и момент порядка

В общем случае обозначим через
величину 
Если при построении всех введенных нами характеристик считать выборку
,
,
набором случайных величин, то и сами эти характеристики —
,
,
,
,
— станут величинами случайными. Эти характеристики выборочного распределения используют для оценки (приближения) соответствующих неизвестных характеристик истинного распределения.Причина использования характеристик распределения
для оценки характеристик истинного распределения
(или
) — в близости этих распределений при больших
.Рассмотрим, для примера,
подбрасываний правильного кубика. Пусть
— количество очков, выпавших при
-м броске,
. Предположим, что единица в выборке встретится
раз, двойка —
раз и т.д. Тогда случайная величина
будет принимать значения 1,
, 6 с вероятностями
,
,
соответственно. Но эти пропорции с ростом
приближаются к
согласно закону больших чисел. То есть распределение величины
в некотором смысле сближается с истинным распределением числа очков, выпадающих при подбрасывании правильного кубика.Мы не станем уточнять, что имеется в виду под близостью выборочного и истинного распределений. В следующих параграфах мы подробнее познакомимся с каждой из введенных выше характеристик и исследуем ее свойства, в том числе ее поведение с ростом объема выборки.
Поскольку неизвестное распределение
можно описать, например, его функцией распределения
, построим по выборке «оценку» для этой функции.Определение 1.
Эмпирической функцией распределения, построенной по выборке
объема
, называется случайная функция
, при каждом
равная 
Напоминание: Случайная функция

называется индикатором события
. При каждом
это — случайная величина, имеющая распределение Бернулли с параметром
. почему?Иначе говоря, при любом
значение
, равное истинной вероятности случайной величине
быть меньше
, оценивается долей элементов выборки, меньших
.Если элементы выборки
,
,
упорядочить по возрастанию (на каждом элементарном исходе), получится новый набор случайных величин, называемый вариационным рядом: 
Здесь

Элемент
,
, называется
-м членом вариационного ряда или
-й порядковой статистикой.Пример 1.
Выборка:

Вариационный ряд:
Эмпирическая функция распределения имеет скачки в точках выборки, величина скачка в точке
равна
, где
— количество элементов выборки, совпадающих с
.