Лягушка в кипятке и еще 300 популярных инструментов мышления, которые сделают вас умнее - Макканн Лорен (книги хорошего качества .txt, .fb2) 📗
Норма – это еще одно название среднего значения, и регрессия к норме объясняет, почему за экстремальными событиями обычно следует что-то более типичное: регрессия к ожидаемой норме. Например, никто не ждет, что бегун два раза подряд побьет рекорд в забеге на время. От него ждут менее впечатляющих результатов. Ведь редкий результат потому и редкий, что не стоит надеяться на него несколько раз подряд.
Не стоит думать, что результат, основанный на небольшой выборке, будет типичным. Он не отразит результат ни для любой другой маленькой выборки, ни для гораздо большей. Как и единичные случаи, небольшие выборки очень мало сообщают вам помимо того, что случившееся может произойти. Хотя первое впечатление и бывает точным, нужно относиться к нему скептически. Дополнительные данные помогут отличить вероятное событие от аномалии.
Кривая нормального распределения
Когда имеете дело с большим количеством данных, используйте графики и сводную статистику, чтобы бороться с информационной перегрузкой. Термином статистика на самом деле просто называют числа, которые используются для обобщения наборов данных (и математический процесс, с помощью которого генерируются эти числа). Графики и сводная статистика кратко излагают факты о наборе данных.
Вы постоянно используете сводную статистику, даже не понимая этого.
Если кто-то спросит вас: «Какова температура здорового человека?» – вы, скорее всего, ответите, что 98,6 °F или 37 °C. На самом деле это сводная статистика, которая называется нормой, что, как мы только что объяснили, является другим названием среднего значения.
Возможно, вы даже не помните, когда впервые узнали об этом факте, и еще вероятнее, что вы даже не знаете, откуда взялась эта цифра. Чтобы высчитать эту статистику, немецкий доктор Карл Вундерлих в XIX веке собрал и проанализировал больше миллиона температур, замеренных подмышкой у 25 000 пациентов (очень много подмышек).
И все же 98,6 °F – это не какая-то волшебная температура. Во-первых, более свежие данные отмечают более низкую норму, ближе к 98,2 °F (36,8 °C). Во-вторых, вы могли заметить, что «нормальная» температура у вас или члена вашей семьи отклоняется от этого среднего значения. На самом деле женщины в среднем немного теплее мужчин, и для них температура до 99,9 °F (37,7 °C) считается нормой. В-третьих, температура человеческого тела естественным образом меняется в течение дня, повышаясь в среднем на 0,9 °F (0,5 °C) с утра до вечера.
Если вы просто скажете, что 98,6 °F – это нормальная температура, вы не учтете всех этих нюансов. Вот почему ряд сводных статистик или графиков часто используется для каждого случая в отдельности, чтобы обобщить данные. Норма (среднее или ожидаемое значение) показывает центральную тенденцию, или место, где значения склоняются к центру. Также центральную тенденцию измеряют медиана (средняя величина, которая делит данные на две половины) и мода (наиболее частый результат). Эти статистические данные помогают описать, как будет выглядеть «типичное» число для выбранного набора данных.
Для температуры тела, простое указание центральной тенденции типа нормы временами бывает слишком простым. Это подводит нас ко второму распространенному набору сводных статистических данных, которые измеряют дисперсию, или степень рассредоточения данных.
Самая простая дисперсионная статистика показывает диапазоны. Для температуры тела это диапазоны нормальных значений, например от минимума до максимума температуры здоровых людей, как показано на графике ниже (такой график называется гистограммой).
Гистограмма
Филип А. Маковяк, Стивен С. Вассерман и Майрон М. Левин «Критическая оценка 98,6 °F, верхнего предела нормальной температуры тела и другого наследия Карла Рейнхолда Августа Вундерлиха». Journal of the American Medical Association 268, № 12 (сентябрь 1992 года), 1578–1580.
График выше отображает частоту 130 разных температур тела, измеренных у здоровых взрослых. Такая гистограмма – это простой способ визуально суммировать данные: сгруппировать значения в столбики, сосчитать, сколько точек данных в каждом столбике, и составить график из вертикальных столбиков – столбчатую гистограмму. Прежде чем сообщить о диапазоне, вначале нужно найти выбросы – те точки данных, которые не соотносятся с остальными показателями. Это точки данных, которые находятся за пределами гистограммы, например температура 100,8 °F (38,2 °С). Может быть, в выборку затесался больной человек. Иначе придется сказать, что нормальная температура варьируется от 96,3 до 100,0 °F. Конечно, чем больше у вас данных, тем четче будет диапазон.
В этом наборе данных статистика центральных тенденций довольно схожа, поскольку показатели распределяются достаточно симметрично, и единственный пик наблюдается посередине. В результате нормой здесь является 98,25 °F (36,8 °С), медианой – 98,3 °F (36,8 °С), а модой – 98 °F (36,7 °С). В других сценариях эти три сводные статистики могут существенно отличаться.
Чтобы проиллюстрировать это, ниже мы рассмотрим другую гистограмму, которая показывает распределение семейных доходов в США в 2016 году. Этот набор данных также имеет один пик, 20 000–24 999 долларов, но он асимметричен, смещен вправо. (Все доходы свыше 200 000 долларов сгруппированы в один столбик. Если этого не сделать, график будет иметь длинный хвост, уходящий далеко вправо.) В отличие от температуры тела, медианный доход в размере 59 039 долларов сильно отличается от среднего дохода в размере 83 143 доллара. Всякий раз, когда данные искажаются в одном направлении, как здесь, норма отодвигается от медианы в сторону смещения, так как ее сдвигают крайние значения.
Распределение семейных доходов в США (2016)
Бюро переписей США «HINC-06. Распределение дохода до 250 000 долларов США и более для домохозяйств», www.census.gov/data/tables/time-series/demo/income-poverty/cps-hinc/hinc-06.2016.html.
Минимальный и максимальный диапазон в данном случае менее информативны. Дисперсию лучше передает межквартильный диапазон, который определяет 25-й процентиль к 75-му процентилю данных, охватывающий средние 50 % доходов, от 27 300 до 102 350 долларов США.
Наиболее распространенными статистическими показателями дисперсии являются дисперсия случайной величины и стандартный разброс (последнее обычно обозначается греческой буквой σ – сигмой). Обе эти меры показывают, как далеко числа в наборе данных отклоняются от нормы. Следующий пример показывает, как рассчитать их для набора данных.
Дисперсия случайной величины и стандартный разброс
Поскольку стандартный разброс – это всего лишь квадратный корень дисперсии случайной величины, если вы знаете последнюю, то вам легко будет рассчитать его. Более высокие величины каждого из них означают, что точки данных часто сильно отклоняются от нормы, как показано на мишенях ниже.
Дисперсия случайной величины
Наборы данных о температуре тела, изображенные ранее, отклоняются от стандарта на 0,73 °F. Чуть более двух третей их значений находятся в пределах одного отклонения от нормы (97,52–98,8 °F), 95 % – в двух отклонения от нормы (96,79–99,71 °F). Как видите, эта закономерность является обычной для множества наборов измерительных данных (например, рост, артериальное давление, стандартизированные тесты).
