Величина эффекта

Существует представление о том, что чем меньше проявлен эффект, тем выше вероятность того, что он возник случайно и не может считаться аргументом в пользу реальности какого-то явления. Кому какое дело до чего-то настолько ничтожного, что это почти невозможно увидеть или измерить? Возможно, перед Белым домом каждый день приземляются инопланетяне, но если они меньше муравьев, кому какое до них дело? Что ж, в следующий раз, когда подхватите грипп и будете сотрясаться от приступов кашля, вам стоит пересмотреть этот вопрос. Когда мы имеем дело с вопросом «реально ли это», размер не имеет значения.

И все же, когда речь идет о малых эффектах и маломасштабных экспериментах, обнаружить искомое может быть очень непросто, ведь это похоже на попытку настроиться на радиостанцию с очень слабым сигналом, заглушаемым шумовыми помехами. Именно поэтому была разработана техника метаанализа. Она позволяет получать большую уверенность в малых эффектах, при условии, разумеется, что эти эффекты реальны. Метаанализ не поможет вам создать волшебным образом несуществующий эффект.

Значение понятия «величина эффекта» варьируется в зависимости от масштаба измерений. В случае примера с подбрасыванием искривленной монеты величина эффекта в 1 % означает выпадение 51 % голов вместо 50 %, как было бы с прямой монетой. Другие виды экспериментов могут означать другие соотношения – например, при использовании четырех-пяти целей вместо одной монеты, предполагающей только два возможных варианта. Это делает значение величины эффекта в 1 % различным для разных исследований. В случае мета-анализа это может представлять проблему, если происходит совмещение исследований разных типов. Как если бы мета-анализ был применен одновременно к исследованию яблок и апельсинов – в каких-то свойствах он бы привел к ошибкам, хотя это не помешало бы установить, что оба объекта исследования имеют общее определение, то есть являются фруктами.

Для надежного измерения величины эффекта были разработаны различные формулы, не принимающие в расчет специфику экспериментальных методов. Величина эффекта для исследований с принудительным выбором на достоверность предвидения составляет 0,02, где сам эффект обычно варьируется от —1 до +1, а 0 означает, что эксперимент не дал ощутимого результата. Так что величина эффекта 0,02 довольно мала. Но важно знать, как мы можем быть уверены, что этот малый эффект не равен нулю? Это зависит от неопределенности величины эффекта, и именно для этого применяется статистический анализ.

Одним из способов интерпретации значения величины эффекта является анализ влияния одной переменной величины на другую. Например, нас интересует соотношение между уровнем интеллекта и популярностью или между активностью социальных служб и уровнем здоровья населения. Величины эффектов для этих двух примеров соотношений составляют 0,10 и 0,11 соответственно[252]. Для того чтобы выяснить, насколько эти величины объясняют взаимосвязь популярности и уровня интеллекта или насколько социальные службы влияют на уровень здоровья населения, статистический анализ требует возвести эти величины в квадрат.

Таким образом, в нашем примере мы получаем приблизительно 0,10 х 0,10 = 0,01, или один к сотне, то есть 1 %. Это означает, что в то время, как соотношение между популярностью и уровнем интеллекта вполне реально, наблюдаемый эффект объясняет лишь малую долю реальной картины. Остальной объем искомого эффекта, 99 %, объясняется множеством других факторов (таких как привлекательность, телосложение, половая принадлежность, личностные качества, образование и т. п.).

В некоторых областях, таких как фармакотерапия, даже крайне малые величины эффекта воспринимаются предельно серьезно из-за возможных последствий для здоровья человека. Например, соотношение величины эффекта между приемом тамоксифена, препарата, применяемого при лечении рака груди, и образованием крупных тромбов в венах, составляет всего лишь 0,01. То есть объяснительная сила этого соотношения очень мала и означает, что менее 1 % людей, принимающих тамоксифен, могут столкнуться с такой проблемой. Но риск этого так серьезен, что дает основания для противопоказаний при анализе риск-выгода.

Теперь давайте вспомним, что средняя величина эффекта экспериментов с принудительным выбором на достоверность предвидения составляет 0,02. Это довольно небольшой эффект, но статистическое сравнение показывает, что он вполне реален.