Чтение научных новостей может сбить с толку даже самого уравновешенного читателя. Они сообщают, как кофе и алкоголь то вредны, то полезных для здоровья. Компьютерные игры то ли провоцируют насилие, то ли помогают контейнировать негативные эмоции. Во время пандемии коронавируса многим из нас пришлось разобраться с тем, как работает статистика, и что на самом деле означает та или иная форма кривых смертности и заболеваемости, и как должно выглядеть на графике нормальное распределение. Однако если вы не проходили курс статистики в университете (или успели его забыть), многие важные вещи, скорее всего, ускользают от вашего внимания, когда вы читаете заголовки с цифрами, статистикой или рейтингами в СМИ. Что на самом деле означают цифры в заголовках — будь то место России в каком-либо международном рейтинге, прогнозы инфляции, или научное исследование о вреде алкоголя или эффективности вакцин и масок?
Умение понимать статистические данные в современном мире — максимально полезный для каждого человека навык, настаивают научный журналист Том Чиверс и экономист из Даремского университета Дэвид Чиверс. Особенно они пригодятся научным журналистам, если они не хотят вводить своих читателей в заблуждение, что сейчас, как показывают Чиверсы на примерах, происходит слишком часто. Их книга «Цифры врут. Как не дать статистике обмануть себя» представляет собой пособие по правильному обращению со статистикой, из которого можно не только подробнее узнать, что собой представляет ошибка выжившего, но усвоить и другие интересные статистические искажения, такие как ошибка коллайдера, парадокс Симпсона или закон Гудхарда. Книга «Цифры врут. Как не дать статистике обмануть себя» выйдет в русском переводе августе в издательстве Individuum. Forbes публикует отрывок.
«Портят ли вас деньги?» — вопрошал заголовок BBC News в 2015 году. В статье обсуждалось исследование денежного прайминга (прайминг в психологии — процесс актуализации или фиксация установки, аналог условного рефлекса) — направления в психологии, где изучается влияние финансов на поведение людей. В той эффектной публикации говорилось: вы можете «зафиксировать» человека на теме денег, если дадите ему задание по расшифровке фраз со словами, связанными с финансами, — после этого он с меньшей вероятностью будет заниматься благотворительностью или помогать другим.
Социальный прайминг — а денежный включается в данное понятие — стал популярен в первом десятилетии XXI века. В этой области были получены любопытные результаты вроде описанного выше. Или, в случае социального прайминга, что фиксация установки на словах, связанных с возрастом (например, «лото», «морщины» или «Флорида» — у американцев этот штат ассоциируется с выходом на пенсию), приводит к тому, что, покидая помещение, где проводился эксперимент, испытуемые замедляют шаг. Социальный прайминг наделал много шуму. Даниэль Канеман, знаменитый психолог и первооткрыватель когнитивных искажений, получивший Нобелевскую премию по экономике за совместное с Амосом Тверски исследование, в 2011 году писал, что невозможно не верить в поразительное влияние прайминга. Если над «коробкой честности» (один из способов взимания платы, когда покупателю предлагается самостоятельно, без надзора кого-либо, оплатить товар или услугу) нарисована пара глаз, то в нее кладут больше денег, чем если бы ее украшала нейтральная картинка с цветами. Вспоминая постыдный поступок вроде толчка в спину коллеге, люди склонны больше обычного покупать мыла и дезинфицирующих средств, чтобы очистить свою совесть, — это эффект леди Макбет.
Однако, когда вышла статья BBC News — и другие публикации, например подробный материал в The Atlantic в 2014 году с заголовком «Люди становятся более эгоистичными, если просто смотрят на деньги» — к денежному праймингу появились серьезные вопросы. Исследователи пытались получить те же результаты, но либо не получали их вовсе, либо эффект был слабее и не так впечатлял. Что же произошло?
Да много чего. И есть немало превосходных книг о «кризисе воспроизводимости» — ситуации, когда внезапно обнаруживается, что огромная часть прежних исследований в разных областях, особенно в психологии и особенно в социальном прайминге, не выдерживает тщательной проверки. Но сейчас мы хотим рассмотреть спрос на новизну в науке.
Серьезная проблема заложена в самой основе того, как вообще работает наука Это не вина конкретных ученых, хотя некоторые действительно манипулируют системой. Есть загвоздка и с тем, как популярные СМИ сообщают о новостях — не только научных, любых, — но это удивляет меньше.
Проблема в том, что научные журналы хотят печатать интересные научные результаты.
Однако, в конце концов, разве публикация интересных результатов — не прямая обязанность научных журналов? Какой толк в публикации скучных результатов, где нет ничего нового? И тем не менее это проблема, и колоссальная. Именно она лежит в основе того, что многие цифры, попадающие в ленту новостей (и, что, возможно, еще хуже, в научную литературу), неверны или сбивают с толку.
Спрос на новизну очевиден. Знаменитая статья Дэрила Бема «Чувствуя будущее: экспериментальные доказательства аномальных ретроактивных влияний на познание и аффект» («Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect») в 2011 году потрясла мир психологических исследований. Под неуклюжим заголовком скрывается, по всей видимости, экстраординарное открытие: люди — экстрасенсы и ясновидцы. Они могут предугадывать будущее.
В исследовании Бема несколько классических психологических экспериментов проводилось в обратном порядке. В том числе эксперимент по праймингу вроде социального, упомянутого выше. Предположим, вы хотите определить, получится ли повлиять на чье-либо поведение с помощью подсознательного образа — картинки, которая мелькнет лишь на долю секунды — так, что мозг не успевает ее опознать. Можно, например, показать испытуемому два одинаковых изображения — допустим, дерева справа и слева — и предложить выбрать одно из них. Но перед этим на мгновение предъявить слева или справа какой-нибудь тревожный или неприятный образ. Он пропадает так быстро, что его не успеваешь заметить, но предположительно подсознание его все-таки фиксирует — лет 10–20 назад эта гипотеза была очень популярна, и на ее основе развивалась идея о 25-м кадре. Если противная картинка появляется слева, то потом вы с меньшей вероятностью выберете левое дерево, и наоборот. Этой экспериментальной схемой часто пользовались исследователи социального прайминга.
А Бем делал то же самое, но — вот это поворот! — в обратном порядке: он показывал изображения дерева или чего-то другого, перед тем как показать что-то отвратительное. И — как ни странно — испытуемые по-прежнему с меньшей вероятностью выбирали ту картинку, которая демонстрировалась на месте неприятного образа. Эффект оказался небольшим, но статистически значимым. Исследователи на полном серьезе утверждали, что это не объяснить иначе как паранормальными способностями.
На самом деле, конечно, здесь есть место и другому объяснению — чистой случайности. Иногда в исследованиях получаются неверные результаты просто из-за зашумленности данных. В таком случае можно получить истинное значение, а можно большее или меньшее.
Большинство читателей, вероятно, полагает, что истинный уровень паранормальных способностей среди населения равен нулю. Но из-за случайных ошибок в данных исследования могут показывать, что экстрасенсы существуют.
Вот почему наука не опирается — или не должна опираться — на отдельные статьи. Она должна учитывать, как соотносится новое исследование с совокупностью уже имеющихся. Достичь консенсуса можно с помощью метаанализов и обзоров литературы, рассматривая все работы в данной области и комбинируя их. Если в одном исследовании доказывается, что паранормальные способности существуют, а в 99 — что их нет, то первое, вероятно, можно списать на случайность.
Однако такой механизм работает, только если публикуются результаты всех исследований по этой теме. А такого не бывает, ведь научные журналы стремятся публиковать лишь интересные. В случае с исследованием Бема понятно, почему этого не произошло: группа ученых — Стюарт Ричи, Ричард Вайзман и Крис Френч — пыталась повторить исследования Бема и получила нулевые результаты. Журнал, опубликовавший статью Бема, Journal of Personality and Social Psychology, отказался публиковать их статью. Скучно печатать нудные повторы старых работ — хочется новых результатов.
В конце концов это исследование вышло в свет в журнале с открытым доступом PLOS One. А если бы этого не произошло, то составитель метаанализа нашел бы только одну статью с полученным результатом — статью Бема, и больше никаких. Погоня журнала за новизной привела бы к видимости научного консенсуса о существовании паранормальных способностей. Исследование Бема всколыхнуло сообщество, ведь ученые поняли, что приходится принять одну из двух неприятных истин: либо паранормальные способности существуют, либо лежащие в основе психологии экспериментальные и статистические методы могут порождать бессмыслицу.
(Стоит отметить, что позже Бем сделал метаанализ, включив в него статью Ричи с соавторами и ряд других, и все равно вывел, что паранормальные способности существуют. Со всеми проверками на публикационный сдвиг и прочее. Так что либо паранормальные способности существуют, либо лежащие в основе психологии экспериментальные и статистические методы могут порождать бессмыслицу даже по итогам метаанализа)
Эта погоня за новизной приводит к одной из фундаментальных научных проблем — публикационному сдвигу. Если из ста исследований по выявлению паранормальных способностей в 92 выяснится, что их не существует, а в восьми — что они есть, то это довольно надежный показатель того, что их нет. Но если журналы в погоне за новизной опубликуют только те восемь с положительными результатами, то мир будет вынужден поверить, что мы способны предвидеть будущее.
Дурацкие исследования паранормальных способностей — полбеды, а вот если из-за публикационного сдвига врачи начинают прописывать сенсационное лекарство от рака, которое на самом деле не работает, это уже серьезно. К сожалению, так бывает. Более тридцати лет назад исследователь Р. Дж. Саймес отметил, что предварительно зарегистрированные онкологические исследования (предварительная регистрация означает, что их не так просто замять, если ничего не удастся найти: подробности приведены во врезке) с гораздо меньшей вероятностью приносят положительные результаты, чем те, что не регистрировались предварительно. Это наводит на мысль, что множество таких исследований не было опубликовано. Группа, изучавшая эффективность антидепрессантов, обнаружила, что результаты 13 из 55 исследований просто не публиковались. Когда данные этих работ были учтены, доказанная эффективность антидепрессантов снизилась на четверть.
Проверить наличие публикационного сдвига в той или иной области можно хитрым способом — при помощи воронкообразного графика. На нем отмечаются результаты всех исследований по данной теме, причем небольшие, более слабые исследования размещаются внизу графика, а более крупные и весомые — вверху. Если публикационного сдвига нет, то график должен напоминать треугольник: статистически менее мощные исследования имеют большой разброс результатов внизу (потому что в небольших исследованиях больше случайных ошибок), а результаты больших, более достоверных работ концентрируются в более узком диапазоне вверху. Результаты должны скапливаться вокруг одного и того же среднего. Но если некоторые проведенные исследования не публикуются, картина может оказаться иной. Неожиданно пропадают работы, в которых ничего не было найдено. Тогда вместо аккуратного треугольника получится скошенная фигура.Это не единственный способ проверки наличия публикационного сдвига — можно просто написать исследователям и попросить у них результаты неопубликованных работ, а потом посмотреть, отличаются ли они от результатов опубликованных. Зачастую так и есть. В случае с фармацевтическими компаниями логично предположить, что все дело в корпоративной жадности: если в ходе их исследований обнаружится, что антидепрессант не действует, это ухудшит его продажи. Возможно, отчасти проблема именно этим и объясняется, хотя одно исследование показало, что результаты испытаний, спонсируемых представителями индустрии, с большей вероятностью будут опубликованы в течение года (как того требует американское законодательство), чем результаты других.
Но главная причина в том, что журналы отбирают материалы на основе полученных в них результатов. Вот решили вы провести какое-нибудь исследование: скажем, если попросить людей напеть «Марсельезу» перед походом в ресторан, то увеличится ли вероятность того, что они закажут лягушачьи лапки? Как правило, заявку на публикацию ученые подают не тогда, когда идея только пришла им в голову, а когда уже есть результаты.
«Напевание «Марсельезы» не влияет на выбор блюд» — крайне скучный заголовок; ясно, что большинство журналов такую статью отвергнет. Однако если допустить, что такое влияние и правда отсутствует, но проверкой гипотезы займется 20 групп, то в среднем одна из них получит статистически значимый (p < 0,05) результат чисто случайно (как обычно, предполагаем, что исследование проводится корректно). Именно его и опубликуют в научном журнале, и именно он поднимет шум в СМИ.
Так и произошло с вышеупомянутыми исследованиями по денежному праймингу. При проведении метаанализа воспользовались воронкообразным графиком, чтобы определить, имел ли место публикационный сдвиг, и обнаружили его. Возможно, денежный прайминг — реальный феномен, но его эффект намного меньше, чем казалось во времена расцвета этой идеи, ведь отчеты о многих исследованиях, которые его существование не подтвердили, остались в письменных столах своих авторов.
Но все еще хуже: ученые знают, что журналы, скорее всего, откажутся публиковать отрицательные результаты. Так что они их и посылать не будут. Или слегка подкорректируют: посмотрят на данные под другим углом, отбросят экстремальные значения, чтобы результаты выглядели положительными. Карьера в науке подчиняется девизу «Публикуйся или умри». Без статей не жди продвижения по службе или постоянной должности. Так что ученые крайне заинтересованы в публикации своих статей, а значит, у них есть серьезный стимул заниматься подгонкой.
Еще хуже складывается ситуация для читателя СМИ. Даже если статья опубликована в научном журнале, в популярном издании о ней не напишут, если она скучная и с заголовком типа «Напевание «Марсельезы» вообще ни на что не влияет». За новостями особенно гонятся в новостных медиа — на то они и новостные. В газетах пишут об авиакатастрофах — редких и волнующих событиях, а не о благополучно приземлившихся самолетах — событиях заурядных и не занимательных. Поэтому публичное информационное пространство — как и научная литература — дает искаженное представление о частоте чрезвычайных происшествий. Здесь работает тот же механизм.
Ученые пытаются устранить эту проблему. Одно из самых многообещающих решений связано с так называемыми заявленными (т. е. предварительно отрецензированными) исследованиями, когда журнал — во избежание публикационного сдвига — заранее обязуется напечатать исследование на основании выбранного метода, независимо от результатов. В одном исследовании сравнивались обычные психологические исследования и заявленные, и оказалось, что если 96% обычных статей содержат положительные результаты, то среди заявленных таких только 44%, что указывает на серьезную проблему. Заявленные исследования получают все большее распространение, и можно надеяться, что скоро они станут нормой.
Вряд ли можно ожидать, что новостные медиа начнут рассказывать об исследованиях, в которых ничего не обнаружено, или о каждом самолете, совершившем штатную посадку в парижском аэропорту имени Шарля де Голля. Но СМИ могли бы поднять шум вокруг этой проблемы в науке, и это подтолкнуло бы больше научных журналов перейти к публикации заявленных исследований и взять на вооружение другие разумные реформы, поскольку это фундаментальная научная проблема и важнейшая причина того, что цифрам, о которых мы читаем, не всегда можно верить.
