Большая пятерка

Разобраться с «большой пятеркой» принципов верификации результатов исследований очень важно, так как они указывают на инструменты, чаще всего применяющиеся для искусственного усложнения простых вещей и промывки мозгов. Кроме того, их смысл важно уловить, чтобы не обмануться и не тратить время, выступая в роли экспериментатора-одиночки. Каждый принцип я представил в виде вопроса, который надо задать себе, прежде чем относиться серьезно к советам по питанию или результатам «последних исследований».

1. Применялись ли для пущей убедительности критерии относительного изменения (например, процентные соотношения)?

Наиболее наглядно этот принцип проиллюстрирован двумя гипотетическими заголовками в газетах:

Исследования показали: люди, избегающие насыщенных жиров, живут дольше

Стоит ли вам избегать насыщенных жиров?

Выясним, что именно означает термин «дольше». Согласно доступным данным, снижение потребления насыщенных жиров до 10 % от количества калорий, потребляемых в сутки, увеличит продолжительность всей взрослой жизни на 3–30 суток. Задумайтесь: стоит ли игра свеч, особенно если одна из радостей вашей жизни – стейк рибай? Скорее всего, нет.

Люди, пьющие кофе, теряют на 20 % больше жира, чем те, кто его не пьет

Стоит ли приучать себя пить кофе?

Оставим пока вопрос о том, было ли это исследование наблюдательным и неэкспериментальным (об этом далее): рассмотрим впечатляющие 20 %.

Относительное увеличение или снижение, чаще всего выраженное в процентах, может ввести в заблуждение.

Относительного недостаточно. Важно задаться вопросом, каким был абсолютный прирост или снижение – в данном случае, сколько килограммов жира на самом деле потеряли обе группы и за какое время? В большинстве случаев процентные соотношения, используемые в СМИ и торговых брошюрах, призваны маскировать тот факт, что изменения были мизерными.

Если люди из контрольной группы сбросили 0,11 кг жира, а из группы потребителей кофе – 0,14 кг (примерно на 20 % больше) за восемь недель, выпивая по три чашки кофе в день, стоит ли рисковать побочными эффектами потребления высоких доз кофеина? Ни в коем случае.

Не доверяйте процентам, вырванным из контекста.

2. Утверждается ли, что причинно-следственную связь показало неэкспериментальное исследование?

Это настоящая золотая жила. Если хотите запомнить только один принцип из главы, выберите этот. Он указывает не просто на ошибку, а на смертный грех.

Неэкспериментальные (наблюдательные) исследования[187], также называемые неконтролируемыми экспериментами, представляют собой изучение разных групп или слоев населения вне лаборатории и сравнение распространенности конкретных явлений, обычно болезней. Наглядный пример – «китайское исследование»[188], результаты которого зачастую толкуют ошибочно.

Вот самый важный абзац в этой главе:

Наблюдательные исследования не в состоянии контролировать и даже документировать все задействованные факторы и переменные. Наблюдательные исследования могут только выявить корреляцию: А и Б существуют в одно и то же время в одной группе. Причин и следствий такие исследования не выявляют [189].

В отличие от наблюдательных, рандомизированные и контролируемые исследования предполагают отслеживание переменных и, следовательно, могут выявлять причину и следствие (обусловленность): А вызывает появление Б.

В пародийной религии под названием «пастафарианство» умышленно смешиваются корреляция и обусловленность:

Наряду с сокращением численности пиратов наблюдался рост глобального потепления за тот же период.

Следовательно, глобальное потепление вызвано дефицитом пиратов.

И еще более наглядный пример:

В Сомали самая высокая численность пиратов И наиболее низкие выбросы углекислого газа среди всех стран мира. Совпадение?

Делая ничем не оправданные выводы о причинно-следственной связи из результатов наблюдательных исследований, изо дня в день зарабатывают хлеб насущный не только представители СМИ, но и причиннои финансово-мотивированные ученые, закрывающие глаза на собственный дефицит этики.

Не попадайтесь на удочку научного пастафарианства.

Очень важно не слушать советы, основанные исключительно на данных наблюдательных исследований. В 2004 году комментарий, опубликованный журналом International Journal of Epidemiology под заголовком «Парадокс гормонозаместительной терапии и коронарной сердечной недостаточности – конец наблюдательной эпидемиологии?» объяснил, почему к ним опасно прислушиваться. Наблюдения за одной группой женщин, получающих гормонозаместительную терапию (ГЗТ), показали снижение уровня сердечной недостаточности, и СМИ вместе со сторонниками ГЗТ поспешили раструбить об этом эффектном выводе: ГЗТ снижает вероятность сердечной недостаточности! Увы, рандомизированные и контролируемые испытания позднее показали отсутствие защитного эффекта и даже небольшое увеличение риска сердечной недостаточности у тех, кто получал ГЗТ.

Как такое возможно?

Выяснилось, что в наблюдательных исследованиях не учли разницу в социально-экономическом положении людей в группах, а также роль врачей, выбирающих для ГЗТ женщин, с самого начала в наименьшей степени предрасположенных к сердечной недостаточности. Последнее – пример тому, что отсутствие рандомизированного распределения участников по группам приводит к влиянию предвзятости экспериментаторов на результаты наблюдательного исследования.

В комментарии 2004 года постфактум справедливо отмечалось:

Различие результатов наблюдательных исследований и рандомизированных контролируемых испытаний, направленных на выявление связи между ГЗТ и коронарной сердечной недостаточностью, поставило эту идею [согласно которой добросовестно проведенные наблюдательные исследования могут дать оценку эффективности лечения, сопоставимую с оценкой рандомизированных контролируемых испытаний] под сомнение и, возможно, означает смерть наблюдательной эпидемиологии.

Наблюдательные исследования полезны для формирования гипотез (основанных на информации предположений, которые затем можно проверить в контролируемых условиях), но они не могут и не должны применяться для выявления причинно-следственных связей. Попытки выявить их таким способом безответственны и потенциально опасны.

3. Как были сделаны выводы в исследовании – на основании отчетов самих участников или на основании результатов опросов и наблюдений?

В 1980 году ученые на оторванной от мира исследовательской станции в Антарктиде вели записи обо всей пище, которую потребляли, и взвешивали ее. Раз в неделю участникам задавали вопрос о том, что они ели накануне (напомним: еду взвешивали, ее вес и состав записывали). Несмотря на внимательное ведение дневников питания, участники все-таки недооценивали свое потребление пищи на 20–30 %.

Да, их вполне могли ослепить снежные бури. Обстоятельства, в которых проводилось это исследование, нормальными не назовешь. А теперь посмотрим, как поступают в этом случае настоящие профессионалы.

WHI («Инициатива женского здоровья») – грандиозный проект стоимостью 415 миллионов долларов, осуществленный под эгидой Национального института здравоохранения. В нем участвовало почти 49 тысяч женщин. Проект был разработан с целью изучения ряда проблем со здоровьем, в том числе влияния рациона со сниженным содержанием жира на вероятность рака за восьмилетний период. Это широкомасштабное интервенционное исследование СМИ часто называли «золотым стандартом» в изучении питания. Доктор Майкл Тун из Американской онкологической ассоциации даже объявил WHI «роллс-ройсом среди исследований».

В 2006 году New York Times объявила о результатах под недвусмысленным заголовком:

Исследования показывают: рацион с низким содержанием жира не снижает риск для здоровья

Хотя я согласен с этим выводом, сделанным на основании других данных, исследование WHI просто не могло прийти к подобному заключению. Обратимся за помощью к Майклу Поллану, чтобы увидеть одно из самых распространенных слабых мест национальных исследований: самоотчеты.

При недавней попытке заполнить опросный лист по частоте потребления продуктов, применявшийся в исследовании WHI, я вдруг понял, как неопределенны данные, на основании которых строятся выводы подобных исследований… Меня просили вспомнить, что случилось за последние три месяца, и указать, ел ли я за это время бамию, кабачки или ямс, были ли они жареными, и если да, то на чем – на маргарине, продающемся в фольге, на маргарине, купленном в пластиковой емкости, на сливочном масле, на «шортенинге» (в этой категории необъяснимым образом слиплись гидрогенезированное растительное масло и топленое свиное сало), на оливковом или каноловом масле, или на масле в виде спрея, предназначенном для посуды с антипригарным покрытием? Честное слово, я не помню, а если бамию я ел в ресторане, даже под гипнозом из меня не удалось бы вытянуть сведения о том, на каком жире ее поджарили…

Вот каковы данные, на основании которых в современной Америке решаются важные вопросы питания и здоровья.

В опросник WHI также входили вопросы:

Когда вы едите курятину или индейку, как часто вы съедаете кожу?

Какое мясо вы обычно выбираете – белое, темное или и то, и другое?

Сколько раз за последние три месяца вы съели порцию брокколи размером с полстакана?[190]

Как бы справились с этой задачей вы? Думаете, смогли бы с 20-процентной вероятностью найти в памяти верные ответы?

Проверим на примере последних 24 часов.

Пожалуйста, оцените количество калорий в пище и напитках, которые вы употребили вчера, при этом не обращайтесь ни к каким справочникам, а также укажите количество потребленных калорий, полученных из жира. Затем съешьте точно такую же еду (вместе с перекусами), но взвешивайте всю ее в граммах на портативных кухонных весах. Количество напитков оценивайте с помощью мерной кружки. На сайте www.nutritiondata.com найдите информацию о количестве калорий в 100 г каждого продукта и произведите подсчеты[191].

Если вы не профессиональный спортсмен и не умеете на глаз отличать 150-граммовую порцию стейка от 200-граммовой, разница между самоотчетом и результатами взвешивания вызовет у вас шок. Перемножьте эти отклонения на 49 тысяч человек, и вы наверняка сможете представить себе получившуюся картину в стиле Пикассо.

Да, сведения, сообщенные самими участниками эксперимента, могут быть полезными, особенно если записываются в реальном времени (то есть в процессе событий). Эту задачу облегчают достижения техники, исключающие из уравнения фактор памяти: например, приложение для iPhone, которое называется DailyBurn’s FoodScanner и wifi-весы Withing[192]. Всеми силами избегайте исследований, опирающихся на сведения самоотчетов, сделанных постфактум. Доверяйте собственным данным. А для этого фиксируйте их в процессе.

4. Заявлено ли участие контрольной группы в исследовании программы питания или диеты?

Как бы настоятельно это ни требовалось, в исследовании питания почти невозможно изменить только одну макроэлементную переменную (белки, углеводы, жиры). А значит, почти невозможно создать и контрольную группу.

Дата добавления: 2015-07-10