Какие ваши доказательства
Автор: Евгений Хрычкин
Когда я разговариваю с людьми на темы, в которых считаю себя профессионалом, порой мне кажется, что я играю в игру, правила которой моим оппонентам неизвестны
Представьте, вы играете в покер, и у вас на руках каре из шестерок (очень сильная комбинация), а у вашего визави только туз из старших карт. Вы вскрываетесь и торжествуете победу. Но соперник не спешит отдавать вам выигрыш — по его мнению один туз сильнее каре из шестерок. Вы тычете его в правила, а он утверждает, что правила придуманы с целью наживы их создателей, а его личный опыт говорит о том, что туз всегда старше шестерок, даже если их четыре сразу
Примерно на таком же уровне происходит большинство современных споров. А все потому, что не учат нас в школе на что можно опираться в построении своих умозаключений, а на что нет. В результате на плодородной почве невежества у нас процветают антипрививочники, гомеопаты, телепаты, натуропаты и другие *паты
Интересно то, что это не какие-то злодеи, нет. В большинстве своем они искренне уверены в своей правоте и на самом деле считают, что приносят пользу людям. Я уже рассказывал о том, что практика почти никогда не может подтвердить теорию, она может ее только опровергать.
Например, буквально на днях наш президент призвал прививаться, чтобы защититься от болезни. Как читаю эти слова я: страна терпит огромные убытки от пандемии и поэтому заинтересована в скорейшем ее прекращении. Как читают эти слова антипрививочники: правительство и олигархи зарабатывают на прививках и поэтому хотят, чтобы прививалось как можно больше людей. Как ни странно, убеждения диаметрально противоположны, но слова Путина утверждают в своей правоте как первых, так и вторых
Именно поэтому чтобы разобраться в сути для начала лучше вообще не иметь мнения по вопросу, чтобы оно не мешало воспринимать факты объективно. Всегда полезно изучать вопрос с разных точек зрения
Но все же, какие правила игры в вопросах, касающихся организма человека?
В 1972 году Арчи Кокрейн написал книгу «Результативность и эффективность», которая впоследствии стала хрестоматийной. Он ввел представление об иерархии доказательств. С тех пор эта иерархия несколько раз дополнялась, но суть ее оставалась той же. В современном виде эта иерархия оформлена в пирамиду доказательной медицины:
Чем выше доказательство в этой пирамиде, тем оно весомее.
Как видите, мнения экспертов имеют практически мусорный рейтинг, и доказательством они являться не могут. Именно поэтому в моем блоге вы практически не найдете высказывания моего личного мнения по тому или иному вопросу. Оно никчемно по сравнению с миллионами задокументированными исследованиями.
По сути, весомые доказательства начинаются со строчки «рандомизированные контролируемые исследования (РКИ)». Они заключаются в том, что у нас есть несколько групп испытуемых (модельные животные или люди), одна из которых является Контрольной. Это группа, с которой сравнивают эффективность исследуемого метода или препарата. Обычно этой группе дают плацебо либо препарат эффективность которого достоверно известна (например, смертельно больным людям негуманно давать плацебо). Люди между группами распределены случайным образом (Рандомизация), чтобы ни у кого не было соблазна собрать в какую-то группу больше людей, соответствующих каким-то качествам. Например, если я захочу доказать, что мой метод увеличения силы работает, я могу набрать в группу людей, заведомо лучше реагирующих на нагрузки. Ну и по золотому стандарту все это должно быть дважды ослепленно: кто в какой группе находится не должен знать ни испытуемый, ни исследователь.
Ну а метаанализ – это совокупность опубликованных по данному вопросу РКИ. В нем статистическими методами ищут закономерность или ее отсутствие в выводах РКИ. То есть это такое исследование исследований. И именно метаанализы имеют самую высокую силу доказательности.
Провести исследование недостаточно, нужно его опубликовать в научном журнале с рецензированием. Пока работа нигде не опубликована, ее, можно сказать, нет в научном мире, и рассматривать всерьез ее никто не будет. В каждом журнале есть научные рецензенты, которые проверяют исследования и допускают их до публикации или нет. Уровень доверия научного сообщества к журналу оценивается по его импакт-фактору (ИФ). Серьезные журналы очень трепетно относятся к своему авторитету и не будут публиковать всякую ерунду, иначе их рейтинг довольно быстро уйдет вниз. В то же время журналы с мусорным рейтингом постоянно грешат заказными статьями с очень сомнительными выводами.
К примеру, ИФ журнала Lancet – 39, а самого авторитетного российского журнала в сфере спорта «Теория и практика физической культуры» – 0,23 (это к вопросу о качестве российских научных публикаций).
Есть еще агрегаторы, которые собирают все опубликованные исследования. К ним относятся PubMed, Google Scholar, Scopus и другие. Сама ссылка на Пабмед вообще ничего не доказывает, там может быть очень некачественное исследование, опубликованное в мусорном журнале. Это просто поисковик среди всех исследований. К примеру, на Google Scholar можно найти мою статью в российском журнале. Честно признаюсь, мои посты в Instagram сейчас более проработанные, чем та работа. Однако же ее опубликовали без каких-либо вопросов (я ее писал, потому что соискатели кандидатской степени обязаны публиковать определенное количество своих статей).
Вот примерно так выглядят доказательства в научном сообществе. Конечно же эта система имеет свои недостатки, но на данный момент это лучшее, что мы имеем. Ну и мое любимое «тезис-антитезис» – давайте поговорим о недостатках.
На мой взгляд, главный недостаток данного подхода – это потеря индивидуальности (хотя не всегда). По исследованию мы обычно видим только общий вывод для всей группы, но не знаем, как реагировал каждый в отдельности. Именно тут и будет полезным опыт эксперта. Хороший специалист берет во внимание РКИ и накладывает него на свой опыт. Например, в силовых тренировках мы видим, что наиболее эффективный недельный объем на одну мышцу составляет 10 отказных подходов. Но для одного лучше будет 5, а для другого 15. В среднем получим 10. Именно поэтому чисто формальный подход может повести вас не по самой лучшей траектории.
Не все вопросы можно изучать с помощью РКИ. Мы знаем, что курение вредит нашему здоровью, но заставлять кого-то курить, чтобы об этом узнать, в современном мире считается негуманным, и этический комитет любого института не одобрит такое исследование. То же самое касается ожирения. Поэтому эти проблемы мы изучаем по когортным исследованиям – это когда ученые просто наблюдают за определенными группами людей и ищут общие тенденции. Эти исследования имеют гораздо более низкий уровень доказательности, и всегда нужно иметь в голове, что мы можем простую корреляцию принять за следствие. Например, исследование показывает, что люди, спящие более 9 часов, живут меньше, чем 7-8 часов. Какой вывод? Длинный сон укорачивает жизнь. А может быть, просто больные люди вынуждены больше спать, и они же меньше живут? То есть общая другая причина для этих двух наблюдений.
Среди обывателей еще существует мнение об аффилированности науки Биг Фарме или даже мировому правительству. В общем-то да, это так (я про фарму, а не мировое правительство). Но все же далеко не вся наука пляшет под дудку одного заказчика. Тут, как и в других сферах, очень мощная конкуренция, и если ты пишешь откровенную заказуху, твою карьеру ученого очень быстро перечеркнут пытливые умы. Поэтому нельзя никогда делать выводы по одному РКИ и даже метаанализу. Кроме того, правила публикаций требуют обязательного указания источника финансирования и конфликта интересов. Все же далеко не вся наука продается, есть огромная масса независимых исследований. Вот их и стоит брать к сведению.
Можно еще смотреть на рекомендации ВОЗ, FDA, обзоры Кокрейновского сотрудничества и других авторитетных организаций. Там специально обученные люди анализируют все, о чем я написал, и еще в 100 раз больше. По неполитическим вопросам им можно доверять.