Основные принципы критического исследования

Критическое исследование - это целенаправленное рассмотрение вопроса, относящейся к нему информации и рассуждений, использованных для получения ответа. Оно включает проверку собственного объяснения с той же тщательностью, с какой вы проверяете объяснение другого человека.

Начните с того, что сформулируйте утверждение в одном предложении. «Это лучше» оставляет почти всё открытым. «Эта система планирования сократила среднее время доставки для этой компании в течение первых трёх месяцев» обозначает результат, условия и период. Теперь можно спросить, что измерялось и какое сравнение подтверждает это утверждение.

Также определите, какой тип утверждения выдвигается. Для разных вопросов нужны разные виды обоснования.

Эти утверждения связаны, но установление первого не подтверждает автоматически остальные. Рекомендация добавляет суждения о том, что важно и что следует делать.

Начальные фразы не определяют истинность. «Я считаю, что семинар начинается в девять» - это проверяемое фактическое утверждение. «Исследование показывает…» может вводить как точное, так и вводящее в заблуждение резюме. Фактическое утверждение - это то, что можно оценить с точки зрения точности; оно не становится уже установленным фактом лишь потому, что звучит объективно.

Если утверждение остаётся расплывчатым, попросите привести конкретный пример или дать проверяемое определение. Согласование того, что означает «эффективный», «справедливый» или «успешный», может устранить путаницу ещё до развития аргумента.

В рассуждении аргумент - это совокупность причин, приведённых в поддержку вывода. Эти причины называются его посылками. Оценка аргумента включает два вопроса: приемлемы ли эти посылки и поддерживают ли они вывод?^[1]

В повседневных аргументах связывающее предположение часто остаётся невысказанным. Рассмотрим: «Большинство участников опроса хотят тихую комнату, поэтому библиотеке следует построить такую комнату». Результат опроса - одна из посылок; строительство комнаты - предполагаемый вывод. Здесь работают ещё несколько предположений.

Невысказанное предположение не обязательно является ошибкой. Обычный разговор стал бы утомительным, если бы приходилось повторять каждый фоновый факт. Полезно выявлять предположения, которые неопределённы, оспариваются или имеют ключевое значение для вывода.

Спросите: «Что должно быть истинным, чтобы эта причина подтверждала то решение?» Затем сформулируйте ответ явно. В примере с библиотекой утверждение «Опрос представляет всех пользователей» легче проверить, чем общее ощущение, что предложение кажется убедительным.

Отделяйте наблюдение от своей интерпретации. «На моё сообщение не ответили» - это наблюдение. «Они сердятся на меня» - одно из возможных объяснений. Прежде чем считать объяснение фактом, подумайте, что связывает эти два утверждения и какие ещё объяснения остаются правдоподобными.

Кто, что, когда, где, почему и как - практичный начальный контрольный список. Он помогает выявить недостающий контекст, но не может гарантировать полноту или точность. Используйте ответы, чтобы определить наиболее существенную неопределённость и выбрать следующий вопрос.

Эти вопросы работают вместе. Ответ на вопрос «Кто ответил?» влияет на то, что может показать опрос. Вопрос «Когда?» помогает оценить причинно-следственную последовательность. Вопрос «Где?» ограничивает прогноз относительно другой обстановки. Безупречный ответ на один вопрос не может компенсировать вопрос, от которого зависит вывод, но на который не был дан ответ.

Вам не нужно исследовать все шесть вопросов в равной степени. Для исторической фотографии решающими могут быть происхождение и дата. Для утверждения, что новый распорядок дня улучшает концентрацию, измерению и сравнению, возможно, стоит уделить больше всего внимания.

Одни аргументы стремятся с необходимостью установить вывод, другие предлагают свидетельства, делающие вывод более вероятным. Понимание этой разницы помогает запросить подходящий вид обоснования.

Дедуктивный аргумент является валидным, если его посылки не могут быть одновременно истинными, а вывод - ложным. Он является состоятельным, если он валиден и его посылки истинны. Индуктивный аргумент предлагает степень поддержки, а не такую гарантию.^[2]

Полезное доказательство относится к конкретному утверждению, которое вы оцениваете. Квитанция может подтвердить факт покупки. Интервью может объяснить чей-то опыт. Репрезентативный опрос может оценить, насколько широко распространён описанный опыт. Эти источники отвечают на разные вопросы.

К личным рассказам следует относиться точно. Фраза «Это случилось со мной» может быть ценным свидетельством пережитого опыта и поводом для расследования. Но она не устанавливает автоматически, как часто происходит то же самое или какой фактор стал причиной. Равным образом, среднее значение по группе не отменяет опыт отдельного человека.

По возможности проверяйте исходный материал. Действительно ли в цитируемом отчёте содержится это утверждение? Сохраняет ли цитата оговорки? Десять статей представляют десять независимых исследований или повторяют одно объявление?

Выход за пределы страницы и изучение её источника часто называют латеральным чтением. В исследовании 2021 года студенты колледжа стали лучше оценивать онлайн-источники после обучения, включавшего этот подход. В исследовании использовался дизайн «до и после», поэтому его не следует считать окончательным доказательством для каждого учащегося или любой ситуации.^[3]

После того как источник признан заслуживающим доверия, остаётся ещё один вопрос: подтверждает ли именно это доказательство именно такой вывод? Тщательный отчёт об одной группе могут ошибочно применить к другой. Точно описанную взаимосвязь могут представить как доказательство причины.

Чтобы глубже разобраться в проверке источников, неопределённости и уверенности, продолжите чтение: Сочетание открытости и скептицизма. Здесь главная задача - определить связь между доказательствами и выводом.

Два явления могут изменяться одновременно, не являясь причиной друг друга. На оба может влиять третий фактор; направление влияния может отличаться от предполагаемого объяснения. Наблюдение о том, что одно событие предшествовало другому, полезно, но само по себе недостаточно, чтобы установить причинно-следственную связь.^[4]

Представьте, что компания по доставке внедряет новое программное обеспечение для планирования. Среднее время доставки сокращается с четырёх дней до трёх. Это изменение заслуживает изучения, но одни только записи не позволяют отделить вклад программного обеспечения.

Возможно, объём посылок уменьшился, персонала стало больше или большая доля доставок направлялась в близлежащие места. Возможно, в предыдущем периоде произошло необычное нарушение работы. Каждая такая возможность указывает на информацию, которая помогла бы различить эти объяснения.

Хорошо спланированные эксперименты могут помочь отделить предполагаемую причину от конкурирующих влияний. Другие тщательно разработанные методы исследования также могут предоставить причинные доказательства; подходящий дизайн зависит от того, что можно изучить и в каких условиях. Убедительное объяснение показывает, почему выбранное сравнение информативно и какая неопределённость сохраняется.

Следите, чтобы вывод соответствовал имеющимся данным: «В период внедрения программного обеспечения время доставки улучшилось; его вклад пока неясен». Это сохраняет наблюдаемое улучшение, одновременно обозначая нерешённый вопрос о причинно-следственной связи.

Тот же принцип применим к личному распорядку. Если вы начали новую утреннюю практику, изменили рабочие часы и перестали проверять сообщения до завтрака, улучшение концентрации трудно однозначно связать с одним изменением. Простая запись может помочь заметить закономерности, не превращая короткий личный эксперимент в универсальный вывод.

Число становится осмысленным, когда известно, что именно подсчитывали, из какого общего количества, за какой период и с чем сравнивали. Примеры в этом разделе выдуманы, чтобы показать арифметику.

Относительное изменение и абсолютная разница

Предположим, что до изменения процесса дефекты обнаруживали в 40 из 1 000 предметов, а после - в 20 из 1 000. Наблюдаемая частота дефектов снизилась с 4% до 2%: это относительное снижение на 50% и абсолютное снижение на 2 процентных пункта. Оба описания верны. Ни один из этих расчётов сам по себе не устанавливает, почему произошло изменение.

Чтобы показать абсолютный масштаб относительных эффектов, нужна исходная частота. В руководстве Cochrane это различие чётко отражено при интерпретации эффектов вмешательства: один и тот же относительный эффект может означать разные абсолютные эффекты при разных исходных рисках.^[5]

Выявление неисправностей и интерпретация отметки

Теперь представьте, что сканер проверяет 1 000 предметов. Независимая проверка устанавливает, что 20 из них неисправны, а 980 исправны. Сканер обнаруживает 16 неисправных предметов, а также ошибочно отмечает 49 исправных.

Сканер обнаруживает 80% неисправных изделий: 16 из 20. Но только примерно 25% изделий, отмеченных флажком, неисправны: 16 из 65. Эти проценты используют разные знаменатели и отвечают на разные вопросы. «Он обнаруживает 80% неисправностей» не означает «вероятность неисправности отмеченного изделия составляет 80%».

В этом примере флажок — это основание для дальнейшей проверки. Полезность сканера также зависит от последствий пропущенных дефектов, ненужных проверок и доступных альтернатив.

Точность и статистическая терминология

Прежде чем впечатляться большой выборкой, спросите, как отбирались участники или объекты. Тысячи ответов от узко отобранной группы всё ещё могут плохо представлять интересующую вас совокупность. Также проверьте, означает ли «среднее» среднее арифметическое или медиану и не скрыта ли важная вариативность.

Малое p-значение не измеряет величину эффекта или его практическую значимость и не является вероятностью истинности гипотезы. Американская статистическая ассоциация рекомендует интерпретировать такие результаты наряду с дизайном исследования, контекстом и более полным представлением данных.^[6] Спросите, что изменилось, насколько сильно и с какой неопределённостью.

Названия логических ошибок могут помочь распознавать повторяющиеся проблемы, но одной метке нужно объяснение. Укажите, какое утверждение было искажено, какой факт несущественен или какая связь не подтверждена. Вводные материалы описывают такие модели, как аргументы типа «соломенное чучело» и не относящиеся к делу личные нападки.^[7] Их применение требует внимания к фактическому обмену репликами.

Соломенное чучело: изменение обсуждаемой позиции

Соломенное чучело заменяет позицию собеседника более удобной для критики мишенью. Предположим, коллега предлагает два часа в неделю без совещаний. Фраза «Ты хочешь, чтобы люди перестали общаться» преувеличивает это предложение и оставляет без ответа сам вопрос.

Справедливая критика могла бы спросить, как будет работать срочная координация в эти часы. Она рассматривает предложение по существу и проверяет релевантное следствие.

Вопрос для исправления: «Можем ли мы сформулировать предложение так, чтобы его сторонник его узнал, прежде чем оценивать его?» Проверьте исходную формулировку; не нужно усиливать её и превращать в другое предложение.

Ad hominem: использование несущественной личной критики

Ошибка ad hominem возникает, когда несущественный факт о человеке используют, чтобы отвергнуть его аргумент. «Её расчёт стоимости бронирования неверен, потому что она плохо одевается» не даёт оснований отвергать арифметические вычисления.

Однако личная информация может иметь значение для надёжности свидетельских показаний. Релевантную компетентность, документально подтверждённую историю фальсификаций или конфликт интересов может быть уместно рассмотреть. Такая информация не опровергает автоматически рассуждение, подтверждённое независимыми данными.^[8]

Точно так же указание на лицемерие может быть значимо для поведения человека, но не решает вопрос о правиле, которое он предлагает. Человек, опоздавший, всё же может верно заметить, что опоздание нарушило ход совещания.

Вопрос для исправления: «Как этот факт о говорящем влияет на доказательства или рассуждение, которые мы оцениваем?»

Неправомерная ссылка на авторитет: экспертизе поручают не ту задачу

Свидетельство эксперта может служить разумным подтверждением. Его ценность зависит от релевантности экспертизы, точности изложения, доказательной основы и связи утверждения с мнениями других квалифицированных специалистов. Наличие квалификаций не является гарантией, а экспертиза в одной области автоматически не переносится на другую.^[8]

Предпочтение известного музыканта в отношении концертного зала говорит об опыте этого человека. Само по себе оно не подтверждает техническое утверждение о несущей способности здания. Оценка этой способности квалифицированным инженером была бы релевантным доказательством.

Вопрос для исправления: «Какая конкретная экспертиза подтверждает это утверждение и на какую оценку или доказательства опирается эксперт?» Это можно спросить, не делая вид, будто вы лично способны заново провести каждое специализированное исследование.

Эти модели полезны как отправные точки для более тщательного анализа. Если назвать одну из них, следует задать конкретный вопрос об аргументе.

Контекст имеет значение. Два варианта могут быть исчерпывающими, если вопрос сформулирован достаточно точно. Прогноз нарастающих последствий может быть разумным, если причинно-следственные связи подтверждены, а неопределённость признана. Одного ярлыка «скользкой дорожки» недостаточно, чтобы решить, верен ли прогноз.^[8]

Следующие сценарии вымышлены. Они показывают, как более чёткие вопросы могут привести к более узкому, лучше обоснованному выводу и практическому следующему шагу.

Люди могут расходиться во мнениях относительно фактов, определений, причинных объяснений, прогнозов или приоритетов. Такие разногласия требуют разных ответов. Большее количество статистики не обязательно разрешит разногласие о том, как следует использовать общее пространство.

В примере с библиотекой два человека могут согласиться, что тихая комната будет востребована, но расходиться во мнении о том, заслуживает ли она пространства, которое сейчас используется для групповых занятий. Данные помогают описать вероятные последствия; решение также зависит от того, чьи потребности следует поставить во главу угла и на какие компромиссы согласиться.

Попробуйте сначала изложить рассуждение другого человека, а затем отвечать: «Вы согласны, что шум - это проблема, но считаете, что постоянная комната вытеснит слишком много групповых занятий. Я правильно понял?» Это даёт человеку возможность исправить изложение и помогает не спорить с вымышленной позицией.

Применяйте сопоставимые стандарты к предпочитаемому вами варианту. Если вы ставите под сомнение репрезентативность не понравившегося вам опроса, так же изучите набор участников благоприятного опроса. Если вы требуете от другого предложения чёткого показателя результата, определите такой показатель и для своего.

Спросите, какие свидетельства могли бы опровергнуть вашу интерпретацию. Ответ не обязательно должен быть одним решающим тестом. Это может быть определённая совокупность наблюдений, исправленная запись или правдоподобное альтернативное объяснение, подкреплённое более убедительными данными.

Выберите одно утверждение, важное для текущего решения. Несколько записанных строк могут дать больше информации, чем многократное перечитывание убедительного объяснения.

Соизмеряйте усилия с последствиями. Небольшое обратимое предпочтение может требовать лишь небольшого исследования. Затратное или труднообратимое решение заслуживает большего внимания к предположениям, от которых оно зависит. Прекратите собирать материалы, когда следующий раунд вряд ли устранит существенную неопределённость или изменит доступный вариант действия.

Практика также включает наблюдение за собственными объяснениями: «Я всегда терплю неудачу», «Все ожидают, что я соглашусь» или «Это единственный способ, с помощью которого я могу справиться». Спросите себя, что охватывают слова «всегда», «все» и «единственный» и позволяет ли более точное описание рассмотреть другую реакцию.

В Инструментах для самоанализа предлагается связанный с этим способ изучения собственных интерпретаций. В материале Как распознать манипуляцию и пропаганду тщательная оценка применяется к убеждающим сообщениям и воздействию на выбор.

Эти источники подтверждают изложенные выше различия в рассуждениях и исследовательские утверждения. Числовые примеры и повседневные сценарии являются гипотетическими учебными примерами.