Внешняя валидность - External validity

Внешняя валидность - это валидность применения выводов научного исследования вне контекста этого исследования. Другими словами, это степень, в которой результаты исследования могут быть обобщены для других ситуаций, людей, стимулов и времени. Напротив, внутренняя валидность - это валидность выводов, сделанных в контексте конкретного исследования. Поскольку общие выводы почти всегда являются целью исследования, внешняя валидность - важное свойство любого исследования. Математический анализ внешней валидности касается определения того, возможно ли обобщение среди разнородных популяций, и разработки статистических и вычислительных методов, дающих валидные обобщения.

Угрозы

«Угроза внешней достоверности - это объяснение того, как вы могли ошибаться, делая обобщение на основе результатов конкретного исследования». В большинстве случаев возможность обобщения ограничена, когда влияние одного фактора (т. Е. Независимой переменной ) зависит от других факторов. Следовательно, все угрозы внешней валидности можно описать как статистические взаимодействия . Вот некоторые примеры:

  • Способность по лечению Взаимодействие: выборка может иметь определенные особенности, которые взаимодействуют с независимой переменной, что ограничивает возможность обобщения. Например, в сравнительных психотерапевтических исследованиях часто используются конкретные выборки (например, добровольцы, в сильной депрессии, без сопутствующих заболеваний). Если психотерапия окажется эффективной для этих пациентов из выборки, будет ли она эффективна и для добровольцев, или для пациентов с легкой депрессией, или для пациентов с сопутствующими другими расстройствами? В противном случае внешняя достоверность исследования будет ограничена.
  • Ситуация по взаимодействиям с лечением: все ситуационные особенности (например, условия лечения, время, место, освещение, шум, назначение лечения, исследователь, время, объем и масштабы измерения и т. Д.) Исследования потенциально ограничивают возможность обобщения.
  • Предварительное тестирование путем взаимодействия с лечением: если причинно-следственные связи могут быть обнаружены только при проведении предварительных тестов, это также ограничивает общность результатов. Иногда это называют «сенсибилизацией», потому что предварительный тест делает людей более чувствительными к манипуляциям с лечением.

Обратите внимание, что внешняя валидность исследования ограничена его внутренней валидностью. Если причинный вывод, сделанный в рамках исследования, недействителен, то обобщение этого вывода на другие контексты также будет недействительным.

Кук и Кэмпбелл сделали решающее различие между обобщением для некоторой популяции и обобщением для субпопуляций, определяемых разными уровнями некоторого фонового фактора. Линч утверждал, что почти никогда нельзя делать обобщения на значимые группы населения, кроме как в виде моментального снимка истории, но можно проверить степень, в которой влияние той или иной причины на некоторую зависимую переменную обобщается по субпопуляциям, которые различаются по некоторому фоновому фактору. Это требует проверки того, смягчается ли исследуемый лечебный эффект взаимодействием с одним или несколькими фоновыми факторами.

Обезоруживающие угрозы

В то время как перечисление угроз достоверности может помочь исследователям избежать необоснованных обобщений, многие из этих угроз можно обезвредить или нейтрализовать систематическим образом, чтобы сделать возможным достоверное обобщение. В частности, экспериментальные данные из одной популяции могут быть «повторно обработаны» или «повторно откалиброваны», чтобы обойти популяционные различия и произвести достоверные обобщения для второй популяции, где эксперименты не могут быть выполнены. Перл и Барейнбойм разделили проблемы обобщения на две категории: (1) те, которые поддаются действительной повторной калибровке, и (2) те, где внешняя достоверность теоретически невозможна. Используя графическое исчисление, они вывели необходимое и достаточное условие для экземпляра проблемы, чтобы сделать возможным допустимое обобщение, и разработали алгоритмы, которые автоматически производят необходимую повторную калибровку, если таковая существует. Это сводит проблему внешней достоверности к упражнению в теории графов и приводит некоторых философов к выводу, что проблема теперь решена.

Важный вариант проблемы внешней валидности касается систематической ошибки отбора , также известной как систематическая ошибка выборки, т. Е. Систематической ошибки, возникающей при проведении исследований на нерепрезентативных выборках предполагаемой совокупности. Например, если клиническое испытание проводится на студентах колледжа, исследователь может пожелать узнать, распространяются ли результаты на всю популяцию, где такие атрибуты, как возраст, образование и доход, существенно отличаются от атрибутов типичного студента. Графический метод Барейнбойма и Перла определяет условия, при которых можно обойти смещение выборки, и, когда эти условия выполняются, метод строит объективную оценку среднего причинного эффекта для всей совокупности. Основное различие между обобщением из исследований с неправильной выборкой и обобщением среди разнородных популяций заключается в том, что различия между популяциями обычно вызваны уже существовавшими факторами, такими как возраст или этническая принадлежность, тогда как систематическая ошибка отбора часто вызвана условиями после лечения, например, пациенты, выбывающие из исследования, или пациенты, выбранные по степени тяжести травмы. Когда выбор определяется факторами после обработки, требуются нетрадиционные методы повторной калибровки для обеспечения оценки без смещения, и эти методы легко получить из графика проблемы.

Примеры

Если возраст считается основным фактором, вызывающим различие эффекта лечения от человека к человеку, то возрастные различия между учащимися, включенными в выборку, и населением в целом могут привести к смещенной оценке среднего эффекта лечения в этой группе населения. Однако такое смещение можно исправить с помощью простой процедуры повторного взвешивания: мы берем возрастной эффект в подгруппе учащихся и вычисляем его среднее значение, используя возрастное распределение в общей популяции. Это дало бы нам объективную оценку среднего эффекта лечения в популяции. Если, с другой стороны, соответствующий фактор, который отличает исследуемую выборку от общей популяции, сам по себе влияет на лечение, тогда необходимо использовать другую схему повторного взвешивания. Вызов этого фактора Z , мы снова усреднить г Определённого эффект X на Y в экспериментальном образце, но теперь мы взвешиваем его в «причинном эффекте» от X на Z . Другими словами, новый вес - это доля единиц, достигших уровня Z = z, если лечение X = x было проведено для всего населения. Эту интервенционную вероятность, часто записываемую , иногда можно оценить на основе наблюдательных исследований в общей популяции.

Типичный пример такого рода имеет место, когда Z является посредником между лечением и результатом. Например, лечение может быть препаратом, снижающим уровень холестерина, Z может быть уровнем холестерина, а ожидаемая продолжительность жизни Y. Здесь, Z одновременно зависит от лечения и основной фактор в определении результата, Y . Предположим, что субъекты, выбранные для экспериментального исследования, как правило, имеют более высокий уровень холестерина, чем типичный для населения в целом. Чтобы оценить средний эффект препарата на выживаемость во всей популяции, мы сначала вычисляем z- специфический лечебный эффект в экспериментальном исследовании, а затем усредняем его, используя в качестве весовой функции. Оценка , полученная будет смещением свободного даже тогда , когда Z и Y Стыдно-то есть, когда существует неизмеренный общий фактор , который влияет как на Z и Y .

Точные условия, обеспечивающие применимость этой и других схем взвешивания, сформулированы в Bareinboim and Pearl, 2016 и Bareinboim et al., 2014.

Внешняя, внутренняя и экологическая значимость

Во многих исследованиях и планах исследований может быть компромисс между внутренней и внешней валидностью: попытки повысить внутреннюю валидность также могут ограничивать обобщаемость результатов, и наоборот. Эта ситуация побудила многих исследователей провести «экологически обоснованные» эксперименты. Под этим они подразумевают, что экспериментальные процедуры должны напоминать «реальные» условия. Они критикуют отсутствие экологической обоснованности многих лабораторных исследований с акцентом на искусственно контролируемую и ограниченную среду. Некоторые исследователи считают, что внешняя валидность и экологическая валидность тесно связаны в том смысле, что причинные выводы, основанные на экологически обоснованных исследовательских планах, часто допускают более высокие степени обобщаемости, чем те, которые получены в искусственно созданной лабораторной среде. Однако это снова относится к различию между обобщением для некоторой популяции (тесно связано с озабоченностью по поводу экологической значимости) и обобщением для субпопуляций, которые различаются по некоторому фоновому фактору. Некоторые результаты, полученные в экологически обоснованных исследовательских условиях, вряд ли можно обобщить, а некоторые результаты, полученные в строго контролируемых условиях, могут претендовать на почти универсальную внешнюю валидность. Таким образом, внешняя и экологическая значимость независимы - исследование может обладать внешней достоверностью, но не экологической, и наоборот.

Качественное исследование

В рамках парадигмы качественного исследования внешняя валидность заменяется концепцией переносимости. Переносимость - это способность результатов исследования переноситься в ситуации со схожими параметрами, популяциями и характеристиками.

В экспериментах

Исследователи часто заявляют, что эксперименты по своей природе не имеют внешней достоверности. Некоторые утверждают, что при использовании экспериментального метода может возникнуть много недостатков. Благодаря получению достаточного контроля над ситуацией, позволяющего случайным образом назначать людей условиям и исключать влияние посторонних переменных, ситуация может стать несколько искусственной и далекой от реальной жизни.

Речь идет о двух видах обобщаемости:

  1. Степень, в которой мы можем сделать обобщение от ситуации, созданной экспериментатором, к ситуациям реальной жизни ( обобщение по ситуациям ), и
  2. Степень, в которой мы можем сделать обобщение от людей, участвовавших в эксперименте, до людей в целом ( обобщение для разных людей )

Однако оба эти соображения относятся к концепции Кука и Кэмпбелла об обобщении на некоторую целевую совокупность, а не к, возможно, более центральной задаче оценки обобщаемости результатов эксперимента по подгруппам населения, которые отличаются от конкретной изучаемой ситуации и людей, которые отличаются от респондентов. изучены каким-то осмысленным образом.

Критики экспериментов предполагают, что внешнюю валидность можно улучшить за счет использования полевых настроек (или, как минимум, реалистичных лабораторных настроек) и использования истинных вероятностных выборок респондентов. Однако, если цель состоит в том, чтобы понять возможность обобщения среди субпопуляций, которые различаются ситуативными или личными факторами, эти средства не обладают эффективностью в увеличении внешней валидности, которая обычно им приписывается. Если существуют фоновые взаимодействия с лечением фактора X, о которых исследователь не знает (что кажется вероятным), эти исследовательские практики могут маскировать существенное отсутствие внешней валидности. Дипбой и Фланаган, пишущие о промышленной и организационной психологии, отмечают, что данные свидетельствуют о том, что результаты, полученные в одной полевой обстановке и в одной лаборатории, одинаково маловероятны для обобщения во второй полевой обстановке. Таким образом, полевые исследования по своей природе не обладают высокой внешней валидностью, а лабораторные исследования по своей природе не обладают низкой внешней валидностью. В обоих случаях зависит, изменится ли конкретный изученный лечебный эффект с изменениями фоновых факторов, которые в этом исследовании остаются неизменными. Если чье-то исследование «нереалистично» на уровне некоторого фонового фактора, который не взаимодействует с лечением, оно не влияет на внешнюю валидность. Внешняя валидность оказывается под угрозой только в том случае, если эксперимент поддерживает некоторый постоянный фоновый фактор на нереалистичном уровне и если изменение этого фонового фактора выявило бы сильное взаимодействие «Лечение х Фоновый фактор».

Возможность обобщения на разные ситуации

Исследования в области психологических экспериментов, проводимые в университетах, часто критикуют за то, что они проводятся в искусственных ситуациях и что их нельзя распространить на реальную жизнь. Чтобы решить эту проблему, социальные психологи пытаются повысить обобщаемость своих результатов, сделав свои исследования максимально реалистичными. Как отмечалось выше, это делается в надежде на обобщение на какую-то конкретную популяцию. Реализм сам по себе не помогает делать заявления о том, изменились бы результаты, если бы обстановка была более реалистичной, или если бы участники исследования были помещены в другую реалистичную обстановку. Если тестируется только один параметр, невозможно сделать заявления о возможности обобщения по всем параметрам.

Однако многие авторы смешивают внешнюю достоверность и реализм. Есть несколько способов сделать эксперимент реалистичным:

  1. Сходство экспериментальной ситуации с событиями, которые часто происходят в повседневной жизни - ясно, что многие эксперименты явно нереальны.
  2. Во многих экспериментах люди попадают в ситуации, с которыми они редко встречаются в повседневной жизни.

Это относится к степени, в которой эксперимент похож на реальные жизненные ситуации, как обыденный реализм эксперимента .

Более важно обеспечить высокий уровень психологического реализма в исследовании - насколько психологические процессы, запускаемые в эксперименте, похожи на психологические процессы, происходящие в повседневной жизни.

Психологический реализм усиливается, если люди поглощены реальным событием. Для этого исследователи иногда рассказывают участникам историю для прикрытия - ложное описание цели исследования. Однако, если бы экспериментаторы рассказали участникам о цели эксперимента, такая процедура была бы невысокой с точки зрения психологического реализма. В повседневной жизни никто не знает, когда могут произойти чрезвычайные ситуации, и у людей нет времени планировать ответные меры. Это означает, что виды инициируемых психологических процессов будут сильно отличаться от реальных чрезвычайных ситуаций, что снизит психологический реализм исследования.

Люди не всегда знают, почему они делают то, что они делают, или что они делают, пока это не произойдет. Следовательно, описание экспериментальной ситуации участникам и затем просьба к ним отреагировать нормально приведет к ответам, которые могут не совпадать с поведением людей, которые на самом деле находятся в такой же ситуации. Мы не можем полагаться на прогнозы людей о том, что они будут делать в гипотетической ситуации; мы можем узнать, что люди на самом деле будут делать, только когда построим ситуацию, которая запускает те же психологические процессы, которые происходят в реальном мире.

Возможность обобщения среди людей

Социальные психологи изучают, как люди в целом подвержены социальному влиянию. Несколько экспериментов задокументировали интересный, неожиданный пример социального влияния, когда простое знание того, что другие присутствовали, уменьшало вероятность того, что люди помогли.

Единственный способ быть уверенным в том, что результаты эксперимента отражают поведение определенной популяции, - это обеспечить случайный выбор участников из этой популяции. Выборки в экспериментах не могут быть выбраны случайным образом, как в опросах, потому что выбор случайных выборок для экспериментов по социальной психологии непрактичен и дорого обходится. Достаточно сложно убедить случайную выборку людей согласиться ответить на несколько вопросов по телефону в рамках политического опроса, а проведение таких опросов может стоить тысячи долларов. Более того, даже если кто-то каким-то образом смог набрать действительно случайную выборку, может наблюдаться ненаблюдаемая неоднородность в эффектах экспериментального лечения ... Лечение может иметь положительный эффект на одни подгруппы, но отрицательный - на другие. Эффекты, показанные в средних показателях лечения, не могут распространяться на какую-либо подгруппу.

Многие исследователи решают эту проблему, изучая основные психологические процессы, которые делают людей восприимчивыми к социальному влиянию, предполагая, что эти процессы настолько фундаментальны, что они универсальны. Некоторые процессы социального психолога действительно различаются в разных культурах, и в этих случаях необходимо изучать различные образцы людей.

Репликации

Конечным тестом внешней валидности эксперимента является повторение - повторное проведение исследования, как правило, с разными группами испытуемых или в других условиях. Исследователи часто используют разные методы, чтобы проверить, получают ли они те же результаты.

Когда проводится много исследований одной проблемы, результаты могут отличаться. Некоторые исследования могут выявить влияние количества прохожих на помогающее поведение, а некоторые - нет. Чтобы разобраться в этом, существует статистический метод, называемый метаанализом, который усредняет результаты двух или более исследований, чтобы увидеть, является ли эффект независимой переменной надежным. Мета-анализ, по сути, говорит нам о вероятности того, что результаты многих исследований могут быть отнесены на счет случайности или независимой переменной. Если будет обнаружено, что независимая переменная оказывает влияние только в одном из 20 исследований, метаанализ покажет вам, что это одно исследование было исключением и что в среднем независимая переменная не влияет на зависимую переменную. Если независимая переменная оказывает влияние в большинстве исследований, метаанализ, вероятно, покажет нам, что в среднем она влияет на зависимую переменную.

Могут быть достоверные явления, не ограниченные лабораторными исследованиями. Например, было обнаружено, что увеличение числа прохожих препятствует оказанию помощи разным людям, включая детей, студентов университетов и будущих служителей; в Израиле; в маленьких и больших городах США; в различных условиях, например, в психологических лабораториях, на городских улицах и в поездах метро; и с различными типами чрезвычайных ситуаций, такими как захват, потенциальные пожары, драки и аварии, а также с менее серьезными событиями, такими как спущенная шина. Многие из этих повторений проводились в реальных условиях, когда люди не могли знать, что проводится эксперимент.

Основная дилемма социального психолога

При проведении экспериментов в психологии некоторые полагают, что всегда существует компромисс между внутренней и внешней достоверностью.

  1. наличие достаточного контроля над ситуацией, чтобы гарантировать, что никакие посторонние переменные не влияют на результаты, и случайное распределение людей по условиям, и
  2. обеспечение того, чтобы результаты можно было распространить на повседневную жизнь.

Некоторые исследователи считают, что хороший способ повысить внешнюю достоверность - это проведение полевых экспериментов . В полевом эксперименте поведение людей изучается вне лаборатории, в естественных условиях. Полевой эксперимент идентичен по конструкции лабораторному эксперименту, за исключением того, что он проводится в реальных условиях. Участники полевого эксперимента не осознают, что события, которые они переживают, на самом деле являются экспериментом. Некоторые утверждают, что внешняя валидность такого эксперимента высока, потому что он проводится в реальном мире с реальными людьми, которые более разнообразны, чем типичная выборка студентов университета. Однако, поскольку реальные настройки сильно различаются, результаты в одной реальной обстановке могут или не могут быть обобщены на другую реальную настройку.

Ни внутренняя, ни внешняя достоверность не фиксируются в одном эксперименте. Социальные психологи выбирают сначала внутреннюю валидность, проводя лабораторные эксперименты, в которых людей случайным образом распределяют по разным условиям и контролируют все посторонние переменные. Другие социальные психологи предпочитают внешнюю валидность контролю, проводя большую часть своих исследований в полевых условиях, и многие делают и то, и другое. Взятые вместе, оба типа исследований отвечают требованиям идеального эксперимента. Благодаря воспроизведению исследователи могут изучить данный вопрос исследования с максимальной внутренней и внешней достоверностью.

Смотрите также

Примечания

  1. ^ Митчелла, М. & Джолли, J. (2001). Объяснение дизайна исследования (4-е изд.) Нью-Йорк: Харкорт.
  2. ^ a b c d Аронсон, Э., Уилсон, Т. Д., Акерт, Р. М., и Фер, Б. (2007). Социальная психология. (4-е изд.). Торонто, Онтарио: Образование Пирсона.
  3. ^ a b Перл, Иудея; Барейнбойм, Элиас (2014). «Внешняя действительность: От делать -исчисление к транспортабельности всей популяции». Статистическая наука . 29 (4): 579–595. arXiv : 1503.01603 . DOI : 10.1214 / 14-sts486 . S2CID  5586184 .
  4. ^ Трохим, Уильям М. База знаний о методах исследования, 2-е издание.
  5. ^ а б в г д Линч, Джон (1982). «О внешней валидности экспериментов в потребительских исследованиях». Журнал потребительских исследований . 9 (3): 225–239. DOI : 10.1086 / 208919 . JSTOR  2488619 .
  6. ^ a b Кук, Томас Д .; Кэмпбелл, Дональд Т. (1979). Квази-экспериментирование: вопросы проектирования и анализа для полевых настроек . Чикаго: Издательская компания колледжа Рэнда МакНалли. ISBN 978-0395307908.
  7. ^ a b Линч, Джон (1999). «Теория и внешняя валидность». Журнал Академии маркетинговых наук . 27 (3): 367–76. CiteSeerX  10.1.1.417.8073 . DOI : 10.1177 / 0092070399273007 . S2CID  145357923 .
  8. ↑ Жемчужина, Иудея (1995). «Причинно-следственные диаграммы для эмпирических исследований» . Биометрика . 82 (4): 669–710. DOI : 10.1093 / Biomet / 82.4.669 .
  9. ^ Bareinboim, Элиас; Жемчуг, Иудея (2013). «Общий алгоритм определения переносимости экспериментальных результатов». Журнал причинного вывода . 1 (1): 107–134. arXiv : 1312,7485 . DOI : 10.1515 / МПМ-2012-0004 . S2CID  13325846 .
  10. ^ Marcellesi, Alexandre (декабрь 2015). «Внешняя валидность: есть ли проблема?». Философия науки . 82 (5): 1308–1317. DOI : 10.1086 / 684084 . S2CID  125072255 .
  11. ^ Перл, Иудея (2015). Обобщение экспериментальных результатов . Журнал причинного вывода . 3 (2). С. 259–266.
  12. ^ a b Барейнбойм, Элиас; Тиан, Джин; Жемчуг, Иудея (2014). Бродли, Карла Э .; Стоун, Питер (ред.). «Восстановление от смещения отбора в причинно-следственных и статистических выводах». Труды Двадцать восьмой конференции AAAI по искусственному интеллекту : 2410–2416.
  13. ↑ Перл, Иудея; Глимур, Мэделин; Джуэлл, Николас П. (2016). Причинно-следственный вывод в статистике: учебник . Нью-Йорк: Вили.
  14. ^ a b Барейнбойм, Элиас; Жемчуг, Иудея (2016). «Причинно-следственный вывод и проблема слияния данных» . Труды Национальной академии наук . 113 (27): 7345–7352. DOI : 10.1073 / pnas.1510507113 . PMC  4941504 . PMID  27382148 .
  15. ^ Кэмпбелл, Дональд Т. (1957). «Факторы, имеющие отношение к действительности экспериментов в социальных условиях» . Психологический бюллетень . 54 (4): 297–312. DOI : 10.1037 / h0040950 . ISSN  1939-1455 . PMID  13465924 .
  16. ^ Лин, Хауз; Werner, Kaitlyn M .; Инзлихт, Майкл (2021-02-16). «Обещания и опасности экспериментов: проблема взаимной внутренней действительности» . Перспективы психологической науки . 16 (4): 854–863. DOI : 10.1177 / 1745691620974773 . ISSN  1745-6916 . PMID  33593177 . S2CID  231877717 .
  17. ^ Шрам, Артур (2005-06-01). «Искусственность: противоречие между внутренней и внешней достоверностью в экономических экспериментах» . Журнал экономической методологии . 12 (2): 225–237. DOI : 10.1080 / 13501780500086081 . ISSN  1350-178X . S2CID  145588503 .
  18. ^ Линкольн, YS; Губа, ЭГ (1986). «Но насколько оно строго? Достоверность и достоверность в натуралистической оценке». В Уильямс, Д. Д. (ред.). Натуралистическая оценка . Новые направления оценки программ. 30 . Сан-Франциско: Джосси-Басс. С. 73–84. ISBN 0-87589-728-2.
  19. ^ a b Dipboye, Роберт Л .; Фланаган, Майкл Ф. (1979). «Параметры исследования в промышленной и организационной психологии: выводы в этой области более обобщаемы, чем лабораторные». Американский психолог . 34 (2): 141–150. DOI : 10.1037 / 0003-066x.34.2.141 .
  20. ^ а б Аронсон, Э., и Карлсмит, Дж. М. (1968). Эксперименты в социальной психологии. В Г. Линдзи и Э. Аронсон (ред.), Справочник по социальной психологии. (Том 2, стр. 1–79). Рединг, Массачусетс: Аддисон-Уэсли.
  21. ^ Яркони, Tal (2020-12-21). «Кризис обобщаемости» . Поведенческие науки и науки о мозге : 1–37. DOI : 10.1017 / S0140525X20001685 . ISSN  0140-525X . PMID  33342451 .
  22. Перейти ↑ Aronson, E., Wilson, TD, & Brewer, m. (1998). Экспериментальные методы. В Д. Гилберте, С. Фиске и Г. Линдзи (ред.), Справочник по социальной психологии. (4-е изд., Том 1, стр. 99–142). Нью-Йорк: Random House.
  23. ^ Хатчинсон, Дж. Уэсли; Камакура, Вагнер А .; Линч, Джон Г. (2000). «Незаметная неоднородность как альтернативное объяснение« обратных »эффектов в поведенческих исследованиях». Журнал потребительских исследований . 27 (3): 324–344. DOI : 10,1086 / 317588 . JSTOR  10.1086 / 317588 . S2CID  16353123 .
  24. ^ а б Дарли, JM; Бэтсон, компакт-диск (1973). «От Иерусалима до Иерихона: исследование ситуационных и диспозиционных переменных в оказании помощи». Журнал личности и социальной психологии . 27 : 100–108. DOI : 10.1037 / h0034449 .
  25. ^ Шварц, SH; Готлиб А. (1976). «Реакция очевидцев на насильственную кражу: преступление в Иерусалиме». Журнал личности и социальной психологии . 34 (6): 1188–1199. DOI : 10.1037 / 0022-3514.34.6.1188 . PMID  1003323 .
  26. ^ Latane, B .; Даббс, Дж. М. (1975). «Секс, размер группы и помощь в трех городах». Социометрия . 38 (2): 108–194. DOI : 10.2307 / 2786599 . JSTOR  2786599 .
  27. ^ Харрисон, JA; Уэллс, РБ (1991). «Влияние свидетелей на мужское помогающее поведение: социальное сравнение и распространение ответственности». Репрезентативное исследование в социальной психологии . 96 : 187–192.
  28. ^ Latane, B .; Дарли, Дж. М. (1968). «Групповое подавление вмешательства посторонних». Журнал личности и социальной психологии . 10 (3): 215–221. DOI : 10.1037 / h0026570 . PMID  5704479 .
  29. ^ Hurley, D .; Аллен, Б.П. (1974). «Влияние количества людей, находящихся в неаварийной ситуации». Журнал социальной психологии . 92 : 27–29. DOI : 10.1080 / 00224545.1974.9923068 .
  30. ^ Латане, Б., & Дарлей, Дж.М. (1970). Невозмутимый наблюдатель: Почему он не помогает? Энглвудские скалы, Нью-Джерси: Прентис-Холл