Квазиэксперимент - Quasi-experiment

Квази-эксперимент представляет собой эмпирическое интервенционное исследование было использован для оценки причинного воздействия вмешательства на целевой популяции без рандомизации . Квазиэкспериментальное исследование имеет сходство с традиционным экспериментальным дизайном или рандомизированным контролируемым исследованием , но в нем конкретно отсутствует элемент случайного распределения для лечения или контроля. Вместо этого квазиэкспериментальные планы обычно позволяют исследователю контролировать отнесение к условию лечения, но с использованием какого-либо критерия, отличного от случайного назначения (например, граничной отметки приемлемости).

Квазиэксперименты вызывают опасения относительно внутренней валидности , потому что экспериментальная и контрольная группы могут быть несопоставимы на исходном уровне. Другими словами, может оказаться невозможным убедительно продемонстрировать причинную связь между состоянием лечения и наблюдаемыми результатами. Это особенно верно, если есть смешанные переменные, которые нельзя контролировать или учитывать.

При случайном распределении участники исследования имеют одинаковые шансы быть отнесенными к группе вмешательства или группе сравнения. В результате различия между группами как по наблюдаемым, так и по ненаблюдаемым характеристикам будут обусловлены случайностью, а не систематическим фактором, связанным с лечением (например, тяжестью заболевания). Сама по себе рандомизация не гарантирует, что группы будут эквивалентны на исходном уровне. Любое изменение характеристик после вмешательства, вероятно, связано с вмешательством.

Дизайн

Первая часть создания квазиэкспериментального дизайна - это определение переменных. Квази-независимой переменной будет х-переменная, переменная , которая управляется для того , чтобы повлиять на зависимую переменную. «X» - это обычно группирующая переменная с разными уровнями. Группировка означает две или более групп, например две группы, получающие альтернативные методы лечения, или группу лечения и группу без лечения (которым может быть дано плацебо - плацебо чаще используется в медицинских или физиологических экспериментах). Прогнозируемый результат - это зависимая переменная , то есть y-переменная. При анализе временных рядов зависимая переменная отслеживается во времени на предмет любых возможных изменений. После того, как переменные были идентифицированы и определены, следует внедрить процедуру и изучить групповые различия.

В эксперименте со случайным назначением единицы исследования имеют одинаковые шансы быть отнесенными к данному условию лечения. Таким образом, случайное распределение гарантирует, что экспериментальная и контрольная группы эквивалентны. В квазиэкспериментальном плане отнесение к данному условию лечения основано не на случайном отнесении. В зависимости от типа квазиэкспериментального плана исследователь может иметь контроль над назначением условий лечения, но использовать некоторые критерии, отличные от случайного назначения (например, пороговый балл), чтобы определить, какие участники получают лечение, или исследователь может не иметь контроль над назначением условий лечения и критерии, используемые для назначения, могут быть неизвестны. Такие факторы, как стоимость, осуществимость, политические соображения или удобство, могут повлиять на то, как и будут ли участники назначены на определенные условия лечения, и поэтому квазиэксперименты могут вызывать опасения относительно внутренней валидности (т. Е. Могут ли результаты эксперимента быть используется для причинного вывода?).

Квазиэксперименты также эффективны, потому что они используют «предварительное тестирование». Это означает, что перед сбором каких-либо данных проводятся тесты, чтобы увидеть, есть ли кто-то сбивает с толку или есть ли у кого-то из участников определенные тенденции. Затем проводится фактический эксперимент с записью результатов тестирования. Эти данные можно сравнить как часть исследования, или данные предварительного тестирования могут быть включены в объяснение фактических экспериментальных данных. Квазиэксперименты имеют уже существующие независимые переменные, такие как возраст, пол, цвет глаз. Эти переменные могут быть непрерывными (возраст) или категориальными (пол). Короче говоря, встречающиеся в природе переменные измеряются в рамках квазиэкспериментов.

Существует несколько типов квазиэкспериментальных проектов, каждый из которых имеет свои сильные и слабые стороны и возможности применения. Эти конструкции включают (но не ограничиваются):

Из всех этих дизайнов план прерывания регрессии наиболее близок к экспериментальному плану, так как экспериментатор поддерживает контроль над назначением лечения, и известно, что он «дает объективную оценку эффектов лечения». Однако для этого требуется большое количество участников исследования и точное моделирование функциональной формы между заданием и переменной результата, чтобы получить такую ​​же мощность, как при традиционном дизайне эксперимента.

Хотя квазиэксперименты иногда избегают те, кто считает себя экспериментальными пуристами (что привело к тому, что Дональд Т. Кэмпбелл ввел для них термин «тошнотворные эксперименты»), они исключительно полезны в областях, где невозможно или нежелательно проводить эксперимент или рандомизированное контрольное исследование. Такие примеры включают оценку воздействия изменений государственной политики, образовательных мероприятий или крупномасштабных медицинских вмешательств. Основным недостатком квазиэкспериментальных планов является то, что они не могут исключить возможность искажающей систематической ошибки, которая может препятствовать способности делать причинные выводы. Этот недостаток часто используется для обесценивания квазиэкспериментальных результатов. Однако такое смещение можно контролировать с помощью различных статистических методов, таких как множественная регрессия, если можно идентифицировать и измерить искажающие переменные. Такие методы могут использоваться для моделирования и частичного исключения эффектов методов смешивания переменных, тем самым повышая точность результатов, полученных в квазиэкспериментах. Более того, развивающееся использование сопоставления оценок предрасположенности для сопоставления участников по переменным, важным для процесса выбора лечения, также может повысить точность квазиэкспериментальных результатов. Фактически, данные, полученные в результате квазиэкспериментального анализа, в некоторых случаях показали точное соответствие экспериментальным данным, даже когда использовались разные критерии. В общем, квазиэксперименты - ценный инструмент, особенно для прикладных исследователей. Сами по себе квазиэкспериментальные планы не позволяют делать окончательных причинно-следственных выводов; однако они предоставляют необходимую и ценную информацию, которую нельзя получить только экспериментальными методами. Исследователи, особенно те, кто интересуется вопросами прикладных исследований, должны выйти за рамки традиционного экспериментального дизайна и воспользоваться возможностями, присущими квазиэкспериментальным планам.

Этика

Истинный эксперимент будет, например, случайным образом назначать ребенок в науку, в целях контроля для всех других переменных. Квазиэксперименты обычно используются в социальных науках , общественном здравоохранении , образовании и анализе политики , особенно когда нецелесообразно или нецелесообразно рандомизировать участников исследования по условиям лечения.

В качестве примера предположим, что мы делим домохозяйства на две категории: домохозяйства, в которых родители шлепают своих детей, и домохозяйства, в которых родители не шлепают своих детей. Мы можем запустить линейную регрессию, чтобы определить, существует ли положительная корреляция между поркой родителей и агрессивным поведением их детей. Тем не менее, просто случайным образом распределить родителей, чтобы они шлепали или не шлепали своих детей, может быть непрактичным или этичным, потому что некоторые родители могут считать морально неправильным шлепать своих детей и отказываться от участия.

Некоторые авторы различают естественный эксперимент и «квазиэксперимент». Разница в том, что в квазиэксперименте критерий назначения выбирается исследователем, тогда как в естественном эксперименте задание выполняется «естественно», без вмешательства исследователя.

Квазиэксперименты имеют критерии результатов, методы лечения и экспериментальные единицы, но не используют случайное распределение . Квазиэксперименты - это часто дизайн, который большинство людей предпочитает истинным экспериментам. Обычно его легко провести, в отличие от настоящих экспериментов, потому что они включают особенности как экспериментальных, так и не экспериментальных проектов. Могут быть введены измеряемые переменные, а также переменные, которыми управляют. Обычно квазиэксперименты выбираются экспериментаторами, потому что они максимизируют внутреннюю и внешнюю достоверность.

Преимущества

Поскольку квазиэкспериментальные планы используются, когда рандомизация непрактична и / или неэтична, их, как правило, проще организовать, чем настоящие экспериментальные планы, которые требуют случайного распределения субъектов. Кроме того, использование квазиэкспериментальных планов сводит к минимуму угрозы экологической достоверности, поскольку естественная среда не страдает теми же проблемами искусственности, что и хорошо контролируемая лабораторная обстановка. Поскольку квазиэксперименты являются естественными экспериментами, результаты одного могут быть применены к другим предметам и условиям, что позволяет сделать некоторые обобщения о популяции . Кроме того, этот метод экспериментирования эффективен в продольных исследованиях, которые включают более длительные периоды времени, за которыми можно следить в различных условиях.

Другие преимущества квазиэкспериментов включают идею проведения любых манипуляций по выбору экспериментатора. В естественных экспериментах исследователи должны позволить манипуляциям происходить сами по себе и не иметь над ними никакого контроля. Кроме того, использование самостоятельно выбранных групп в квазиэкспериментах также снижает вероятность возникновения этических, условных и других проблем при проведении исследования.

Недостатки

Квазиэкспериментальные оценки воздействия подвержены влиянию смешивающих переменных. В приведенном выше примере на вариацию реакции детей на шлепки правдоподобно влияют факторы, которые нелегко измерить и контролировать, например, внутренняя дикость ребенка или раздражительность родителей. Отсутствие случайного распределения в методе квазиэкспериментального дизайна может сделать исследования более осуществимыми, но это также создает множество проблем для исследователя с точки зрения внутренней валидности. Этот недостаток рандомизации затрудняет исключение мешающих переменных и создает новые угрозы внутренней валидности . Поскольку рандомизация отсутствует, некоторые знания о данных можно приблизить, но выводы о причинно-следственных связях трудно определить из-за множества посторонних и мешающих переменных, существующих в социальной среде. Более того, даже если эти угрозы внутренней валидности оценены, причинно-следственная связь по-прежнему не может быть полностью установлена, потому что экспериментатор не имеет полного контроля над посторонними переменными .

К недостаткам также можно отнести то, что исследовательские группы могут предоставлять более слабые доказательства из-за отсутствия случайности. Случайность приносит много полезной информации в исследование, потому что она расширяет результаты и, следовательно, дает лучшее представление о населении в целом. Использование неравных групп также может быть угрозой для внутренней справедливости. Если группы не равны, что иногда имеет место в квазиэкспериментах, экспериментатор может быть не уверен в причинах результатов.

Внутренняя валидность

Внутренняя достоверность - это приблизительная истина о выводах относительно причинно-следственных или причинно-следственных связей. Вот почему валидность важна для квази-экспериментов, потому что все они касаются причинно-следственных связей. Это происходит, когда экспериментатор пытается контролировать все переменные, которые могут повлиять на результаты эксперимента. Статистическая регрессия, история и участники - все это возможные угрозы внутренней достоверности. Вопрос, который вы хотели бы задать, пытаясь сохранить внутреннюю достоверность на высоком уровне: «Существуют ли какие-либо другие возможные причины результата, помимо той, по которой я хочу, чтобы это было? Если так, то внутренняя валидность может быть не такой сильной.

Внешняя валидность

Внешняя валидность - это степень, в которой результаты, полученные из выборки исследования, могут быть обобщены «на» некоторую четко определенную интересующую популяцию и «на» субпопуляции людей, времени, контекстов и методов исследования. Линч утверждал, что обобщение «на» популяцию почти никогда не возможно, потому что популяции, на которые мы хотели бы проецировать, являются показателями будущего поведения, которые по определению не могут быть взяты из выборки. Таким образом, более актуальным является вопрос, распространяются ли эффекты лечения "на" субпопуляции, которые варьируются в зависимости от фоновых факторов, которые могут не иметь значения для исследователя. Внешняя валидность зависит от того, имеют ли исследования лечения однородные эффекты для разных подгрупп людей, времени, контекстов и методов исследования, или же знак и величина любых эффектов лечения меняются в разных подгруппах способами, которые могут быть не признаны или поняты исследователями. . Ати и Имбенс, Ати и Вейджер первыми разработали методы машинного обучения для индуктивного понимания неоднородных эффектов лечения.

Типы дизайна

« Люди-по-обработка » конструкции являются наиболее распространенным типом квази- планирования эксперимента. В этом дизайне экспериментатор измеряет по крайней мере одну независимую переменную. Наряду с измерением одной переменной экспериментатор также будет управлять другой независимой переменной. Поскольку существует возможность манипулирования и измерения различных независимых переменных, исследования в основном проводятся в лабораториях. Важным фактором при работе с индивидуальными схемами лечения является то, что необходимо будет использовать случайное распределение, чтобы убедиться, что экспериментатор имеет полный контроль над манипуляциями, выполняемыми с исследованием.

Пример такого дизайна был выполнен в Университете Нотр-Дам. Исследование было проведено, чтобы увидеть, приводит ли наставничество к вашей работе к повышению удовлетворенности работой. Результаты показали, что многие люди, у которых действительно был наставник, очень довольны своей работой. Однако исследование также показало, что у тех, кто не получил наставника, также было много довольных сотрудников. Зайберт пришел к выводу, что, хотя рабочие, у которых были наставники, были счастливы, он не мог предположить, что причиной этого были сами наставники из-за большого числа сотрудников, не подвергавшихся наставничеству, которые сказали, что они удовлетворены. Вот почему предварительный скрининг очень важен, чтобы вы могли свести к минимуму любые недостатки в исследовании, прежде чем они будут обнаружены.

«Естественные эксперименты» - это другой тип квази-экспериментов, используемых исследователями. Он отличается от индивидуального лечения тем, что не существует переменной, которой экспериментатор манипулирует. Вместо того, чтобы контролировать хотя бы одну переменную, такую ​​как индивидуальный план лечения, экспериментаторы не используют случайное распределение и оставляют экспериментальный контроль на усмотрение. Отсюда и название « естественный » эксперимент. Манипуляции происходят естественным образом, и хотя это может показаться неточным методом, во многих случаях он действительно оказался полезным. Это исследования, проведенные с людьми, с которыми что-то внезапно случилось. Это могло означать хорошее или плохое, травмирующее или эйфорическое. Примером этого могут быть исследования, проведенные на тех, кто попал в автомобильную аварию, и на тех, кто нет. Автомобильные аварии происходят естественным образом, поэтому было бы неэтично проводить эксперименты с целью травмировать участников исследования. Эти естественные события оказались полезными для изучения случаев посттравматического стрессового расстройства .

Рекомендации

Внешние ссылки