Оптимальный дизайн - Optimal design

Густав Эльфвинг разработал оптимальный план экспериментов и, таким образом, минимизировал потребность геодезистов в измерениях теодолита (на фото) , когда он был заперт в своей палатке в охваченной штормом Гренландии .

В дизайне экспериментов , оптимальные конструкции (или оптимальная конструкция ) представляют собой класс экспериментальных конструкций , которые являются оптимальными по отношению к некоторому статистическому критерию . Создание этой области статистики было приписано датскому статистику Кирстине Смит .

В проектировании экспериментов для оценки статистических моделей , оптимальные конструкции позволяют изменять параметры , которые будут оценены без смещения и с минимальной дисперсией . Неоптимальная конструкция требует большего количества экспериментальных прогонов , чтобы оценить те параметры , с той же точностью , как дизайн оптимального. На практике оптимальные эксперименты могут снизить стоимость экспериментов.

Оптимальность плана зависит от статистической модели и оценивается по статистическому критерию, который связан с матрицей дисперсии оценщика. Для определения подходящей модели и определения подходящей целевой функции требуется понимание статистической теории и практические знания при планировании экспериментов .

Преимущества

Оптимальные планы имеют три преимущества перед субоптимальными экспериментальными планами :

1. Оптимальные планы сокращают затраты на эксперименты, позволяя оценивать статистические модели с меньшим количеством экспериментов.
2. Оптимальные конструкции могут учитывать несколько типов факторов, таких как процесс, смесь и дискретные факторы.
3. Проекты могут быть оптимизированы, когда пространство проектирования ограничено, например, когда математическое пространство процесса содержит практически невыполнимые настройки факторов (например, из соображений безопасности).

Минимизация дисперсии оценок

Экспериментальные планы оцениваются с использованием статистических критериев.

Известно , что по методу наименьших квадратов оценки минимизирует дисперсию из средних - несмещенная оценок (при условиях теоремы Гаусса-Маркова ). В оценках теории для статистических моделей с одним реальным параметром , на обратной дисперсии в ( «эффективную» ) оценке называются « информацией Фишера » для этой оценки. Из - за этой взаимности, сводя к минимуму в дисперсии соответствует максимизации на информацию .

Однако, когда статистическая модель имеет несколько параметров , среднее значение параметра оценки является вектором, а его дисперсия - матрицей . Обратная матрица дисперсии-матрицы называется «информационная матрица». Поскольку дисперсия оценщика вектора параметров представляет собой матрицу, проблема «минимизации дисперсии» усложняется. Используя статистическую теорию , статистики сжимают информационную матрицу, используя сводную статистику с действительными значениями ; будучи функциями с действительным знаком, эти «информационные критерии» могут быть максимизированы. Традиционная оптимальность-критерий являются инвариантами по информационной матрице; С алгебраической точки зрения традиционные критерии оптимальности являются функционалами собственных значений информационной матрицы.

• A -оптимальность (« среднее » или след )
  • Одним из критериев является A-оптимальность , который стремится минимизировать след в обратной информационной матрицы. Этот критерий приводит к минимизации средней дисперсии оценок коэффициентов регрессии.
• C -оптимальность
  • Этот критерий минимизирует дисперсию наилучшей линейной несмещенной оценки заранее определенной линейной комбинации параметров модели.
• D -оптимальность ( детерминант )
  • Популярный критерий D-оптимальности , который стремится свести к минимуму | (X'X) ^-1 |, или , что эквивалентно максимизации определителя от информационной матрицы X'X конструкции. Этот критерий приводит к максимальному увеличению дифференциального информационного содержания Шеннона оценок параметров.
• E -оптимальность ( собственное значение )
  • Другой вариант - E-оптимальность , которая максимизирует минимальное собственное значение информационной матрицы.
• T -оптимальность
  • Этот критерий максимизирует след информационной матрицы.

Другие критерии оптимальности связаны с дисперсией прогнозов :

• G -оптимальность
  • Популярный критерий G-оптимальности , который стремится свести к минимуму запись максимума в диагонали в шляпе матрица X (X'X) ^-1 X». Это позволяет свести к минимуму максимальную дисперсию предсказанных значений.
• I -оптимальность ( интегрированная )
  • Второй критерий дисперсии предсказания - это I-оптимальность , которая направлена ​​на минимизацию средней дисперсии предсказания в пространстве дизайна .
• V -оптимальность ( дисперсия )
  • Третий критерий дисперсии предсказания - это V-оптимальность , которая стремится минимизировать среднюю дисперсию предсказания по набору из m конкретных точек.

Контрасты

Во многих приложениях статистиков больше интересует «интересующий параметр» , чем «мешающие параметры» . В более общем плане статистики рассматривают линейные комбинации параметров, которые оцениваются с помощью линейных комбинаций средств обработки при планировании экспериментов и при дисперсионном анализе ; такие линейные комбинации называются контрастами . Статистики могут использовать соответствующие критерии оптимальности для таких интересующих параметров и контрастов .

Реализация

Каталоги оптимальных проектов встречаются в книгах и в библиотеках программного обеспечения.

Кроме того, в основных статистических системах, таких как SAS и R, есть процедуры для оптимизации проекта в соответствии со спецификациями пользователя. Экспериментатор должен определить модель для плана и критерий оптимальности, прежде чем метод сможет вычислить оптимальный план.

Практические соображения

Некоторые продвинутые темы в оптимальном дизайне требуют больше статистической теории и практических знаний при планировании экспериментов.

Зависимость и надежность модели

Поскольку критерий оптимальности большинства оптимальных планов основан на некоторой функции информационной матрицы, «оптимальность» данного дизайна зависит от модели : хотя оптимальный дизайн лучше всего подходит для этой модели , его производительность может ухудшиться на других моделях . На других моделях , оптимальная конструкция может быть лучше или хуже , чем неоптимальной конструкции. Таким образом, важно оценить производительность конструкций в альтернативных моделях .

Выбор критерия оптимальности и надежности

Выбор подходящего критерия оптимальности требует некоторого размышления, и полезно оценить производительность проектов по нескольким критериям оптимальности. Корнелл пишет, что

поскольку критерий [традиционной оптимальности]. . . являются критериями минимизации дисперсии,. . . конструкция, оптимальная для данной модели с использованием одного из. . . критерий обычно близок к оптимальному для той же модели по отношению к другим критериям.

- 

Действительно, согласно теории «универсальной оптимальности» Кифера , существует несколько классов планов, для которых совпадают все традиционные критерии оптимальности . Опыт таких практиков, как Корнелл, и теория «универсальной оптимальности» Кифера предполагают, что устойчивость к изменениям критерия оптимальности намного выше, чем устойчивость к изменениям в модели .

Гибкие критерии оптимальности и выпуклый анализ

Высококачественное статистическое программное обеспечение предоставляет комбинацию библиотек оптимальных планов или итерационных методов для построения приблизительно оптимальных планов, в зависимости от указанной модели и критерия оптимальности. Пользователи могут использовать стандартный критерий оптимальности или могут программировать индивидуальный критерий.

Все традиционные критерии оптимальности являются выпуклыми (или вогнутыми) функциями , поэтому оптимальные планы поддаются математической теории выпуклого анализа, а их вычисление может использовать специализированные методы выпуклой минимизации . Практикующему специалисту не нужно выбирать точно один традиционный критерий оптимальности, но он может указать индивидуальный критерий. В частности, практик может указать выпуклый критерий, используя максимумы выпуклых критериев оптимальности и неотрицательные комбинации критериев оптимальности (поскольку эти операции сохраняют выпуклые функции ). Для выпуклых критериев оптимальности, то Кифер - Вулфовиц эквивалентности теорема позволяет практикующему , чтобы проверить , что данная конструкция является глобально оптимальным. Кифер - Вулфовицы эквивалентность теорема связана с Лежандра - Фенхель сопряженностью для выпуклых функций .

Если критерию оптимальности не хватает выпуклости , то найти глобальный оптимум и проверить его оптимальность часто бывает сложно.

Неопределенность модели и байесовские подходы

Выбор модели

Когда ученые хотят проверить несколько теорий, статистик может разработать эксперимент, который позволяет проводить оптимальные тесты между указанными моделями. Такие «эксперименты по распознаванию» особенно важны в биостатистике, поддерживающей фармакокинетику и фармакодинамику , после работ Кокса и Аткинсона.

Байесовский экспериментальный дизайн

Когда практикующим специалистам необходимо рассмотреть несколько моделей , они могут указать меру вероятности для моделей, а затем выбрать любую схему, максимизирующую ожидаемую ценность такого эксперимента. Такие вероятностные оптимальные планы называются оптимальными байесовскими планами . Такие байесовские планы используются особенно для обобщенных линейных моделей (где отклик следует экспоненциально-семейному распределению).

Однако использование байесовского плана не заставляет статистиков использовать байесовские методы для анализа данных. Действительно, некоторые исследователи не одобряют «байесовский» ярлык для вероятностных экспериментальных планов. Альтернативная терминология для «байесовской» оптимальности включает «среднюю» оптимальность или «популяционную» оптимальность.

Итеративное экспериментирование

Научные эксперименты - это итеративный процесс, и статистики разработали несколько подходов к оптимальному планированию последовательных экспериментов.

Последовательный анализ

Последовательный анализ был впервые предложен Абрахамом Уолдом . В 1972 году Герман Чернов написал обзор оптимальных последовательных планов, в то время как адаптивные планы были позже исследованы С. Заксом. Конечно, большая работа по оптимальной конструкции экспериментов связана с теорией оптимальных решений , особенно статистической теории принятия решений о Abraham Wald .

Методология поверхности отклика

Оптимальные планы для моделей поверхности отклика обсуждаются в учебнике Аткинсона, Донева и Тобиаса, а также в обзоре Гаффке и Хейлигера и в математическом тексте Пукельсхайма. Блокировка оптимальных конструкций обсуждаются в учебнике Аткинсон, Донев и Тобиас , а также в монографии Goos.

Самые ранние оптимальные планы были разработаны для оценки параметров регрессионных моделей с непрерывными переменными, например, Дж. Д. Гергонном в 1815 г. (Стиглер). На английском языке два ранних вклада сделали Чарльз С. Пирс и Кирстин Смит .

Новаторские конструкции многомерных поверхностей отклика были предложены Джорджем Е.П. Боксом . Однако у конструкций Бокса мало свойств оптимальности. Действительно, план Бокса – Бенкена требует чрезмерных экспериментов, когда количество переменных превышает три. «Центрально-композитный» дизайн Box требует большего количества экспериментов, чем оптимальные конструкции Kôno.

Идентификация системы и стохастическая аппроксимация

Оптимизация последовательных экспериментов изучаются также в стохастическом программировании и систем и управлении . Популярные методы включают стохастическую аппроксимацию и другие методы стохастической оптимизации . Большая часть этого исследования была связана с субдисциплиной идентификации систем . В области оптимального вычислительного управления Д. Юдин, А. Немировский и Борис Поляк описали методы, которые более эффективны, чем правила размера шага (в стиле Армиджо ), введенные GEP Box в методологии поверхности отклика .

Адаптивные дизайны используются в клинических испытаниях , а оптимальные адаптивные дизайны рассматриваются в главе « Справочник экспериментальных дизайнов » Шелемяху Закса.

Указание количества экспериментальных запусков

Использование компьютера для поиска хорошего дизайна

Существует несколько методов поиска оптимального дизайна с учетом априорных ограничений на количество экспериментов или повторений. Некоторые из этих методов обсуждаются Аткинсоном, Доневым и Тобиасом, а также в статье Хардин и Слоан . Конечно, фиксировать количество экспериментов априори нецелесообразно. Благоразумные статистики исследуют другие оптимальные планы, количество экспериментов которых различается.

Дискретные планы измерения вероятности

В математической теории оптимальных экспериментов оптимальный план может быть вероятностной мерой, которая поддерживается в бесконечном множестве точек наблюдения. Такие оптимальные схемы измерения вероятностей решают математическую задачу, в которой не учитывается стоимость наблюдений и экспериментальных прогонов. Тем не менее, такие оптимальные планы с вероятностной мерой могут быть дискретизированы для получения приблизительно оптимальных планов.

В некоторых случаях для поддержки оптимального проекта достаточно конечного набора точек наблюдения . Такой результат был доказан Коно и Кифером в их работах по планам поверхностей отклика для квадратичных моделей. Анализ Коно-Кифера объясняет, почему оптимальные конструкции для поверхностей отклика могут иметь дискретные опоры, которые очень похожи, как и менее эффективные конструкции, которые были традиционными в методологии поверхностей отклика .

История

По словам Стиглера, в 1815 году Джозеф Диас Гергонн опубликовал статью об оптимальных планах полиномиальной регрессии .

Чарльз С. Пирс в 1876 году предложил экономическую теорию научных экспериментов, цель которой - максимизировать точность оценок. Оптимальное распределение Пирса сразу же повысило точность гравитационных экспериментов и десятилетиями использовалось Пирсом и его коллегами. В своей опубликованной в 1882 году лекции в Университете Джона Хопкинса Пирс представил экспериментальный дизайн следующими словами:

Логика не возьмется сообщать вам, какие эксперименты вам следует провести, чтобы наилучшим образом определить ускорение свободного падения или величину Ома; но он расскажет вам, как приступить к формированию плана экспериментов.

[....] К сожалению, практика обычно предшествует теории, и обычная судьба человечества - сначала делать что-то каким-то непостижимым способом, а потом выяснять, как это можно было бы сделать намного проще и совершеннее.

Кирстин Смит предложила оптимальные планы для полиномиальных моделей в 1918 году (Кирстин Смит была ученицей датского статистика Торвальда Н. Тиле и работала с Карлом Пирсоном в Лондоне).

Смотрите также

Примечания

использованная литература

• Аткинсон, AC; Донев АН; Тобиас, RD (2007). Оптимальные экспериментальные планы с SAS. Издательство Оксфордского университета . С. 511 + xvi. ISBN 978-0-19-929660-6.
• Чернов, Герман (1972). Последовательный анализ и оптимальный дизайн . Общество промышленной и прикладной математики. ISBN 978-0-89871-006-9.
• Федоров, В.В. (1972). Теория оптимальных экспериментов . Академическая пресса.
• Федоров, Валерий В .; Хакл, Питер (1997). Модельно-ориентированный план экспериментов . Конспект лекций по статистике. 125 . Springer-Verlag.
• Гус, Питер (2002). Оптимальный план экспериментов с блокированными и разделенными участками . Конспект лекций по статистике . 164 . Springer.
• Кифер, Джек Карл (1985). Коричневый ; Олкин, Инграм ; Мешки, Джером ; и другие. (ред.). Джек Карл Кифер: Сборник статей III - Планирование экспериментов . Спрингер-Верлаг и Институт математической статистики. стр.718 + xxv. ISBN 978-0-387-96004-3.
• Logothetis, N .; Винн, Х. П. (1989). Качество через дизайн: экспериментальный дизайн, автономный контроль качества и вклад Тагучи . Oxford U. P. стр. 464 + xi. ISBN 978-0-19-851993-5.
• Нордстрём, Кеннет (май 1999 г.). «Жизнь и творчество Густава Эльфвинга» . Статистическая наука . 14 (2): 174–196. DOI : 10,1214 / сс / 1009212244 . JSTOR  2676737 . Руководство по ремонту  1722074 .
• Пукельсхайм, Фридрих (2006). Оптимальный план экспериментов . Классика прикладной математики. 50 (переиздание со списком исправлений и новым предисловием к изданию Wiley (0-471-61971-X) 1993 г.). Общество промышленной и прикладной математики . С. 454 + xxxii. ISBN 978-0-89871-604-7.
• Шах, Кирти Р. и Синха, Бикас К. (1989). Теория оптимальных дизайнов . Конспект лекций по статистике . 54 . Springer-Verlag. С. 171 + viii. ISBN 978-0-387-96991-6.

дальнейшее чтение

Учебники для практиков и студентов

Учебники с упором на методологию регрессии и поверхности отклика

Учебник Аткинсона, Донева и Тобиаса использовался для кратких курсов для промышленных практиков, а также для университетских курсов.

• Аткинсон, AC; Донев АН; Тобиас, RD (2007). Оптимальные экспериментальные планы с SAS. Издательство Оксфордского университета. С. 511 + xvi. ISBN 978-0-19-929660-6.
• Logothetis, N .; Винн, HP (1989). Качество через дизайн: экспериментальный дизайн, автономный контроль качества и вклад Тагучи . Oxford UP стр. 464 + xi. ISBN 978-0-19-851993-5.

Учебники с упором на блочные конструкции

Оптимальные блочные конструкции обсуждаются Бейли и Бапатом. В первой главе книги Бапата рассматривается линейная алгебра, используемая Бейли (или более сложные книги, приведенные ниже). Упражнения Бейли и обсуждение рандомизации подчеркивают статистические концепции (а не алгебраические вычисления).

• Бейли, РА (2008). Дизайн сравнительных экспериментов . Cambridge UP ISBN 978-0-521-68357-9.Проект доступен в режиме онлайн. (Особенно Глава 11.8 «Оптимальность»)
• Бапат, РБ (2000). Линейная алгебра и линейные модели (второе изд.). Springer. ISBN 978-0-387-98871-9. (Глава 5 «Блочные конструкции и оптимальность», страницы 99–111)

Оптимальные блочные конструкции обсуждаются в продвинутой монографии Шаха и Синхи и в обзорных статьях Ченга и Маджумдара.

Книги для профессиональных статистиков и исследователей

• Чернов, Герман (1972). Последовательный анализ и оптимальный дизайн . СИАМ . ISBN 978-0-89871-006-9.
• Федоров, В.В. (1972). Теория оптимальных экспериментов . Академическая пресса.
• Федоров, Валерий В .; Хакл, Питер (1997). Модельно-ориентированный план экспериментов . 125 . Springer-Verlag.
• Гус, Питер (2002). Оптимальный план экспериментов с блокированными и разделенными участками . 164 . Springer.
• Гус, Питер и Джонс, Брэдли (2011). Оптимальный план экспериментов: подход тематического исследования . Чичестер Уайли. п. 304. ISBN 978-0-470-74461-1.
• Кифер, Джек Карл . (1985). Браун, Лоуренс Д .; Олкин, Инграм ; Джером Сакс; Винн, Генри П. (ред.). Джек Карл Кифер Сборник статей III Планирование экспериментов . Спрингер-Верлаг и Институт математической статистики . ISBN 978-0-387-96004-3.
• Пукельсхайм, Фридрих (2006). Оптимальный план экспериментов . 50 . Общество промышленной и прикладной математики . ISBN 978-0-89871-604-7. Переиздание со списком исправлений и новым предисловием к Wiley (0-471-61971-X) 1993 г.
• Шах, Кирти Р. и Синха, Бикас К. (1989). Теория оптимальных дизайнов . 54 . Springer-Verlag. ISBN 978-0-387-96991-6.

Статьи и главы

• Чалонер, Кэтрин и Вердинелли, Изабелла (1995). «Байесовский экспериментальный дизайн: обзор» . Статистическая наука . 10 (3): 273–304. CiteSeerX  10.1.1.29.5355 . DOI : 10,1214 / сс / 1177009939 .
• Ghosh, S .; Рао, CR , ред. (1996). Планирование и анализ экспериментов . Справочник по статистике. 13 . Северная Голландия. ISBN 978-0-444-82061-7.
  • « Модельные надежные конструкции». Планирование и анализ экспериментов . Справочник по статистике. С. 1055–1099.
  • Ченг, К.-С. «Оптимальный дизайн: точная теория». Планирование и анализ экспериментов . Справочник по статистике. С. 977–1006.
  • ДасГупта, А. "Обзор оптимальных байесовских схем ". Планирование и анализ экспериментов . Справочник по статистике. С. 1099–1148.
  • Гаффке, Н. & Хейлигерс, Б. "Приближенные планы для полиномиальной регрессии : инвариантность , допустимость и оптимальность". Планирование и анализ экспериментов . Справочник по статистике. С. 1149–1199.
  • Маджумдар, Д. «Оптимальные и эффективные схемы лечения и контроля». Планирование и анализ экспериментов . Справочник по статистике. С. 1007–1054.
  • Стуфкен, Дж. "Оптимальные конструкции кроссовера ". Планирование и анализ экспериментов . Справочник по статистике. С. 63–90.
  • Закс, С. "Адаптивные конструкции для параметрических моделей". Планирование и анализ экспериментов . Справочник по статистике. С. 151–180.
• Коно, Казумаса (1962). «Оптимальные планы для квадратичной регрессии на k- кубе» (PDF) . Воспоминания факультета естественных наук. Университет Кюсю. Серия А. Математика . 16 (2): 114–122. DOI : 10.2206 / kyushumfs.16.114 .

Исторический

• Gergonne, JD (ноябрь 1974 г.) [1815]. «Применение метода наименьших квадратов к интерполяции последовательностей» . Historia Mathematica (Перевод Ральфа Сент-Джона и С.М. Стиглера из французского изд. 1815 г.). 1 (4): 439–447. DOI : 10.1016 / 0315-0860 (74) 90034-2 .
• Стиглер, Стивен М. (ноябрь 1974 г.). «Статья Жергонна 1815 года о дизайне и анализе экспериментов по полиномиальной регрессии» . Historia Mathematica . 1 (4): 431–439. DOI : 10.1016 / 0315-0860 (74) 90033-0 .
• Пирс, С.С. (1876 г.). «Записка по теории экономики исследований». Отчет об исследовании побережья : 197–201.(Приложение №14). NOAA PDF Eprint . Перепечатано в Сборнике бумаг Чарльза Сандерса Пирса . 7 . 1958 г.параграфы 139–157, и в Peirce, CS (июль – август 1967 г.). «Записка по теории экономики исследований». Исследование операций . 15 (4): 643–648. DOI : 10.1287 / opre.15.4.643 . JSTOR  168276 .
• Смит, Кирстин (1918). «О стандартных отклонениях скорректированных и интерполированных значений наблюдаемой полиномиальной функции и ее констант и их указаниях по правильному выбору распределения наблюдений» . Биометрика . 12 (1/2): 1–85. DOI : 10.2307 / 2331929 . JSTOR  2331929 .