Вячеслав Борисович Мелас о работах по математической теории планирования эксперимента

Математическая теория планирования эксперимента

Началом систематического развития теории планирования эксперимента явились работы выдающегося английского статистика сэра Рональда Фишера, вошедшие в его широко известную монографию (Fisher, 1935). В этих работах комбинаторные методы применялись для выбора уровней факторов с целью повышения информативности эксперимента в задачах дисперсионного анализа. Первоначальным мотивом этих исследований была проблема повышения урожайности сельскохозяйственных культур. Однако глубокие математические результаты, полученные Фишером, послужили источником для развития самостоятельной ветви математической статистики, имеющей свою внутреннюю логику и широчайший спектр приложений.

Мелас В.Б.

В 50-е годы XX века, в работах американских математиков Г. Элвинга (Elfving, 1952) и Г. Чернова (Chernoff, 1953) возникло новое направление, получившее название теории оптимального планирования эксперимента. С конца 50-х годов эта теория систематически развивалась в работах американских математиков Дж. Кифера и Дж. Вольфовица (см. собрание трудов Kiefer, 1985), а с конца 60-х значительный вклад к ее развитие внесли российские математики В.В. Федоров, Г.К. Круг, М.Б. Малютов, С.М. Ермаков, В.П. Козлов, Е.В. Седунов, В.Б. Мелас, А.А. Жиглявский и многие другие.

В основе этой теории лежит понятие плана эксперимента как дискретной вероятностной меры, а под оптимальным планом понимается план, доставляющий экстремальное значение некоторой выпуклой (или вогнутой) функции, заданной на множестве информационных матриц.

Родственное направление, связанное с исследованием поверхности отклика для нахождения его экстремальных значений, было инициировано в работах американского статистика Дж. Бокса (Box, Wilson, 1951). В России это направление развивалось в работах В.В. Налимова и его учеников (первая российская книга на эту тему – Налимов, Чернова, 1965). В последние годы происходит объединение обоих направлений (Мелас, Пепелышев, 2001).

В 1968 году в Ленинграде под руководством С.М. Ермакова начал работу семинар по математической теории планирования эксперимента. Оригинальное направление работ участников этого семинара получило известность в бывшем Советском Союзе под названием “ленинградской школы планирования эксперимента”. Ранние работы этой школы получили поддержку и одобрение выдающегося российского математика и статистика академика Ю.В. Линника. Начало этим исследованиям положила известная работа С.М. Ермакова (Ермаков, 1970), в которой особое внимание было уделено учету систематической ошибки.

В работе семинара принимали активное участие Б.Л. Грановский (ныне – профессор университета г. Хайфа, Израиль), Е.В. Седунов (ныне – заведующий кафедрой высшей математики Института кинематографии), В.П. Козлов, В.Б. Мелас, А.А. Жиглявский (ныне – заведующий кафедрой статистики университета г. Кардифф, Великобритания). В.П. Козлов ушел из жизни в 1993 г., однако его результаты по планированию эксперимента в функциональных пространствах (см. Козлов, 2000) остаются непревзойденными до сих пор.

Некоторые итоги работы семинара нашли отражение в известном сборнике работ (Пененко, 1981) и справочном пособии (Ермаков, 1983), а также в монографиях (Ермаков, Жиглявский, 1987) и (Ermakov, Melas, 1995).

Начиная с 1994 года кафедрой статистического моделирования, совместно с американским College on Simulation, проводятся Санкт-Петербургские международные семинары (St. Petersburg Workshops on Simulation, Санкт-Петербург, 1994, 1996, 1998, 2001), в рамках которых важное место занимает теория планирования эксперимента. Избранные труды 2-го семинара изданы в виде специального выпуска известного международного журнала Journal of Statistical Planning and Inference (2000, Vol. 84, NN 1-2). А труды третьего семинара вышли отдельной книгой (Balakrishnan et al., 2000). Труды 4-го семинара также готовятся к изданию в виде специального выпуска.

Семинар 1996
Организаторы и гости Международного семинара по имитационному моделированию,1996 г.

Работы сотрудников кафедры и лаборатории докладывались на II-VI международных семинарах по модельно-ориентированному анализу данных (MODA), а также на семинаре Design2000 (Кардифф, Великобритания) и на международных конференциях по статистике.

Остановимся более подробно на работах, которые в последние годы ведутся в лаборатории статистического моделирования и моделирования систем НИИ математики и механики. Можно выделить следующие основные направления исследований:

  1. Учет систематической ошибки.
  2. Планирование имитационных экспериментов.
  3. Функциональный подход к исследованию оптимальных планов.
  4. Нелинейные по параметрам регрессионные модели.
  5. E-оптимальные планы.

1. Начало работ по планированию эксперимента с учетом систематической ошибки положила уже цитированная статья (Ермаков, 1970). В большинстве исследований по оптимальным планам предполагается, что функция регрессии известна с точностью до конечного множества параметров. Это предположение не всегда приемлемо. В рамках данного направления рассматривается более общая постановка задачи. Предполагается лишь, что функция регрессии является суммируемой с квадратом по некоторой мере. В качестве плана эксперимента предлагается вероятностная мера с плотностью, пропорциональной определителю информационной матрицы, соответствующей выбранному конечному подмножеству точек и базисных функций. Свойства этой меры исследованы в работах: Ермаков (1975), Ermakov (2000), Ermakov, Schwabe (2000), и ряде других.

2. В монографии (Ermakov, Melas, 1995) разработана математическая теории метода ветвления траекторий (который является обобщением метода расщепления и рулетки, предложенного фон Нейманом). Этот метод позволяет повысить эффективность моделирования широкого класса сложных стохастических систем.

3. Идея функционального подхода была сформулирована в работе (Melas, 1978) при исследовании нелинейной по параметрам регрессионной модели в виде алгебраической суммы экспонент. Эта идея состоит в изучении точек и весов локально оптимальных планов как функций истинных значений неизвестных параметров. Эти функции заданы условиями оптимальности неявным образом. Основным аппаратом является теорема о неявном отображении. Разработаны методы проверки невырожденности соответствующей матрицы Якоби и рекуррентные формулы для вычисления коэффициентов разложения неявных функций в степенные ряды (см. Мелас, 1999; Мелас, Пепелышев, 1999).

4. Для построения и исследования оптимальных планов для нелинейных по параметрам регрессионных моделей, наряду с описанным выше функциональным подходом, разработан метод асимптотического анализа. Этот метод основан на выделении особых точек в пространстве параметров. Пример успешного применения можно найти в работе (Мелас, Пепелышев, Стригуль, 2002).

5. В большинстве работ по планированию эксперимента используется D-критерий (максимизируется определитель информационной матрицы). Однако исследования показывают, что в ряде случаев E-оптимальные планы (планы, максимизирующие минимальное собственное число) обеспечивают более точную оценку каждого из параметров или большинства из них. Трудности исследования этого критерия оказались столь значительными, что породили необоснованную критику самого критерия. Однако, в работе (Мелас, 1982) была получена теорема эквивалентности для E-критерия. На основе этой теоремы и описанного выше функционального подхода в работах (Melas, 2000; Dette, Melas, 2002) были построены и исследованы E-оптимальные планы для полиномиальных и тригонометрических регрессионных моделей на симметричном отрезке произвольной длины.

Вернуться в начало страницы

Список литературы

  1. Ермаков С.М. (1970). Об оптимальных несмещенных планах регрессионных экспериментов // Тр. Мат. ин-та АН СССР, Т. III, С. 252-258.
  2. Ермаков С.М. (1975). Метод Монте-Карло и смежные вопросы. М. 472 с.
  3. Ермаков С.М. (ред.) (1983). Математическая теория планирования эксперимента. М., Наука.
  4. Ермаков С.М., Жиглявский А.А. (1987). Математическая теория оптимального эксперимента. М., Наука.
  5. Козлов В.П. (2000). Избранные труды по теории планирования эксперимента и обратным задачам оптического зондирования. Изд-во С.-Петербург. ун-та, СПб.
  6. Мелас В.Б. (1982). Одна теорема двойственности и E-оптимальность // Заводская лаборатория. № 3. C. 48-50.
  7. Мелас В.Б. (1999). Общая теория функционального подхода к оптимальному планированию эксперимента. СПб., Изд-во С.-Петерб. ун-та.
  8. Мелас В.Б., Пепелышев А.H. (1999). Степенные разложения неявных функций и локально оптимальные планы эксперимента // Статистические модели с приложениями в эконометрике. СПб.: Изд-во HИХИ СПбГУ. С. 108-117.
  9. Мелас В.Б., Пепелышев А.Н. (2001). Планы для оценивания точки экстремума квадратичной функции регрессии на гипершаре // Проблемы оптимизации дискретных систем. СПб.: Изд-во HИХИ СПбГУ. С. 70-86.
  10. Мелас В.Б., Пепелышев А.Н., Стригуль Н.С. (2002). Оптимальное планирование эксперимента для нелинейной регрессионной модели, используемой в микробиологии // Cборник трудов НИИ математики и механики им. акад. В.И. Смирнова (к 70-летию основания института) под ред. М.К. Чиркова. СПб.: НИИХ СПбГУ, С. 91-112
  11. Налимов В.В., Чернова Н.А. (1965). Статистические методы планирования экстремальных экспериментов. М.
  12. Пененко В.В. (ред.) (1981). Математические методы планирования эксперимента. Новосибирск, Наука.
  13. Balakrishnan N., Melas V.B. and Ermakov S.M. (eds.) (2000). Advances in stochastic simulation methods. Birkhauser, Boston.
  14. Box G.E.P., Wilson K.B. (1951). On the experimental attainment of optimum conditions // J. Roy. Stat. Soc. Ser. B. Vol. 13. P. 1-38.
  15. Chernoff H. (1953). Locally optimal design for estimator parameters // Ann. Math. Stat. Vol. 24. P. 586-602.
  16. Dette H., Melas V.B. (2002). E-optimal designs in Fourier regression models on a partial circle // Mathematical Methods of Statistics, 11, № 3, P. 259-296.
  17. Dette H., Melas V.B., Pepelyshev A. (2004). Optimal designs for estimating individual coefficients in polynomial regression – a functional approach. J. Statist. Plann. Inference, N118, P. 201-219.
  18. Dette H., Melas V.B., Pepelyshev A.N. (2003). Standardized maximin E-optimal designs for the Michaelis-Menten model. Statistica Sinica, Vol 13, N4, P. 1147-1163.
  19. Dette H., Melas V.B., Pepelyshev A.N., Strigul N.S. (2003). Efficient design of experiments in the Monod model. J.R. Statist. Soc. B, 65, P. 725-742.
  20. Elfving G. (1952). Optimum allocation in linear regression theory // Annals of Mathematical Statistics, 19, P. 2183-2208.
  21. Ermakov S.M. (2000). On Regression Experiment Design in the Presence of Systematic Error // Optimum Design 2000, Eds. by A. Atkinson, B. Bogacka and A. Zhigliavsky, P. 25-32.
  22. Ermakov S.M., Melas V.B. (1995). Design and Analysis of Simulation Experiments. London: Kluwer Academic Publisher.
  23. Ermakov S.M., Schwabe R. (2000), On Randomizing Estimators in Linear Regression Models // Advances in stochastic simulation methods. (2000). Ed. by N. Balakrishnan, V.B. Melas and S.M. Ermakov. Birkhauser, Boston, P. 305-314.
  24. Fisher R. (1935). The Design of Experiments. London: Oliver Boud.
  25. Kiefer J. (1985). Collected Papers. New York: Springer.
  26. Melas V.B. (1978). Optimal designs for exponential regression // Math. Operations forsh. Statist. Ser. Statistics, 9. P. 45-59.
  27. Melas V.B. (2000). Analytical theory of E-optimal designs for polynomial regression. Advances in stochastic simulation methods. Ed. by N. Balakrishnan, V.B. Melas and S.M. Ermakov. Birkhauser, Boston, 85-116.
  28. Melas V.B., Pepelyshev A.N., Cheng R.C.H. (2003). Designs for estimating an extremal point of quadratic regression models in a hyperball // Metrika, N58, P. 193-208.
Вернуться в начало страницы