522 гр., все. Многомерный анализ данных

Тут будет появляться обновленная информация о экзамене.

Обновленный (расширен вопрос 28 из второй части) список вопросов (2 части). Готовиться надо по конспекту, где все последовательно изложено, а список вопросов нужен, чтобы вы могли себя проверить потом, что поняли, что не поняли.

Предыдущие правила экзамена и ответы на некоторые вопросы, заданные на консультации, можно найти здесь.

Распечатки для практической части (примерно те же, что в прошлом году; незначительно подправлены).

Место и время проведения: 4 пара четверга, ауд. 4399
Преподаватель: Голяндина Нина Эдуардовна




13.12.2018, ауд. 4399. Канонические корреляции. Многомерная множественная регрессия. Пример.
Анализ соответствий. Пример. Добавлена лекция
Всё! :-)

06.12.2018, ауд. 4399. Окончание про классификацию (ROC, AUC). (Пропустим пока канонические корреляции.) Кластерный анализ. Пример 1. Пример 2. Добавлена лекция

29.11.2018, ауд. 4399. Общий подход к классификации. Априорные-апостериорные вероятности. Линейный и квадратичный дискриминантный анализ. Ошибки классификации. Пример про классификацию. ROC, AUC. Добавлена лекция.

22.11.2018, ауд. 4399. Дискриминантный анализ. Разные критерии. Канонические переменные. Значимое число дискр.функций. Интерпретация. Уменьшение числа признаков. Добавлена лекция. Пример.

15.11.2018, ауд. 4399. Многомерные сравнения (две выборки, repeated ANOVA). Переход к MANOVA. Не забудьте взять две распечатки с одномерной теорией. Лекция (начиная с MANOVA).

08.11.2018, ауд. 4399. Многомерные сравнения. Обсуждение материалов к MANOVA (д.з. - разобраться, как можете, надо к этому четвергу, а прислать ответы на вопросы из файла к субботе)

06.11.2018, ауд. 4399. Окончание про факторный анализ. Переход к многомерным распределения.

01.11.2018, ауд. 4399. Факторный анализ.
Для подготовки к следующей теме по многомерным распределениям нужно разобрать аналогичный материал для одномерного случая. Нужно хорошо разобрать теорию и ответить на вопросы в конце файла. Ответы надо набирать в tex. Прикладываю исходники. Присылайте до 3 ноября.
Для ближайшего будущего надо начинать разбираться и в следующем уже существенно более сложном файле из двух частей для подготовки к теме про MANOVA: Материал к лекции, исходник. Ответы мне надо присылать до 10 ноября (в первом задании обратите внимание, что то, что максимизируется - это норма Z, нового признака, т.е. получается первая главная компонента).

25.10.2018, ауд. 4399. Заканчиваем про АГК. Переход к факторному анализу.
Тем, кто не у меня на практике: для того чтобы разобраться с АГК, очень советую разобраться в том, что здесь написано, понять, каким обозначениям в конспекте соответствуют обсуждаемые там характеристики, понять смысл, а также применить все это к каким-то другим данным уже самостоятельно.

18.10.2018. Занятия не будет.

11.10.2018, ауд. 4399. Анализ главных компонент. Пример.

04.10.2018, ауд. 4399. Сингулярное разложение (свойства оптимальности). Разложение Шмидта. Его частные случаи. Анализ главных компонент. Для подготовки к занятию нужно разобраться в тексте про разложение Шмидта и принести во вторник ответы на мини-задания внутри. Рекомендация такая: по самому тексту можно спрашивать других и меня, чтобы помогли разобраться. Но мини-упражнения надо делать самостоятельно, чтобы был в этом смысл.
При желании, можно набирать в TEX, прикладываю исходник.

27.09.2018, ауд. 4399. Матричные разложения. Сингулярное разложение (самое лучшее разложение). Можно о нем почитать в приложении к уч. пособию http://www.gistatgroup.com/gus/ssa_an.pdf, начиная со страницы 56.

20.09.2018, ауд. 4399. Вступительная часть и переход к сингулярному разложению.




Примерная программа

  1. Обзор того, что нужно уже знать.
  2. Факты из линейной алгебры. Разложения матриц. Сингулярное разложение.
  3. Анализ главных компонент. Оптимизационная задача. Интерпретация главных компонент. Факторный анализ, модель, оптимизационная задача, интерпретация. Сравнение АГК и факторного анализа.
  4. Многомерные распределения. Расстояние Махаланобиса. Доверительные области.
  5. Параметрические многомерные гипотезы. Гипотеза о значении многомерного среднего (статистика Хотеллинга). Доверительные области для параметров с использование нормально-распределенных несмещенных оценок на основе расстояния Махаланобиса, поиск outliers. Гипотеза о равенстве многомерных средних (независимые выборки). Гипотеза о равенстве средних зависимых признаков (repeated measures), контрасты. Гипотеза о равенстве ковариационных матриц, M-статистика Бокса
  6. Многомерный дисперсионный анализ (MANOVA). Критерии лямбда Уилкса, Пиллая, обобщенный Хотеллинга, критерий максимального корня Роя.
  7. Дискриминантный анализ. Общий подход к решению задачи классификации. Классифицирующие функции, априорные и апостериорные вероятности. Матрица классификации, cross-validation. Нормальная модель, одинаковые и различные ковариационные матрицы. Линейный дискриминантный анализ. Значимость дискриминации, связь с MANOVA. Канонические переменные. Значимость канонических переменных. Факторные веса. Пошаговый дискриминантный анализ.
  8. Канонические корреляции. Canonical roots. Извлеченная дисперсия.
  9. Разложение дисперсии (ковариационной матрицы). Связь между дискриминантным анализом, многомерной множественной регрессией, корреляционным анализом и MANOVA.
  10. Кластерный анализ. Расстояния. Меры связи. Иерархическое дерево. Метод K-средних

Литература к теоретической части

По многомерному анализу:
Rencher A., Methods of multivariate analysis. A Wiley-Interscience publication, 2002.
Доп. сведения про Generalized eigenvalue problem.
Про распределения Уилкса и Хотеллинга.
Про анализ соответствий (дипломная работа студента ВШЭ, связь с SVD - стр.37), а также доп.теория здесь.

study/fall2018/5stat_lecture.txt · Последнее изменение: 2019/01/14 01:24 — nina
Наверх
CC Attribution-Noncommercial-Share Alike 4.0 International
Driven by DokuWiki Recent changes RSS feed Valid CSS Valid XHTML 1.0