Это старая версия документа!


622 гр., все. Научная и компьютерная коммуникация в современных условиях - I

Место и время проведения: вторник, четвертая (ауд. 4399) пара.

Преподаватели: Голяндина Нина Эдуардовна, Коробейников Антон Иванович

Выступления и темы

Предварительный план

N1 - руководитель группы по организации работы (моё предложение).

Где двое - все понятно, один отвечает за теорию, другой за практику и роли меняются.

Проблема с тем, что где-то три человека. Пример распределения:
1 доклад: N1 выступление по теории, N2 выступление по практике, N3 помогает обоим в подготовке, но должно быть четко сказано, в чем конкретно была помощь.
2 доклад: N2 выступает по теории, N3 выступает по практике, N1 помогает обоим в подготовке, но должно быть четко сказано, в чем конкретно была помощь.

Во время выступление должно быть видно, что вся команда разбирается в теме, комментирует, поправляет и пр.

План занятий

10.09.2019 - Консультация по докладам.

03.09.2019 - Вводное занятие. Обсудим план курса/семинара и общую структуру методов ML.

Общая информация по докладам

Базовые материалы – видеолекции К. Воронцова https://yandexdataschool.ru/edu-process/courses/machine-learning (у него есть также конспект для части материалов и слайды), а также лекции предыдущего семестра А. Коробейникова по statistical learning. Можно пользоваться любыми источниками, но важно, чтобы понимание и изложение темы было в том стиле, как написано ниже на следующей странице. Очень часто в machine learning изложение техническое и вытащить оттуда суть непросто. Лекции Воронцова, в целом, в нужном нам стиле.

  1. Обучение с учителем. Регрессия. Регуляризация в регрессии – зачем, почему. Разные подходы. PDF1, PDF2 PDF3
  2. Обучение с учителем. Дискриминантный анализ. Логистическая регрессия. Feature selection и extraction. PDF PDF2
  3. Обучение с учителем. Метод опорных векторов. Выбор модели с помощью кросс-валидации. PDF PDF
  4. Обучение без учителя. Разделение смеси распределений. Кластеризация. PDF
  5. Вычислительные аспекты оптимизации. Гладкие функционалы и пр. Метод стохастического градиента как метод оптимизации. Примеры на основе одного из предыдущих методов.
  6. Решающие деревья. Random Forest. PDF
  7. Композиция методов. Бустинг. PDF
  8. Нейронные сети. Общая структура (особый класс функций для оптимизации). Back propagation как вычислительный подход.
  9. Нейронные сети для изображений.
  10. Активное обучение.
  11. Тематическое моделирование (это обучение без учителя).
  12. Глубокое обучение

Давайте сделаем так, чтобы семинар был более-менее комфортен всем и обойдемся без штрафов. Для этого, как минимум, нужно, чтобы доклады были подготовлены и проходили в срок. По результатам доклада, с учетом замечаний, готовится конспект, дедлайн для которого - две недели после доклада. В конспект входит как теория, так и практика, но можно делать две отдельные части. Постарайтесь, чтобы они были согласованы, в том числе, по обозначениям.

Доклады во вторник. Мне не позднее ночи с субботы на воскресенье нужно присылать предварительную версию презентации для возможных комментариев.

Понятно (надеюсь), что нужно приходить на все занятия, чтобы учитывать замечания, комментарии, …. Очень часто следующая тема основана на предыдущих. 

Структура рассказа о методе ML

  1. Какая практическая задача решается. Пример данных, на основе которых предполагается ее решать.
  2. Если обучение без учителя, то используется базовая модель данных. В этом случае, скорее всего, будет максимизироваться функция правдоподобия. Если с учителем, то используется модель (алгоритм) предсказания и мера для ошибки предсказания, которая будет минимизироваться.
  3. Дальше, теоретически, просто оптимизационная задача и обсуждение метода ее решения. Например, в случае без учителя это м.б. EM-алгоритм. В случае с учителем – метод стохастического градиента. При этом, если исходно в задаче были условия, при сведении задачи к безусловной оптимизации используются теорема Лагранжа или теорема Куна-Такера.
  4. Обсуждение свойств метода оптимизации. Улучшение алгоритма за счет специфики задачи, эвристических приемов.
  5. Возможная регуляризация, которую можно рассматривать как просто изменение оптимизационной задачи в той же модели с целью получать оценки параметров с лучшими свойствами; в частности, для получения нулевых оценок в случае добавления модуля параметра.
  6. Изменение (усложнение или упрощение) рассматриваемой модели данных или предсказывающего алгоритма и переход к пункту 3.
  7. Примеры (могут перемежаться с теорией).

Важно: не надо включать много разных модификаций, слишком вдаваться в подробности. Главное - четко и логично рассказать и отвечать на вопросы на понимание.

Критерии оценивания

Требования к докладу/конспекта (теория)

  1. Внятно рассказана математическая постановка задачи.
  2. Описан бэкграунд задачи (частным случаем чего является, в чем особенность и пр.)
  3. Приведены и формализованы примеры, соответствующие этой постановке задачи.
  4. Описан и объяснен метод решения задачи.
  5. Приведено математическое обоснование метода (привести теор.результат и объяснить).
  6. Приведен (с объяснением) алгоритм решения задачи.
  7. Объяснены особенности реализации алгоритма.
  8. При рассказе понятно, что в данный момент обсуждается, постановка задачи, алгоритм решения, проблемы реализации алгоритма, …
  9. Рассказано, какие проблемы существуют в данном методе/алгоритме и какие есть пути их разрешения.

Требования к докладу/конспекта (практические примеры)

  1. Проведено сравнение методов/моделей.
  2. Понятно, почему выбраны такие метод/параметры.
  3. Понятно, как идет контроль за отсутствием переподгонки и как оценивается точность.
  4. Понятно, как интерпретируются результаты.
  5. Объяснен код/функции, которые используются в примере.
study/fall2019/ml_theory.1567629329.txt.gz · Последнее изменение: 2019/09/04 23:35 — nina
Наверх
CC Attribution-Noncommercial-Share Alike 4.0 International
Driven by DokuWiki Recent changes RSS feed Valid CSS Valid XHTML 1.0