С. Крыжевич, "Методы регрессионного анализа и основы теории машинного обучения"

Телеграм канал курса
В рамках этого курса планируется рассказать ряд дополнительных глав
математической статистики (знание базового курса теории вероятностей и
математической статистики является желательным, но не обязательным).
В первую очередь, внимание будет уделяться разделам, имеющим отношение к
теории машинного обучения.

Предполагается также изложить введение в язык R и обсудить ряд пакетов этого
языка, связанных с обсуждаемыми в рамках курса методами регрессии.
Начальная часть курса рассчитана на 10 лекций, однако при наличии
заинтересованных слушателей возможно продолжение (ориентировочно, ещё 10
лекций). Планируется изложить следующий материал - он соответствует двум семестрам.

Желательное время начала курса - первая или вторая неделя октября. Формат - онлайн в Zoom или MSTeams.
Можно обсудить и другие возможности. Планируется организовать телеграмм - канал, куда будут выкладываться записи и слайды лекций, там же возможно обсуждение.

Теоретическая часть курса.

1. Задачи статистики и условные распределения.
2. Теория Вапника - Червоненкиса, размерность VC, примеры, меры сложности.
3. Деревья решений (классификационные и регрессионные деревья).
   Оценочные функции для деревьев решений и из конструкции. Случайные леса.
4. Теорема Гливенко-Кантелли и её обобщения с точки зрения размерности
   Вапника-Червоненкиса.
5. Функции регрессии. Оценивающие функции.
6. Неравенство Хёфдинга. Независимые выборки.
7. Неравенства Беннета, Прохорова и Бернштейна.
8. Теоремы о распределении матриц и их применения.
9. Пространства состояний и статистические пространства, их примеры.
10. Статистика: случайные величины, терминология и основные факты.
11. Неравенство Шварца.
12. Неравенство Крамера - Рао.
13. Информация Фишера.
14. Достаточные статистики и их связь с информацией Фишера.
15. Лемма Неймана - Пирсона.
16. Информационное неравенство.
17. Метод максимального правдоподобия и соответствующие уравнения.
18. Связь между информационным неравенством и методом максимального
    правдоподобия.
19. Свойства метода максимального правдоподобия (центральная предельная
    теорема и слабая сходимость).
20. Дивергенция (информационное расхождение) Кулбака - Лейблера.

Практическая часть курса

1. Методы для нормально распределенных наблюдений. Смешанные методы.
2. Отбор переменных в методе линейной регрессии. Объясняющие
   переменные.
3. Перекрёстная проверка (cross validation).
4. Дилемма смещения-дисперсии (bias-variance tradeoff).
5. Обобщённые линейные модели.
6. Логистическая регрессия. Алгоритм Ньютона - Рафсона.
7. Гребнёвая регрессия (ridge regression).
8. Регрессия LASSO.
9. Регрессия эластичной сети (elastic net regression).
10. Линейная регрессия - методы максимального правдоподобия и наименьших
    квадратов.
11. Методы MANOWA и GMANOWA.
12. Метод LARS.
13. Алгоритм EM (Expectation - Maximalization).
14. Вейвлеты и непараметрические оценки.
15. Нейросети.
16. Алгоритм t-SNE.
17. Методы неконтролируемого обучения: анализ главных компонент (PCA).
18. Обобщённые аддитивные модели (GAM): сплайн-функции, кубические
    сплайны.
19. Алгоритм MARS, сглаживающие сплайны, локальная регрессия.
20. Критерий Акаике.