Применение нейронных сетей в компьютерной лингвистике
Цель курса – обеспечить системное представление о нейросетевых алгоритмах, используемых в компьютерной лингвистике, и сформировать практические навыки применения нейронных сетей в задачах автоматической обработки текстовых данных.
Курс начнется с повторения «донейросетевых» алгоритмов, после чего мы перейдем к искусственным нейронным сетям. Слушатели научатся работать с библиотекой PyTorch, получат представление об архитектуре рекуррентных нейронных сетей и научатся использовать их для автоматической обработки текстов. Также участники спецкурса освоят принцип работы механизма внимания, познакомятся с архитектурой Трансформер и языковыми моделями на её основе.
Для посещения курса обязательным является наличие базовых знаний программирования на Python. Также желательно знакомство с курсами линейной алгебры и математического анализа.
Темы, изучаемые в рамках курса
2. Введение в нейросетевые алгоритмы
3. Методы векторного представления слов на основе нейросетей
4. Работа с тензорами и реализация персептрона
5. Архитектуры рекуррентных нейронных сетей
6. Применение рекуррентных нейронных сетей для обработки текстов
7. Архитектура sequence-to-sequence и механизм внимания
8. Архитектура Трансформер и её реализации
- Образование Теоретическая и прикладная лингвистика
Московский государственный университет имени М.В. Ломоносова - Специализация Обработка естественного языка, пробинг языковых моделей, экспериментальный синтаксис, русский язык
Занятия проводятся на кафедре теоретической и прикладной лингвистики, Филологический факультет МГУ им. М. В. Ломоносова
В программе курса 18 занятий: 7 лекций, 7 семинаров и 4 практикума
Старт курса: 17 февраля 2023
Занятия будут проходить по пятницам с 9:00 до 10:30
Набор на курс 2023 года закрыт
09:00–10:30 1 пара
10:40–12:10 2 пара
12:10–13.00 Перерыв
13:00–14:30 3 пара
14:40–16:10 4 пара
Преподаватель: А. А. Ганичев
09:00–10:30 1 пара
10:40–12:10 2 пара
12:10–13.00 Перерыв
13:00–14:30 3 пара
14:40–16:10 4 пара
Преподаватель: А. П. Маракулин
09:00–10:30 1 пара
10:40–12:10 2 пара
12:10–13.00 Перерыв
13:00–14:30 3 пара
14:40–16:10 4 пара
09:00–10:30 1 пара
10:40–12:10 2 пара
12:10–13.00 Перерыв
13:00–14:30 3 пара
14:40–16:10 4 пара
Преподаватель: И. А. Конюшок