Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

* Обязательный курс для студентов кафедры [[ММП]] 4 курса, читается в 7 семестре. * Зачёт с оценкой. * Преподаватели: [[Участник:AIM|Майсурадзе Арчил Ивериевич]]. * Осенью 2019 года занятия проходят по средам с 10:30 до 12:05 в аудитории 612. == Система оценивания == Каждая задача должна быть сдана не позднее указанного срока, после истечения срока задачи не принимаются. Каждая задача сдаётся на проверку только один раз, хотя до этого студенты могут сколько угодно раз самостоятельно проверять своё решение. Каждая сданная задача оценивается как решенная верно или неверно. Задачи в сумме дают 75% баллов (задания 1-6), ещё 25% отводится на проектную работу в группах (задания 7 и 8). Финальная оценка зависит от количества набранных баллов. == Занятия == {| class="standard" !Дата !! № занятия !! Темы !! Материалы !! Задания |- | rowspan=4| 4 сентября 2019 || rowspan=4 align="center"| 1 || Предисловие || - || rowspan=4| Проверить доступ к стенду |- | Введение в бизнес-анализ данных. SQL и его роль в анализе данных || [https://docs.google.com/presentation/d/e/2PACX-1vRSSEl_S6vx73DD7CAvyRthDJ5RhhWAcMeQH42e36zERLSRx_Ztgzi8vq3mBnHtipyv8juOx5onGuoB/pub?start=false&loop=false&delayms=3000 слайды] |- | Моделирование предметной области || [https://docs.google.com/presentation/d/e/2PACX-1vTq6CPs1h_rJtFmuXv7dyOsUYZpOjLv6o0McKlhzSA_S1eCuETk_F_fXlm50e3IeEtxxpVtOVEc-tNP/pub?start=false&loop=false&delayms=3000 слайды] |- | Информация о курсе || [https://docs.google.com/presentation/d/e/2PACX-1vRadrX2i3Qe2_zKD4nTNmAZWIbCRclKVDLQz4UYyW_h6X-coxx3gPHS2rfRXLZ3BpN9cC5rnMZRXsPu/pub?start=false&loop=false&delayms=3000 слайды] |- | rowspan=1| 11 сентября 2019 || rowspan=1 align="center"| 2 || Основы SQL || [https://docs.google.com/presentation/d/e/2PACX-1vTajJnVFA2SRi4WmJGWmIwc6bP_FzyDv8qwbdcABRVwJM-11YFbQcR8dE_dQ60wvjDNK7qlHLdEsrja/pub?start=false&loop=false&delayms=3000 слайды] || |- | rowspan=2| 18 сентября 2019 || rowspan=2 align="center"| 3 || Значения атрибутов и NULL || [https://docs.google.com/presentation/d/e/2PACX-1vQLyfkvO7v-_wL4KS62gjWRvEKIDcD4ry3gynI6_KeQhHArSJj2E29vamLH_6wca8CxPAIufUX11ivG/pub?start=false&loop=false&delayms=3000 слайды] || rowspan=2| [https://docs.google.com/presentation/d/e/2PACX-1vREydAsh-XzoT16zOpMLcVYd60Gk19jdUnqoWpTdRPiXzFbMzf_5Me1v1tpKs2RO5IjZMOxnTtlBo7M/pub?start=false&loop=false&delayms=3000 Задание 1] |- | Фильтрация (WHERE), сортировка, удаление дубликатов || [https://docs.google.com/presentation/d/e/2PACX-1vS_3LdAXks2AlVkLh1ORGF_B-nKfsAM55NfQje_fT9PwblGtLH-C5B6c8IwmzaXT8DH4-twfDa5AnR7/pub?start=false&loop=false&delayms=3000 слайды] |- | rowspan=2| 18 сентября 2019 || rowspan=2 align="center"| 4 || Агрегирование (без групп) || [https://docs.google.com/presentation/d/e/2PACX-1vTDvQIEBLt_Oxi90aID_4VgHuPiZ0BRksZJBysTfFKg4x97Quw1fhQ1eTO4QhiV-KC6KU4rPp0P8XM7/pub?start=false&loop=false&delayms=3000 слайды] || rowspan=2| [https://docs.google.com/presentation/d/e/2PACX-1vTipIHg0wEZR7bRMI_FpaWBvQwG_s7vgha6TLhU6WAbUYXDH-Ice199129o6Dv8ffNc4ocEVKGsY7tX/pub?start=false&loop=false&delayms=3000 Задание 2] |- | Подзапросы, группирование (GROUP BY) || [https://docs.google.com/presentation/d/e/2PACX-1vTXNyMRj9TDL0mxFAiO70B0c3WM1S82HHKuNl7NWOWQkVdSA4z_vHyVXLnOKr9Cz5U5Bouvyykd481X/pub?start=false&loop=false&delayms=3000 слайды] |- | rowspan=1| 25 сентября 2019 || rowspan=1 align="center"| 5 || Произведения и Соединения (JOIN) || [https://docs.google.com/presentation/d/e/2PACX-1vSo1uMlLktuQS27qlU24yiPHqjKEfd1W4E4vYNdiK6uzdyEQ3Ds8EiCTer3vc9xHdZ3bKRseVkp5bwD/pub?start=false&loop=false&delayms=3000 слайды] || [https://docs.google.com/presentation/d/e/2PACX-1vRCoUr_QIUPG4k52Yzh_3nk86jCAmTuFUjU7iJG4B_gwrcGQdtI0IAAu_BtxIwLlJrvSSGzt-8C1JM9/pub?start=false&loop=false&delayms=3000 Задание 3] |- | rowspan=2| 25 сентября 2019 || rowspan=2 align="center"| 6 || Подзапросы || [https://docs.google.com/presentation/d/e/2PACX-1vTURIIvW_l1lIIXpQ89qojiLJuQd8qtdmb_9fSJlj0o4c9RtQASEcWn59dgdlDwGIfH3jqjFZnK48PW/pub?start=false&loop=false&delayms=3000 слайды] || rowspan=2| [https://docs.google.com/presentation/d/e/2PACX-1vR1bW9uvE6QSb5u5q7jzTC_TiVts654K0_lY6FB7VCgOiBRf45x-01LG7S23WWSjA_UwBX8P3RDodlN/pub?start=false&loop=false&delayms=3000 Задание 4] |- | Синтаксис операций || [https://docs.google.com/presentation/d/e/2PACX-1vR7-rUubkZv-Hw67ca_TqfFnGVOCaufdCBz48bkHWFKGai7rIDX1wofPosW3V7EHGeAXXlyDIAESKVF/pub?start=false&loop=false&delayms=3000 слайды] |- | rowspan=1| 11 октября 2019 || rowspan=1 align="center"| 7 || Advanced Pandas 1 || [https://github.com/eugenbobrov/advanced-pandas/tree/master/sem-1-advanced-pandas слайды] || [https://github.com/eugenbobrov/advanced-pandas/tree/master/hw-1-advanced-pandas Задание 5] |- | rowspan=1| 18 октября 2019 || rowspan=1 align="center"| 8 || Advanced Pandas 2 || [https://github.com/eugenbobrov/advanced-pandas/tree/master/sem-2-advanced-pandas слайды] || [https://github.com/eugenbobrov/advanced-pandas/tree/master/hw-2-advanced-pandas Задание 6] |- | rowspan=1| 6 ноября 2019 || rowspan=1 align="center"| 9 || Секционирование и индексирование || || |- | rowspan=1| 13 ноября 2019 || rowspan=1 align="center"| 10 || Разбор задания 1 и 2 || || |- | rowspan=1| 20 ноября 2019 || rowspan=1 align="center"| 11 || Моделирование и проектная работа || [https://docs.google.com/presentation/d/e/2PACX-1vTN2yPO5P6CRuRaC3YstVOBPl4UyGnK_VuWv4GiMBaS7FCmq2vHjJekxSb3zbzDJhjQH8OZZ4f4I5lw/pub?start=false&loop=false&delayms=3000 слайды] || |- | rowspan=1| 27 ноября 2019 || rowspan=1 align="center"| 12 || Логические модели / Основные методики моделирования|| [https://docs.google.com/presentation/d/e/2PACX-1vR2VU6aiSHgYKdmmfXZh3Bux-d4M-gsTOg-biEF-q05HIt508rsfYe7MBjl37TuX6HNSSseWtcELbBL/pub?start=false&loop=false&delayms=3000 слайды] (новые) || [https://docs.google.com/presentation/d/e/2PACX-1vRWEPitNNp3rswV3l07EKCMOuEu9MIiV0yBnS5GgtESkBA8tbnrKGiadJH11HGoup7tnpB-2Ydt0OFd/pub?start=false&loop=false&delayms=3000 Задание 7] |- | rowspan=1| 4 декабря 2019 || rowspan=1 align="center"| 13 || Проектная работа (сдача задания 7) || || [https://docs.google.com/presentation/d/e/2PACX-1vSU7Tf1yeisRbXSkZ4nPkmJEYeK4PYu24Rhc5iyA05G-RhGu5uXXiWvDtzsriAR1VXv68amT6Gk0GDq/pub?start=false&loop=false&delayms=3000 Задание 8] |- | rowspan=1| 11 декабря 2019 || rowspan=1 align="center"| 14 || Разбор задания 3 || || |- | rowspan=1| 18 декабря 2019 || rowspan=1 align="center"| 15 || Проектная работа (сдача задания 8) и подведение итогов || || |- |} Резервная копия всех слайдов, за исключением слайдов и заданий на Advanced Pandas, находится по [https://github.com/CrafterKolyan/mmp-practicum-sql-fall-2019/tree/master/slides ссылке] == Практические задания == Задания указаны в расписании занятий. Срок сдачи заданий (если не оговорено иное) — начало ближайшего занятия. Решения решили закидывать [https://github.com/CrafterKolyan/mmp-practicum-sql-fall-2019 на Github]. В необходимую дату староста (Дмитрий Попов) засылает zip архив.<br /> В архиве находятся файлы в формате "<Surname>_<task number>_<subtask number>.sql", например "Petrov_2_1.sql". В файле находится один select запрос. Точка с запятой в конце запроса не принципиальна. Все ключевые слова написаны в верхнем регистре. Названия столбцов в нижнем регистре. Сроки заданий: Задание 1 - 2 октября Задание 2 - 9 октября Задание 3 - 16 октября Задание 5 - 18 октября 23:59 (мягкий) / 25 октября 23:59 (жёсткий) Задание 4 - 23 октября Задание 6 - 25 октября 23:59 (мягкий) / 1 ноября 23:59 (жёсткий) Задание 7 - 4 декабря Задание 8 - 18 декабря == Задания 7 и 8 == === Предметная область: система поддержки выдачи и приёма заданий (в виде сайта) === ; Учебная группа : Состоит из преподавателей, студентов и названия дисциплины : Учебные группы - вечные (то есть у них нету срока жизни) : Учебную группу создаёт преподаватель : В рамках каждой учебной группы студенты имеют собственные уникальные псевдонимы ; Пользователь : Может быть студентом в одних группах и преподавателем в других группах ; Задание : Состоит из задач : Имеет ровно один дедлайн : Выдаётся учебной группе : Выдаётся преподавателем ; Задача : Условие задачи - plain text : Дедлайн сдачи - такой же как у дедлайна задания : Задание можно сдать максимум один раз ; Решение задачи : Сдаётся студентом в виде plain text'а : Должно быть сдано в срок (не позднее дедлайна) : Может быть загружено преподавателем в виде .zip архива с решениями всех студентов :: Преподаватель может закачивать .zip архив в любое время (в том числе и после дедлайна). В случае закачки архива после дедлайна - решения всех студентов считаются сданными в последний момент до дедлайна. : Оценивается любым из преподавателей :: Оценка имеет комментарий от преподавателя :: Есть возможность повторного оценивания задания (возможно другим преподавателем) :: Актуальная оценка - последняя === Задание 7 (4 декабря 2019) === Задание выполняется в группах. Разделится можно в общем чате группы. Каждая группа сдаёт презентацию с выступлением. Также необходимо сгенерировать данные, которыми будут заполняться таблички впоследствии. Обязательные слайды на презентации: # Титульный # Состав группы (Фамилия, имя + роль (что сделал)) # Диаграмма концептуальной модели # Диаграмма BCNF модели или "звезды" # Диаграмма Data Vault модели # Пример сгенерированных данных для заполнения моделей (не указано в задании, но кажется логичным) # Заключение === Задание 8 (18 декабря 2019) === Задание выполняется в тех же группах, как в 7 задании. Каждая группа сдаёт: :1. Презентацию с выступлением :2. DDL-код создания обоих хранилищ :3. (при наличии) DDL-код создания staging area :4. SQL-запросы для заполнения хранилищ (для загрузки данных) ('''необходимо будет сделать замеры времени''') :5. SQL-запросы для бизнеса, адаптированные под каждое из хранилищ ('''необходимо будет сделать замеры времени''') Обязательные слайды на презентации ('''жирным''' выделены новые слайды) (не забудьте исправить предыдущие): :1. Титульный :2. Состав группы (Фамилия, имя + роль (что сделал)) :3. Диаграмма концептуальной модели :4. Диаграмма BCNF модели или "звезды" :'''5. (при наличии) диаграмма логической модели соответствующей staging area''' :'''6. Протокол запуска запросов загрузки: число возвращаемых строк (размеры заполненных таблиц), время выполнения в секундах''' :'''7. Протокол запуска запросов от бизнеса: возвращаемые строки, время выполнения в секундах для каждого запроса и общее''' :8. Диаграмма Data Vault модели :'''9. (при наличии) диаграмма логической модели соответствующей staging area''' :'''10. Протокол запуска запросов загрузки: число возвращаемых строк (размеры заполненных таблиц), время выполнения в секундах''' :'''11. Протокол запуска запросов от бизнеса: возвращаемые строки, время выполнения в секундах для каждого запроса и общее''' :'''12. Сравнение времени загрузки и времени построения витрин для двух хранилищ, выводы''' :13. Заключение Результаты запросов в 7 и 11 должны совпадать. Запросы от бизнеса: :1. Топ 5 студентов за последние 30 дней по средней оценке за любой один учебный курс (т.е. лидеры могут оказаться с разных учебных курсов) :2. Топ 5 преподавателей за прошлый календарный месяц по количеству проверенных решений по всем учебным курсам :3. Доля сданных решений из всех возможных по заданиям с уже прошедшими сроками по каждому учебному курсу :4. Структура студентов по учебным курсам (т.е. учебные курсы с числом студентов, отсортированные по убыванию) Возможно будет полезным: "CREATE TABLE ... AS SELECT ..." для создания хранилищ и одновременного заполнения данными. Считаем, что загрузка данных будет выполнена только один раз. == План занятий == === Занятие 1 === Знакомство. Предисловие. Введение в бизнес-анализ данных. Хранение и анализ данных в бизнесе. SQL, его роль в информационно-аналитических системах. Основные виды моделей в аналитической деятельности. Модели в науке и ИТ. Информация о курсе. Используемые технологии. Полезные ссылки. === Занятие 2 === Основы SQL. Реляционное моделирование. Целостность базы данных. SQL как язык работы с данными: запросы, Data Definition Language, Data Manipulation Language, Data Query Language. Модель «таблица данных» (data table) в реляционном моделировании. Интерпретация модели. Атрибуты. Первичный ключ. Учебная таблица CD_CUSTOMERS. Пример изменяющегося словаря. Модель «результат запроса» (result set) в реляционном моделировании. Понятие о курсоре. Понятие о классе RecordSet в объектно-ориентированных системах доступа к данным. Основные сущности при взаимодействии с СУБД: база данных, объекты БД, пользователь, сессия, права доступа к объектам и схемы. Смена текущей схемы. Квалифицированные имена. Основы работы в клиенте MySQL Workbench: каталог схем и таблиц, просмотр для таблиц модели и данных, создание таблиц из интерфейса, уничтожение таблиц из интерфейса. Создание запроса данных из таблицы. Запуск запроса, остановка слишком долгого запроса. Первое определение таблицы (CREATE TABLE), соответствие такого запроса модели «таблица данных». Создание новой таблицы по результату запроса данных (CREATE TABLE as SELECT). Добавление новых строк в существующую таблицу (INSERT). Основные типы данных и базовые операции с ними. Числовые типы, разные размеры. Дата и время. Строки, разные виды. Неявное преобразование типов. Базовый запрос SELECT. Запрос всех столбцов входящей таблицы (SELECT *). Запрос части столбцов входящей таблицы. Именование столбцов результата (AS). Ограничение размера ответа (LIMIT, TOP). === Занятие 3 === Пользовательские типы как ограничения на базовые типы СУБД. Понятие о NULL. Фильтрация (WHERE). Функции над значениями одной записи. Условный оператор (CASE). Операции с датами. Операции со строками. Упорядочивание (ORDER BY). Отбрасывание дубликатов (DISTINCT). Общий вид SELECT от одной таблицы (без агрегирования, без группирования). '''Задание 1.''' === Занятие 4 === Функции агрегации (без групп). Задача о числе возвращаемых строк. Подзапросы в IN (множество). Подзапросы в FROM (таблица). Подзапросы в WHERE (скаляр). Группирование по категориям (GROUP BY). Фильтрация по категориям (HAVING). Общий вид SELECT от одной таблицы. Домашнее задание 2. === Занятие 5 === Закрепление пройденного материала. Разбор условий задач из задания 1. Разбор типичных ошибок при решении задач из задания 1. === Занятие 6 === Начинаем изучать отношения между несколькими таблицами. Описание новых таблиц в учебной БД. Логическая модель данных в учебной БД. Декартово произведение множеств. Декартово произведение таблиц. Сравнение декартова произведения множеств и таблиц. Соединение двух таблиц: общий взгляд. Соединение таблиц в SQL. Соединение CROSS JOIN. Соединение с фильтром INNER JOIN. Соединение LEFT JOIN. Соединение RIGHT JOIN. Соединение FULL JOIN. Домашнее задание 3. === Занятие 7 === Объединение множеств. Оператор UNION. Арифметическая сумма мультимножеств. Оператор UNION ALL. Разность множеств. Реализация разности множеств через IN. Реализация разности множеств через JOIN. Условия ANY и ALL. Связанные подзапросы. Условие EXISTS. Домашнее задание 4. === Занятие 8 === Аналитическая ценность информации. Рост объёма ценной информации. Параллельные вычислительные системы, типы систем (ASMP, SMP, MPP). Массивно-параллельная архитектура. Ключ распределения таблицы. Redistribute Motion, Broadcast Motion. Отказоустойчивая архитектура. Различия синтаксиса PostgreSQL и MySQL. Особенности DDL для MPP системы (distributed by, partition by). Домашнее задание 5. === Занятие 9 === Разбор задач и решений задания 3. === Занятие 10 === Понятие оконной функции. Синтаксис выражений с оконными функциями. Сравнение с GROUP BY. Ранжирующие функции. Агрегатные функции. Аналитические функции. Домашнее задание 5. === Занятие 11 === Разбор задач и решений задания 4. === Занятие 12 === Разбор задач и решений задания 5. === Занятие 13 === Виды моделей данных. Модель «сущность-связь» (ER-модель). Виды отношений (связей). Crow’s foot notation. Концептуальная модель данных. Пример для сети ресторанов. Логическая модель данных. Внешний ключ. Развязочная таблица (таблица-связь). Физическая модель данных. Подходы к проектированию логической модели. Модель нормализованная (нормальные формы). Модели Звезда и Снежинка. Slowly Changing Dimension. Модель Data Vault. === Занятие 14 === Описание продаж в розничной сети. Проектирование моделей Нормализованная, Звезда, Data Vault. Постановка задания 7. === Занятие 15 === Доклады групп. Защита задания 7. === Занятие 16 === Загрузка данных. Интеграция данных. Архитектуры систем интеграции: консолидация, федерализация, распространение, сервисный подход. // Примечание. У одних авторов консолидация - это разновидность интеграции. У других авторов интеграция - это этап консолидации.. Data fusion («слияние данных», «соединение данных»), Duplicate Record Detection (Identity resolution, Record linkage, Data Deduplication) («сопоставление записей», «вероятностное соединение», «нестрогое соединение», «нестрогое соответствие»). Проблемы интеграции: несоответствие схем данных, несоответствие собственно данных. Update (обновление данных). Аудит. Staging Area (плацдарм). Постановка задания 8. === Занятие 17 === Доклады групп. Защита задания 8. Подведение итогов. ==Архив страниц прошлых лет== * [[Практикум на ЭВМ (417)/2018]] * [[Практикум на ЭВМ (417)/2017]] * [[Практикум на ЭВМ (417)/2016]] [[Категория:Учебные курсы]] [[Категория:МГУ]] [[Категория:ВМК]] [[Категория:ММП]]

Возврат к странице Практикум на ЭВМ (417)/2019.