Системы искусственного интеллекта (курс лекций, Д.В.Михайлов)
Материал из MachineLearning.
(Различия между версиями)
(→Полезные ссылки) |
(→Полезные ссылки) |
||
| (19 промежуточных версий не показаны.) | |||
| Строка 4: | Строка 4: | ||
Автор — [[Участник:Dmitry.Mikhaylov|Дмитрий Владимирович Михайлов]], | Автор — [[Участник:Dmitry.Mikhaylov|Дмитрий Владимирович Михайлов]], | ||
| - | кафедра Информационных технологий и систем [http://www.novsu.ru Новгородского государственного университета им. Ярослава Мудрого]. | + | кафедра Информационных технологий и систем [http://www.novsu.ru Новгородского государственного университета им. Ярослава Мудрого (НовГУ)]. |
Научный консультант — д.т.н., профессор Емельянов Геннадий Мартинович | Научный консультант — д.т.н., профессор Емельянов Геннадий Мартинович | ||
| + | |||
| + | Представленный здесь вариант курса в 2020 году лёг в основу одноимённого учебного модуля по направлению подготовки «Информатика и вычислительная техника» (бакалавриат) в НовГУ. Актуальная редакция курса представлена на портале [https://do.novsu.ru/ «Дистанционные образовательные технологии обучения в НовГУ»] (требуется регистрация). | ||
== Содержание лекционных занятий == | == Содержание лекционных занятий == | ||
| Строка 164: | Строка 166: | ||
</ref>. | </ref>. | ||
| - | * [http://www.novsu.ru/file/1859320 Анализ документов тематического корпуса на предмет включения в состав референтного на основе встречаемости слов из аннотаций статей по заданной предметной области (реализация на Python 2.7)]. | + | * [http://www.novsu.ru/file/1859320 Анализ документов тематического корпуса на предмет включения в состав референтного на основе встречаемости слов из аннотаций статей по заданной предметной области (реализация на Python 2.7)]<ref name="pria2022"> |
| + | {{биб.статья | ||
| + | |автор = Mikhaylov D. V., Emelyanov G. M. | ||
| + | |заглавие = [https://rdcu.be/c2iQS Reference-Corpus Formation for Estimating the Closeness of Topical Texts to the Semantic Standard] | ||
| + | |ссылка = https://www.pleiades.online/ru/journal/patrec/ | ||
| + | |издание = Pattern Recognition and Image Analysis | ||
| + | |год = 2022 | ||
| + | |том = 32 | ||
| + | |номер = 4 | ||
| + | |страницы = 755–762 | ||
| + | }} | ||
| + | </ref>, а также [https://portal.novsu.ru/file/1953485 оценивание качества отбора документов в референтный корпус (реализация на Python 2.7 и (частично) на Python 3.10)]<ref name="pria2023"> | ||
| + | {{биб.статья | ||
| + | |автор = Mikhaylov D. V., Emelyanov G. M. | ||
| + | |заглавие = [https://link.springer.com/article/10.1134/S1054661823030288 Estimating the Quality of a Selection of Scientific PapersUsing a Collection of Short Texts] | ||
| + | |ссылка = https://www.pleiades.online/ru/journal/patrec/ | ||
| + | |издание = Pattern Recognition and Image Analysis | ||
| + | |год = 2023 | ||
| + | |том = 33 | ||
| + | |номер = 3 | ||
| + | |страницы = 568–575 | ||
| + | }} | ||
| + | </ref>. | ||
| + | |||
| + | * [https://portal.novsu.ru/file/1962982 Применение нейросетевых моделей BERT для оценки смысловой близости рефератов научных статей (реализация на Python 3.10 + блокнот Jupyter Notebook и результаты экспериментов)]. | ||
| + | |||
| + | * [https://portal.novsu.ru/file/1986783 Применение нейросетевых моделей BERT для ранжирования коротких текстов по близости эталону на основе оценки взаимного сходства их смыслов (реализация на Python 3.10 + блокнот Jupyter Notebook и результаты экспериментов)], в том числе [https://portal.novsu.ru/file/2123223 вариант с дообучением моделей ruSciBERT и SciRus-tiny для задач анализа смысловой близости отдельных предложений (Sentence Similarity) и текстов (Textual Similarity)]<ref name="pria2024"> | ||
| + | {{биб.статья | ||
| + | |автор = Mikhaylov D. V., Emelyanov G. M. | ||
| + | |заглавие = [https://link.springer.com/article/10.1134/S1054661824700792?utm_source=rct_congratemailt&utm_medium=email&utm_campaign=nonoa_20241017&utm_content=10.1134%2FS1054661824700792 Neural Network Language Models, Mutual Sense Affinity, and Short Text Ranking According to Closeness to a Semantic Standard] | ||
| + | |ссылка = https://www.pleiades.online/ru/journal/patrec/ | ||
| + | |издание = Pattern Recognition and Image Analysis | ||
| + | |год = 2024 | ||
| + | |том = 34 | ||
| + | |номер = 3 | ||
| + | |страницы = 385–395 | ||
| + | }} | ||
| + | </ref>. | ||
| + | |||
| + | * [https://portal.novsu.ru/file/2135027 Расширение аннотаций научных статей заданной коллекции предложениями их вводных и заключительных частей при взаимном ранжировании по близости смысловому эталону (реализация на Python 3.10 + блокноты Jupyter Notebook и результаты экспериментов)], в том числе [https://portal.novsu.ru/file/2171075 вариант с возможностью удаления предложений из аннотации с целью максимизации её смысловой связности]. | ||
| + | |||
| + | * [https://portal.novsu.ru/file/2161333 Расширение аннотаций научных статей предложениями их вводных и заключительных частей с максимизацией смысловой связности коллекции в целом (реализация на Python 3.10 — блокноты Jupyter Notebook и результаты экспериментов)], в том числе: | ||
| + | ** [https://portal.novsu.ru/file/2166914 вариант без учёта и фиксации промежуточных шагов расширения исходной аннотации]; | ||
| + | ** [https://portal.novsu.ru/file/2199162 разные варианты расширения, языковая модель ''sci-rus-tiny'']. | ||
== Инструментальные средства и библиотеки == | == Инструментальные средства и библиотеки == | ||
| Строка 215: | Строка 260: | ||
* [http://www.posp.raai.org/data/posp2011/kuznetsov.pdf Кузнецов С.О. Решетки формальных понятий в современных методах анализа данных и знаний]. | * [http://www.posp.raai.org/data/posp2011/kuznetsov.pdf Кузнецов С.О. Решетки формальных понятий в современных методах анализа данных и знаний]. | ||
| + | |||
| + | * {{книга | ||
| + | |автор = Fomichov, V.A. | ||
| + | |заглавие = Semantics-Oriented Natural Language Processing: Mathematical Models and Algorithms | ||
| + | |издание = | ||
| + | |место = New York, Dordrecht, Heidelberg, London | ||
| + | |издательство = Springer | ||
| + | |год = 1991 | ||
| + | |pages = 352 | ||
| + | |ссылка = https://doi.org/10.1007/978-0-387-72926-8 | ||
| + | |isbn = 978-0-387-72924-4 | ||
| + | }} | ||
== Для самоконтроля == | == Для самоконтроля == | ||
Текущая версия
Дисциплина «Системы искусственного интеллекта» для специальности 230105 важную роль в подготовке студентов к самостоятельной профессиональной деятельности в области интеллектуальных информационных технологий. Дисциплина «Системы искусственного интеллекта» для специальности 230105 относится к числу дисциплин специализации и читается в 9-м семестре. Она включает в себя рассмотрение основных вопросов современной теории и практики построения интеллектуальных систем (в первую очередь) символьной обработки и опирается на учебные курсы :«Дискретная математика», «Функциональное и логическое программирование», «Объектно-ориентированное программирование», «Базы данных», «Теория вычислительных процессов и структур», «Компьютерное моделирование», «Распознавание образов и обработка изображений» и «Человеко-машинное взаимодействие». Особое внимание уделяется моделированию языкового поведения человека при работе с базами знаний интеллектуальных информационно-поисковых систем.
Включение данной дисциплины в учебный план заключительного учебного семестра перед преддипломной практикой и дипломным проектированием дает возможность студенту более четко сформулировать задачу на дипломное проектирование с точки зрения перспективных направлений интеллектуальных технологий компьютерной обработки информации.
Автор — Дмитрий Владимирович Михайлов, кафедра Информационных технологий и систем Новгородского государственного университета им. Ярослава Мудрого (НовГУ).
Научный консультант — д.т.н., профессор Емельянов Геннадий Мартинович
Представленный здесь вариант курса в 2020 году лёг в основу одноимённого учебного модуля по направлению подготовки «Информатика и вычислительная техника» (бакалавриат) в НовГУ. Актуальная редакция курса представлена на портале «Дистанционные образовательные технологии обучения в НовГУ» (требуется регистрация).
Содержание |
Содержание лекционных занятий
Дополнительные разделы по обработке и анализу текстов
Содержание лабораторных занятий
Дополнительные темы работ по моделям представления знаний
Демо
- Отбор фраз текстового корпуса, максимально релевантных исходной:
- Та же задача для случая более чем одной исходной фразы и оценки силы связи слов без синтаксических правил на основе классификации по TF-IDF[1], в том числе:
- Отбор научных статей по степени близости смысловому эталону заголовка и фраз аннотации (реализация на Python 2.7)[1], в том числе:
- вариант с сортировкой анализируемых фраз по степени близости эталону и выделением ключевых сочетаний слов на основе меры TF-IDF[1], включая построение иерархии статей на основе оценок взаимной смысловой зависимости по аннотациям и заголовкам с учётом найденных ключевых сочетаний слов[1];
- вариант с построением иерархии статей на основе оценок их взаимной смысловой зависимости и последующим оцениванием взаимной близости документов тематического корпуса, относительно которых достигалась наибольшая близость фраз эталону[1], а также численным оцениванием значимости каждого такого документа при подборе пары взаимно релевантных[1].
- Анализ документов тематического корпуса на предмет включения в состав референтного на основе встречаемости слов из аннотаций статей по заданной предметной области (реализация на Python 2.7)[1], а также оценивание качества отбора документов в референтный корпус (реализация на Python 2.7 и (частично) на Python 3.10)[1].
- Применение нейросетевых моделей BERT для ранжирования коротких текстов по близости эталону на основе оценки взаимного сходства их смыслов (реализация на Python 3.10 + блокнот Jupyter Notebook и результаты экспериментов), в том числе вариант с дообучением моделей ruSciBERT и SciRus-tiny для задач анализа смысловой близости отдельных предложений (Sentence Similarity) и текстов (Textual Similarity)[1].
- Расширение аннотаций научных статей заданной коллекции предложениями их вводных и заключительных частей при взаимном ранжировании по близости смысловому эталону (реализация на Python 3.10 + блокноты Jupyter Notebook и результаты экспериментов), в том числе вариант с возможностью удаления предложений из аннотации с целью максимизации её смысловой связности.
Инструментальные средства и библиотеки
- Apache OpenNLP — интегрированный пакет инструментов обработки текста. См. также описание пакета на NLPub.
Базы данных
Полезные ссылки
- Основы обработки текстов — спецкурс для студентов ВМК МГУ и ФКН ВШЭ. Лектор — канд. физ.-мат. наук Турдаков Денис Юрьевич.
- Китов В.В. Математические методы анализа текстов — обязательный спецкурс для магистров кафедры математических методов прогнозирования ВМК МГУ.
- Fomichov, V.A. Semantics-Oriented Natural Language Processing: Mathematical Models and Algorithms. — New York, Dordrecht, Heidelberg, London: Springer, 1991. — ISBN 978-0-387-72924-4
Для самоконтроля
Примерный список вопросов к экзамену.
Примечания
К сожалению, незарегистрированные пользователи не видят литературных ссылок из раздела «Демо» (данный дефект системы находится в стадии проработки). Тем не менее, Вы можете найти цитируемый источник, используя вкладку «Просмотр» на данной странице.
