Полигон алгоритмов/Подробный отчет по задаче

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(категория)
(викификация)
 
(7 промежуточных версий не показаны.)
Строка 1: Строка 1:
 +
{{TOCright}}
 +
{{main|Полигон алгоритмов}}
 +
Инструкция по работе с подробным отчётом по одной задаче и нескольких алгоритмах в системе «Полигон».
Инструкция по работе с подробным отчётом по одной задаче и нескольких алгоритмах в системе «Полигон».
Строка 7: Строка 10:
== Верхний блок ==
== Верхний блок ==
-
 
+
В верхней части отчета находится шапка отчета, которая содержит общую информацию об отчете и ссылки для управления отчетом:
 +
[[Изображение:ReportProblemCaption.png|border|Шапка отчета по задаче]]
=== Информация о данном отчете ===
=== Информация о данном отчете ===
 +
* об отчёте: идентификационный номер, название, пользователь, дата создания.
* об отчёте: идентификационный номер, название, пользователь, дата создания.
-
* о задаче: идентификационный номер, синоним (уникальное имя задачи в репозитории системы Полигон), название, автор, количество объектов, признаков, классов. При нажатии на Синоним поверх текущей страницы отображается панель, содержащая полную информацию о задаче.
+
* о задаче: идентификационный номер, синоним (уникальное имя задачи в репозитории системы Полигон), название, автор, количество объектов, признаков, классов. При нажатии на ''синоним задачи'' поверх текущей страницы отображается панель, содержащая полную информацию о задаче.
-
=== Ссылки с правой стороны: ===
+
=== Ссылки с правой стороны ===
* Ссылка '''''Изменить параметры отчёта''''' открывает блок управления внешними параметрами отчёта.
* Ссылка '''''Изменить параметры отчёта''''' открывает блок управления внешними параметрами отчёта.
Строка 26: Строка 31:
* Ссылка '''''Версия для печати''''' переводит внешний вид отчета к виду, оптимальному для печати (отсутствуют панели управления параметрами и т. п.)
* Ссылка '''''Версия для печати''''' переводит внешний вид отчета к виду, оптимальному для печати (отсутствуют панели управления параметрами и т. п.)
 +
* Ссылка '''''Справка по отчету''''' перенаправляет пользователя на данную страницу
== Управление внешними параметрами отчета ==
== Управление внешними параметрами отчета ==
Строка 62: Строка 68:
В данном виде отчета слева всегда отображается панель со списком всех возможных алгоритмов.
В данном виде отчета слева всегда отображается панель со списком всех возможных алгоритмов.
-
[[Изображение:AlgTuneOnProblemReport.jpg|border|Панель отображения алгоритмов]]
+
[[Изображение:AlgTuneOnProblemReport.png|border|Панель отображения алгоритмов]]
При нажатии на названии алгоритма появляется панель с кратким его описанием. А при нажатии на ''параметры'' отображаются параметры работы данного алгоритма.
При нажатии на названии алгоритма появляется панель с кратким его описанием. А при нажатии на ''параметры'' отображаются параметры работы данного алгоритма.
Около каждого алгоритма находится флаг его видимости. Если в этом поле поставить галочку, то данный алгоритм появится во всех блоках статистик; если, наоборот, убрать галочку, то исчезнет.
Около каждого алгоритма находится флаг его видимости. Если в этом поле поставить галочку, то данный алгоритм появится во всех блоках статистик; если, наоборот, убрать галочку, то исчезнет.
 +
 +
[[Изображение:ProblemReportAddAlg.png|border|Добавление алгоритма на отображение]]
Также возле каждого алгоритма есть стрелки вверх и вниз, позволяющие изменять порядок следования алгоритмов в отображаемом отчете. (т.е. кнопка вверх меняет местами данный алгоритм с предыдущим, а вниз - с последующим).
Также возле каждого алгоритма есть стрелки вверх и вниз, позволяющие изменять порядок следования алгоритмов в отображаемом отчете. (т.е. кнопка вверх меняет местами данный алгоритм с предыдущим, а вниз - с последующим).
-
[[Категория:Прикладные системы анализа данных]]
+
[[Изображение:ProblemReportChangeAlgOrder.png|border|Изменение порядка следования алгоритмов при отображении отчета]]
 +
 
 +
 
 +
== Содержание отчёта по задаче ==
 +
 
 +
Отчёт по задаче состоит из следующих блоков:
 +
=== Скалярный блок===
 +
 
 +
[[Изображение:ReportProblemScalarStatTabl.png|Таблица скалярных статистик по классам]]
 +
 
 +
В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм. Каждый столбец содержит статистики, вычисленные по определенному классу для данного алгоритма. Выбор класса осуществляется с помощью выпадающего списка.
 +
 
 +
=== Графические блоки===
 +
*'''Разложение ошибки на смещение и вариацию'''
 +
 
 +
 
 +
[[Изображение:ReportProblemBiasVariance.png|Разложение ошибки на смещение и вариацию]]
 +
 
 +
 
 +
*'''Карта ошибок'''
 +
 
 +
 
 +
[[Изображение:ReportProblemErrorMap.png|Карта ошибок]]
 +
 
 +
 
 +
*'''Рок-кривая'''
 +
 
 +
 
 +
[[Изображение:ReportProblemRocCurve.png|Рок-кривая]]
 +
 
 +
 
 +
*'''Распределение отступов'''
 +
 
 +
 
 +
[[Изображение:ReportProblemMarginDistribution.png|Распределение отступов]]
 +
 
 +
 
 +
*'''Кривая обучения'''
 +
 
 +
 
 +
[[Изображение:ReportProblemLearningCurve.png|Кривая обучения]]
 +
 
 +
 
 +
*'''Кривая переобученности'''
 +
 
 +
 
 +
[[Изображение:ReportProblemOverfitingCurve.png|Кривая переобученности]]
 +
 
 +
 
 +
*'''Распределение стандартной ошибки'''
 +
 
 +
 
 +
[[Изображение:ReportProblemErrorDistibution.png|Распределение стандартной ошибки]]
 +
 
 +
 
 +
*'''Распределение переобученности'''
 +
 
 +
 
 +
[[Изображение:ReportProblemOverfitingDistribution.png|Распределение переобученности]]
 +
 
 +
== Управление графическими блоками ==
 +
Для удобства пользователя было добавлено быстрое управление параметрами графических статистик.
 +
 
 +
В каждом графическом блоке можно изменять число изображений, а для каждого изображения выбирать класс и тип разбиения с помощью выпадающих списков.
 +
 
 +
Подробнее об управлении написано [[Полигон алгоритмов/Подробный отчёт задача-алгоритм#Управление графическими блоками|здесь]].
 +
 
 +
== См. также ==
 +
* [[Полигон алгоритмов/Общий отчёт задачи-алгоритмы]]
 +
* [[Полигон алгоритмов/Подробный отчёт задача-алгоритм]]
 +
 
 +
[[Категория:Полигон алгоритмов классификации]]

Текущая версия

Содержание

Основная статья: Полигон алгоритмов

Инструкция по работе с подробным отчётом по одной задаче и нескольких алгоритмах в системе «Полигон».

Данный отчёт позволяет сравнить качество классификации выбранных алгоритмов на конкретной задаче и, соответственно, определить, какой из представленных алгоритмов лучше всего подходит к данной задаче.

Помимо скалярных статистик, в данном отчете можно просмотреть и графические. На каждом графике одновременно отображаются результаты расчетов статистики для нескольких алгоритмов, что даёт максимальные возможности для сравнения качества работы алгоритмов классификации.


Верхний блок

В верхней части отчета находится шапка отчета, которая содержит общую информацию об отчете и ссылки для управления отчетом: Шапка отчета по задаче

Информация о данном отчете

  • об отчёте: идентификационный номер, название, пользователь, дата создания.
  • о задаче: идентификационный номер, синоним (уникальное имя задачи в репозитории системы Полигон), название, автор, количество объектов, признаков, классов. При нажатии на синоним задачи поверх текущей страницы отображается панель, содержащая полную информацию о задаче.


Ссылки с правой стороны

  • Ссылка Изменить параметры отчёта открывает блок управления внешними параметрами отчёта.
  • Ссылка Сравнить классы изменяет параметры отображения всех графических блоков: отображаются графические статистики нескольких первых классов (до 3-х) по типу разбиения, основному для каждого блока (то есть по контролю, если это возможно, иначе по полной выборке).
  • Ссылка Сравнить контроль и обучение изменяет параметры отображения всех графических блоков: в блоках, где сравнение контроля и обучения возможно, происходит расчет статистик по важному классу для задачи (в данный момент по умолчанию считается, что это класс 0) и отображается 2 поля: одно для контроля, второе для обучения.
  • Ссылка Отобразить/скрыть доверительный интервал дает возможность отображения или сокрытия доверительного интервала как в таблице скалярных статистик, так и в графических блоках.
  • Ссылка Версия для печати переводит внешний вид отчета к виду, оптимальному для печати (отсутствуют панели управления параметрами и т. п.)
  • Ссылка Справка по отчету перенаправляет пользователя на данную страницу

Управление внешними параметрами отчета

Изменение общих параметров отчета

Данная панель открывается поверх текущей страницы при нажатии на ссылку Изменить параметры отчёта

Основной блок управления отчётом

Здесь имеется возможность изменять порядок блоков статистик, а так же включать и выключать блоки статистик.

Кроме этого, здесь также можно задать параметры отображения для всех блоков одновременно.


Выбор типа разбиения:

Задает разбиение соответствующих статистик в блоках. Блок отображается только в том случае, если статистика может быть рассчитана на выбранном разбиении.

При выборе разбиения по умолчанию, для каждого блока отображается основное разбиение (контроль, если это возможно, иначе полная выборка).

Если ничего не выбрано, то выбор классов игнорируется, и параметры отображения блоков остаются прежними.


Выбор классов:

Если указанный тип разбиения это позволяет, то с помощью клавиши Ctrl можно выбрать несколько классов.

При выборе разбиения «контроль и обучение (на отдельных графиках)» можно задать только один класс, на котором будет происходить сравнение. При этом, если в данном случае выбран целевой класс задачи, то отображение блоков полностью совпадает с отображением при нажатии на ссылку Сравнить контроль и обучение


На панели присутствуют подсказки, облегчающие работу с данным блоком управления: при нажатии на кнопку Подсказка появляется краткая справка, а при выборе некоторого типа разбиения отображается сколько можно теперь выбрать классов (один или несколько).

Изменение порядка и видимости алгоритмов в отчете

В данном виде отчета слева всегда отображается панель со списком всех возможных алгоритмов.

Панель отображения алгоритмов

При нажатии на названии алгоритма появляется панель с кратким его описанием. А при нажатии на параметры отображаются параметры работы данного алгоритма.

Около каждого алгоритма находится флаг его видимости. Если в этом поле поставить галочку, то данный алгоритм появится во всех блоках статистик; если, наоборот, убрать галочку, то исчезнет.

Добавление алгоритма на отображение

Также возле каждого алгоритма есть стрелки вверх и вниз, позволяющие изменять порядок следования алгоритмов в отображаемом отчете. (т.е. кнопка вверх меняет местами данный алгоритм с предыдущим, а вниз - с последующим).

Изменение порядка следования алгоритмов при отображении отчета


Содержание отчёта по задаче

Отчёт по задаче состоит из следующих блоков:

Скалярный блок

Таблица скалярных статистик по классам

В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм. Каждый столбец содержит статистики, вычисленные по определенному классу для данного алгоритма. Выбор класса осуществляется с помощью выпадающего списка.

Графические блоки

  • Разложение ошибки на смещение и вариацию


Разложение ошибки на смещение и вариацию


  • Карта ошибок


Карта ошибок


  • Рок-кривая


Рок-кривая


  • Распределение отступов


Распределение отступов


  • Кривая обучения


Кривая обучения


  • Кривая переобученности


Кривая переобученности


  • Распределение стандартной ошибки


Распределение стандартной ошибки


  • Распределение переобученности


Распределение переобученности

Управление графическими блоками

Для удобства пользователя было добавлено быстрое управление параметрами графических статистик.

В каждом графическом блоке можно изменять число изображений, а для каждого изображения выбирать класс и тип разбиения с помощью выпадающих списков.

Подробнее об управлении написано здесь.

См. также