Полигон алгоритмов/Подробный отчёт задача-алгоритм

Материал из MachineLearning.

Перейти к: навигация, поиск

Инструкция по работе с подробным отчётом задача-алгоритм в системе «Полигон».

Данный отчёт позволяет оценить насколько хорошо данный алгоритм подходит для конкретной задачи.
Помимо скалярных статистик, здесь можно просмотреть графические статистики. Все статистики подсчитаны отдельно на обучении, контроле и и на полной выборке, если это возможно. Это даёт максимальные возможности для анализа работы алгоритма классификации на конкретной задаче.

Содержание

Верхний блок.

Сверху показана информация об отчёте:

Верхний блок



  • об отчёте: идентификационный номер, название, пользователь, дата создания.
  • о задаче: идентификационный номер, синоним (уникальное имя задачи в репозитории системы Полигон), название, автор, количество объектов, признаков, классов. Синоним является ссылкой на страницу, содержащую полную информацию о задаче.
  • об алгоритме: идентификационный номер, синоним (уникальное имя алгоритма в репозитории системы Полигон), название, автор, параметры алгоритма. Синоним является ссылкой на страницу, содержащую полную информацию об алгоритме, а ссылка Параметры показывает блок основных параметров алгоритма.


  • Ссылка Изменить параметры отчёта открывает блок управления внешними параметрами отчёта.


Блок управления внешними параметрами


Здесь имеется возможность изменять порядок блоков статистик, а так же включать и выключать блоки статистик.
Кроме этого можно включить режим отчёта, в котором графики будут рисоваться с доверительными интервалами.


Быстрое управление видом отчётом:

  • Ссылка Сравнить классы позволяет быстро перейти к сравнению первых трёх (двух) классов.
  • Ссылка Сравнить обучении и контроль позволяет быстро перейти к сравнению обучающей и контрольной выборки для целевого класса (пока работает по нулевому классу).

При нажатии на ссылку отчёт настраивается специальным образом для сравнения классов или для сравнения обучения и контроля на целевом классе. Таким образом, пользователь одним кликом мышки может сразу перейти к нужному ему виду отчёта, что очень удобно.

Подробный отчёт задача-алгоритм.

Подробный отчёт состоит из следующих блоков:

Скалярные блоки

  • Таблица скалярных статистик по всей выборке


Таблица скалярных статистик по всей выборке

В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм. Статистики были получены отдельно на контрольной и на обучающей выборке, если такое возможно. Например, Переобученность не считается отдельно по обучению и контролю, так как она равна разнице между ошибкой на обучении и ошибкой на контроле.


  • Таблица скалярных статистик по классам


Таблица скалярных статистик по всей выборке

В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм. Отличие от первой таблицы состоит в том, что скалярные статистики вычислены отдельно по классам.


Графические блоки

  • Разложение ошибки на смещение и вариацию


Разложение ошибки на смещение и вариацию


  • Карта ошибок


Карта ошибок


  • Рок-кривая


Рок-кривая


  • Распределение отступов


Распределение отступов


  • Кривая обучения


Кривая обучения


  • Кривая переобученности


Кривая переобученности


  • Распределение стандартной ошибки


Распределение стандартной ошибки


  • Распределение переобученности


Распределение переобученности



Управление графическими блоками

Для удобства пользователя было добавлено быстрое управление параметрами графических статистик.

  • Поле "Выборка":
    Поле выборка даёт возможность посмотреть на данную статистику отдельно на контроле, на обучении или на обучении и контроле вместе на совмещённом графике для этого нужно выбрать соответствующий пункт в выпадающем списке.


Варианты выборки


  • Поле "Класс":
    Поле класс даёт возможность посмотреть на данную статистику для определённого класса или на всех классах одновременно.

Внимание: классы нумеруются с нуля.


Варианты выбора классов


  • Кнопка Добавить ">>":
    Кнопка позволяет добавить график в блок данной статистики для проведения сравнительного анализа. Можно добавлять несколько графиков.
    График добавляется с теми же параметрами, что и первый, поэтому для сравнения следует изменить соответствующие настройки.


Кнопка Добавить ">>"


Например, нам надо сравнить нулевой и первый класс на обучающей выборке.
Мы нажимаем на кнопку добавить и настраиваем первый график: Класс 1, Обучение, и второй: Класс 0, Обучение.


Сравнение классов


Добавленные графики можно удалять с помощью кнопки удалить "X".


Сравнение классов


  • Кнопка "Свернуть":
    Каждый блок при необходимости можно свернуть нажав на кнопку Свернуть:


Сравнение классов

См. также