Практикум на ЭВМ (317)/Autoencoder
Материал из MachineLearning.
(Различия между версиями)
(→Мои результаты) |
|||
| Строка 7: | Строка 7: | ||
* конвертер от Салахутдинова: http://www.sciencemag.org/content/suppl/2006/08/04/313.5786.504.DC1/1127647code_tar.zip (или дать уже сконвертированные) | * конвертер от Салахутдинова: http://www.sciencemag.org/content/suppl/2006/08/04/313.5786.504.DC1/1127647code_tar.zip (или дать уже сконвертированные) | ||
* отображение: <pre>imshow(reshape(digitdata(1,:), 28,28)')</pre> (транспонирование, т.к. записаны по строкам) | * отображение: <pre>imshow(reshape(digitdata(1,:), 28,28)')</pre> (транспонирование, т.к. записаны по строкам) | ||
| + | |||
| + | == Детали задания == | ||
| + | * использование кросс-энтропии при обучении (бонус — MSE) | ||
| + | * регуляризация — ? | ||
== Мои результаты == | == Мои результаты == | ||
Версия 15:18, 11 февраля 2013
| Это черновик задания. Не сто́ит приступать к его выполнению до официального релиза. |
Данные
MNIST:
- качаем отсюда: http://yann.lecun.com/exdb/mnist/
- конвертер от Салахутдинова: http://www.sciencemag.org/content/suppl/2006/08/04/313.5786.504.DC1/1127647code_tar.zip (или дать уже сконвертированные)
- отображение:
imshow(reshape(digitdata(1,:), 28,28)')
(транспонирование, т.к. записаны по строкам)
Детали задания
- использование кросс-энтропии при обучении (бонус — MSE)
- регуляризация — ?
Мои результаты
- MNIST, only 0, PCA-30: MSE=9.0
- MNIST, only 01, PCA-30: MSE=7.3
- MNIST, all-dig, PCA-30: MSE=14.2
- MNIST, only 0, PCA-18: MSE=13.0
- MNIST, only 1, PCA-18: MSE=3.7
- MNIST, only 01, PCA-18: MSE=10.6
- MNIST, all-dig, PCA-18: MSE=20.0
- MNIST, only 0, autoenc-st0b5e10: MSE=50.0 (averages everything) // 5 batches, 10 epochs
- MNIST, only 0, autoenc-stNorm(0,0.3)b5e1000: MSE=12.6 (continues optimizing)
- MNIST, only 0, autoenc-stNorm(0,0.3)Tie-b5e400: MSE=16.0 // seems no difference from the previous case
- MNIST, only 0, autoenc-stNorm(0,0.3[*2,4])Tie-b5e400: MSE=23.4
