|
训练集用mnist的0，1，2，3的前10张图片，做3个二分类网络
(0，1)---4*30*2---(1,0)(0,1)
(0，2)---4*30*2---(1,0)(0,1)
(0，3)---4*30*2---(1,0)(0,1)
用间隔取点的办法把图片化成2*2，测试集与训练集相同。这10张图片不断的循环往复直到收敛，统计与收敛误差对应的分类准确率，并比较。
第一组
(0，1)--- 4*30*2---(1,0)(0,1)
得到的数据
| 0--1 | 2*2 | 10 | 二值 | | | | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 | 耗时ms/199次 | | 15.1256281 | 0.5159129 | 0.61809045 | 0.41373534 | 0.5 | 1.60301508 | 320 | | 345.693467 | 0.5 | 0.91959799 | 0.08040201 | 0.48 | 4.92964824 | 983 | | 494.346734 | 0.5 | 0.9798995 | 0.0201005 | 0.46 | 5.9798995 | 1190 | | 590.256281 | 0.5 | 1 | 0 | 0.44 | 6.93467337 | 1386 | | 643.894472 | 0.5 | 1 | 0 | 0.42 | 6.85427136 | 1364 | | 695.452261 | 0.5 | 1 | 0 | 0.4 | 6.88442211 | 1370 | | 733.984925 | 0.57035176 | 0.96482412 | 0.1758794 | 0.38 | 7.28140704 | 1455 | | 767.904523 | 0.72110553 | 0.88944724 | 0.55276382 | 0.36 | 7.62311558 | 1517 | | 801.01005 | 0.72222222 | 0.88888889 | 0.55555556 | 0.34 | 7.4120603 | 1480 | | 830.497487 | 0.72222222 | 0.88888889 | 0.55555556 | 0.32 | 9.90452261 | 1972 | | 859.80402 | 0.73562256 | 0.86208822 | 0.6091569 | 0.3 | 8.92964824 | 1777 | | 885.130653 | 0.79480737 | 0.74371859 | 0.84589615 | 0.28 | 12.1105528 | 2410 | | 912.809045 | 0.83277499 | 0.66778336 | 0.99776661 | 0.26 | 9.2361809 | 1838 | | 943.201005 | 0.83333333 | 0.66666667 | 1 | 0.24 | 11.0854271 | 2206 | | 964.547739 | 0.83333333 | 0.66666667 | 1 | 0.22 | 9.45226131 | 1881 | | 998.286432 | 0.83333333 | 0.66666667 | 1 | 0.2 | 10.5477387 | 2099 | | 1028.8593 | 0.83333333 | 0.66666667 | 1 | 0.18 | 10.1356784 | 2017 | | 1056.53769 | 0.83333333 | 0.66666667 | 1 | 0.16 | 12.6180905 | 2511 | | 1095.25126 | 0.83333333 | 0.66666667 | 1 | 0.14 | 10.8492462 | 2159 | | 1140.74874 | 0.83333333 | 0.66666667 | 1 | 0.12 | 14.9748744 | 2980 | | 1192.21608 | 0.83333333 | 0.66666667 | 1 | 0.1 | 16.5075377 | 3285 | | 1251.46231 | 0.83333333 | 0.66666667 | 1 | 0.08 | 17.7085427 | 3524 | | 1328.79899 | 0.83333333 | 0.66666667 | 1 | 0.06 | 16.9547739 | 3375 | | 1452.26633 | 0.83333333 | 0.66666667 | 1 | 0.04 | 18.5276382 | 3687 | | 1697.57286 | 0.83333333 | 0.66666667 | 1 | 0.02 | 20.5628141 | 4092 |
网络的峰值分类准确率是5/6.其中0的分类准确率是2/3，1的分类准确率是1.
| 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 1 | 1 | | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | | 1 | 1 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | | ********* | | | | | | | | | | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | | | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 0 | 0 | | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
观察这组训练集就会发现，0中有3张图片和1中的图片是重合的。两张（0，0，1，1）和1张（0，0，0，1）。如果网络认为（0，0，1，1）和（0，0，0，1）属于1则，0就将有3张图片分类错误，因此0的分类准确率就是2/3，而1的准确率就是1.因为测试集图片数量相同，因此总的分类准确率就是0.5*2/3+0.5*1=5/6=0.8333333
第二组
(0，2)--- 4*30*2---(1,0)(0,1)
得到数据
| 0--2 | 2*2 | 10 | 二值 | 1.55555556 | | | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 | 耗时ms/199次 | | 15.7738693 | 0.51758794 | 0.58347292 | 0.45170296 | 0.5 | 1.10050251 | 219 | | 414.522613 | 0.5 | 0.91457286 | 0.08542714 | 0.48 | 3.92462312 | 781 | | 624.417085 | 0.5 | 0.9798995 | 0.0201005 | 0.46 | 5.49246231 | 1093 | | 761.41206 | 0.5 | 1 | 0 | 0.44 | 6.1959799 | 1233 | | 822.919598 | 0.49692909 | 0.98827471 | 0.00558347 | 0.42 | 6.67336683 | 1328 | | 889.582915 | 0.61194863 | 0.66834171 | 0.55555556 | 0.4 | 7.06532663 | 1406 | | 946.839196 | 0.61111111 | 0.66666667 | 0.55555556 | 0.38 | 7.84924623 | 1562 | | 991.703518 | 0.61111111 | 0.66666667 | 0.55555556 | 0.36 | 11.3015075 | 2249 | | 1036.29648 | 0.61111111 | 0.66666667 | 0.55555556 | 0.34 | 12.2361809 | 2435 | | 1082.33668 | 0.61111111 | 0.66666667 | 0.55555556 | 0.32 | 9.95979899 | 1982 | | 1122.76884 | 0.61111111 | 0.66666667 | 0.55555556 | 0.3 | 12.7135678 | 2530 | | 1168.08543 | 0.61111111 | 0.66666667 | 0.55555556 | 0.28 | 9.18090452 | 1827 | | 1203.45226 | 0.61111111 | 0.66666667 | 0.55555556 | 0.26 | 9.41708543 | 1874 | | 1250.75879 | 0.61390285 | 0.66108319 | 0.5667225 | 0.24 | 9.88944724 | 1968 | | 1293.81407 | 0.62339475 | 0.64209939 | 0.60469012 | 0.22 | 10.0452261 | 1999 | | 1339.22111 | 0.64349525 | 0.60189838 | 0.68509213 | 0.2 | 10.4321608 | 2076 | | 1397.56281 | 0.66275824 | 0.56337242 | 0.76214405 | 0.18 | 10.9095477 | 2171 | | 1461.33166 | 0.66638749 | 0.5561139 | 0.77666108 | 0.16 | 11.2211055 | 2233 | | 1527.54271 | 0.66666667 | 0.55555556 | 0.77777778 | 0.14 | 11.8442211 | 2357 | | 1612.38693 | 0.66666667 | 0.55555556 | 0.77777778 | 0.12 | 12.4020101 | 2468 | | 1720.38693 | 0.66666667 | 0.55555556 | 0.77777778 | 0.1 | 13.1809045 | 2623 | | 1855.70352 | 0.66666667 | 0.55555556 | 0.77777778 | 0.08 | 14.201005 | 2826 | | 2065.91457 | 0.66666667 | 0.55555556 | 0.77777778 | 0.06 | 15.6180905 | 3108 | | 2442.73869 | 0.66610832 | 0.55834729 | 0.77386935 | 0.04 | 18.361809 | 3654 | | 3209.05025 | 0.69235064 | 0.61976549 | 0.76493579 | 0.02 | 24.2512563 | 4826 | | 4150.02513 | 0.71021776 | 0.61083194 | 0.80960357 | 0.01 | 31.0703518 | 6183 | | 4486.68844 | 0.72724735 | 0.5985483 | 0.8559464 | 0.008 | 33.4271357 | 6652 | | 4910.36683 | 0.75265215 | 0.5773311 | 0.9279732 | 0.006 | 36.1708543 | 7198 | | 5627.47236 | 0.77079844 | 0.57621441 | 0.96538247 | 0.004 | 41.4321608 | 8245 | | 7051.64322 | 0.82607482 | 0.65214964 | 1 | 0.002 | 51.4773869 | 10244 | | 8681.41206 | 0.83333333 | 0.66666667 | 1 | 0.001 | 63.8693467 | 12710 | | 9104.8191 | 0.83333333 | 0.66666667 | 1 | 9.00E-04 | 66.6984925 | 13273 | | 9515.74372 | 0.83333333 | 0.66666667 | 1 | 8.00E-04 | 69.8341709 | 13897 | | 9882.79899 | 0.83333333 | 0.66666667 | 1 | 7.00E-04 | 72.5075377 | 14429 | | 10287.7538 | 0.83333333 | 0.66666667 | 1 | 6.00E-04 | 74.9346734 | 14912 | | 10919.7437 | 0.83333333 | 0.66666667 | 1 | 5.00E-04 | 79.718593 | 15864 | | 12153.0603 | 0.83333333 | 0.66666667 | 1 | 4.00E-04 | 88.5929648 | 17630 | | 13265.804 | 0.83333333 | 0.66666667 | 1 | 3.00E-04 | 96.9045226 | 19284 | | 16669.9749 | 0.83333333 | 0.66666667 | 1 | 2.00E-04 | 120.603015 | 24000 | | 22233.1508 | 0.83333333 | 0.66666667 | 1 | 1.00E-04 | 161.005025 | 32040 |
0与2分类的峰值分类准确率也是5/6.观察这组数据
| 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 1 | 1 | | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | | 1 | 1 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | | ********* | | | | | | | | | | 2 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | | 1 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | | 1 | 0 | 1 | 1 | 0 | 1 | 1 | 1 | 1 | | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
0与2也有3张图片是重合的，两张（0，0，1，1）和1张（0，0，0，1）.因此1个分类准确率是2/3，另一个是1，峰值分类准确率和第一组相同。但是这一组当收敛误差为0.001的时候才达到峰值，而第一组在收敛误差为0.24的时候就已经达到了峰值，也就是第二组比第一组的分类准确率的变化率dp/dt要小的多。
单独比较1和2的数据，1中只有两张图片（0，0，1，1）和1张（0，0，0，1），而2中除了这两张图片还有两张不一样的图片（0，1，1，1）和（1，1，1，1），因此2的复杂度要大于1，因此0和2分类的难度大于0和1分类。因此在收敛误差相同的情况下0与2的分类准确率要小于0和1的分类准确率。
第三组
(0，3)--- 4*30*2--(1,0)(0,1)
得到数据
| 0--3 | 2*2 | 10 | 二值 | | | | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 | 耗时ms/199次 | | 13.9145729 | 0.51702959 | 0.5572306 | 0.47682859 | 0.5 | 1.0201005 | 203 | | 253.839196 | 0.5 | 0.90452261 | 0.09547739 | 0.48 | 2.66834171 | 531 | | 386.155779 | 0.5 | 0.95979899 | 0.04020101 | 0.46 | 3.6080402 | 718 | | 460.633166 | 0.5 | 0.98492462 | 0.01507538 | 0.44 | 4 | 796 | | 513.974874 | 0.5 | 1 | 0 | 0.42 | 4.24120603 | 859 | | 549.01005 | 0.5 | 1 | 0 | 0.4 | 4.55276382 | 906 | | 581.030151 | 0.83612507 | 0.90396427 | 0.76828587 | 0.38 | 4.70854271 | 937 | | 607.894472 | 0.88888889 | 0.88888889 | 0.88888889 | 0.36 | 5.0201005 | 999 | | 629.964824 | 0.88888889 | 0.88888889 | 0.88888889 | 0.34 | 5.10050251 | 1015 | | 656.829146 | 0.88888889 | 0.88888889 | 0.88888889 | 0.32 | 5.33668342 | 1062 | | 677.542714 | 0.89056393 | 0.88888889 | 0.89223897 | 0.3 | 5.57286432 | 1109 | | 695.994975 | 0.89977666 | 0.88888889 | 0.91066443 | 0.28 | 5.5678392 | 1108 | | 722.135678 | 0.91485204 | 0.88888889 | 0.94081519 | 0.26 | 5.80904523 | 1156 | | 742.035176 | 0.93579006 | 0.88888889 | 0.98269123 | 0.24 | 5.8040201 | 1171 | | 764.015075 | 0.94249023 | 0.88888889 | 0.99609157 | 0.22 | 6.04522613 | 1203 | | 789.341709 | 0.94416527 | 0.88888889 | 0.99944165 | 0.2 | 6.35678392 | 1265 | | 804.356784 | 0.94444444 | 0.88888889 | 1 | 0.18 | 6.35175879 | 1264 | | 828.869347 | 0.94444444 | 0.88888889 | 1 | 0.16 | 6.59296482 | 1312 | | 855.824121 | 0.94444444 | 0.88888889 | 1 | 0.14 | 6.82914573 | 1359 | | 886.577889 | 0.94444444 | 0.88888889 | 1 | 0.12 | 7.06030151 | 1405 | | 924.025126 | 0.94444444 | 0.88888889 | 1 | 0.1 | 7.3718593 | 1467 | | 962.286432 | 0.94444444 | 0.88888889 | 1 | 0.08 | 7.61306533 | 1515 | | 1013.84422 | 0.94444444 | 0.88888889 | 1 | 0.06 | 7.92964824 | 1578 | | 1090.90955 | 0.94444444 | 0.88888889 | 1 | 0.04 | 8.47236181 | 1686 | | 1230.38693 | 0.94444444 | 0.88888889 | 1 | 0.02 | 9.49246231 | 1889 |
观察这10组数据
| 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 1 | 1 | | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | | 1 | 1 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | | ********* | | | | | | | | | | 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | | 1 | 1 | 1 | 0 | 1 | 1 | 1 | 1 | 1 |
0和3有1张图片是重合的（0，0，0，1），因此0的分类准确率是8/9，而3的分类准确率是1因此总的分类准确率是0.5*8/9+0.5*1=17/18=0.944
| 0--1 | 0--2 | 0--3 | | δ | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | | 0.5 | 0.5159129 | 0.51758794 | 0.51702959 | | 0.48 | 0.5 | 0.5 | 0.5 | | 0.46 | 0.5 | 0.5 | 0.5 | | 0.44 | 0.5 | 0.5 | 0.5 | | 0.42 | 0.5 | 0.49692909 | 0.5 | | 0.4 | 0.5 | 0.61194863 | 0.5 | | 0.38 | 0.57035176 | 0.61111111 | 0.83612507 | | 0.36 | 0.72110553 | 0.61111111 | 0.88888889 | | 0.34 | 0.72222222 | 0.61111111 | 0.88888889 | | 0.32 | 0.72222222 | 0.61111111 | 0.88888889 | | 0.3 | 0.73562256 | 0.61111111 | 0.89056393 | | 0.28 | 0.79480737 | 0.61111111 | 0.89977666 | | 0.26 | 0.83277499 | 0.61111111 | 0.91485204 | | 0.24 | 0.83333333 | 0.61390285 | 0.93579006 | | 0.22 | 0.83333333 | 0.62339475 | 0.94249023 | | 0.2 | 0.83333333 | 0.64349525 | 0.94416527 | | 0.18 | 0.83333333 | 0.66275824 | 0.94444444 | | 0.16 | 0.83333333 | 0.66638749 | 0.94444444 | | 0.14 | 0.83333333 | 0.66666667 | 0.94444444 | | 0.12 | 0.83333333 | 0.66666667 | 0.94444444 | | 0.1 | 0.83333333 | 0.66666667 | 0.94444444 | | 0.08 | 0.83333333 | 0.66666667 | 0.94444444 | | 0.06 | 0.83333333 | 0.66666667 | 0.94444444 | | 0.04 | 0.83333333 | 0.66610832 | 0.94444444 | | 0.02 | 0.83333333 | 0.69235064 | 0.94444444 | | 0.001 | | 0.83333333 | | | | | |
当收敛误差一致的情况下分类准确率3>1>2,峰值分类准确率3>1=2.因为2的训练集复杂度大于1因此2的分类准确率变化率小于1，因此可以得出重合图片越少，峰值分类准确率越大，分类准确率的变化率dp/dt越大。而训练集的复杂度越大，分类准确率的变化率越小。或者至少分类准确率的变化率与重合图片数量和训练集的复杂度都有关系。
|