Ê Ú Û Ó Ä ØÙÖ m H (N) ÔÓÐÝÒÓÑ Ð Ì Î ÁÒ ÕÙ Ð ØÝ Hoeffding Inequality Union Bound VC Bound H Ö ÔÓ ÒØ k k 1 2 3 4 5 6.. 1 1 2 2 2 2 2.. 2 1 3 4 4 4 4.. 3 1 4 7 top 8 8 8.. N 4 1 5 11........ 5 1 6 :. 6 1 7 :. : : : :. m H (N) bottom k 1 ( ) N i i=0 }{{} Ñ Ü ÑÙÑ ÔÓÛ Ö N k 1 D space of data sets. (a) (b) (c) È [ E Ò (g) E ÓÙØ (g) > ǫ] 2 M e 2 ǫ2 N È [ E Ò (g) E ÓÙØ (g) > ǫ] 4 m H (2N) e 1 8 ǫ2 N
Ä ÖÒ Ò ÖÓÑ Ø Ö Ëº Ù¹ÅÓ Ø Ð ÓÖÒ ÁÒ Ø ØÙØ Ó Ì ÒÓÐÓ Ý Ä ØÙÖ Ì Î Ñ Ò ÓÒ ËÔÓÒ ÓÖ Ý ÐØ ³ ÈÖÓÚÓ Ø Ç ² Ë Ú ÓÒ Ò ÁËÌ ÌÙ Ý ÔÖ Ð ¾ ¾¼½¾
ÇÙØÐ Ò Ì Ò Ø ÓÒ Î Ñ Ò ÓÒ Ó Ô Ö ÔØÖÓÒ ÁÒØ ÖÔÖ Ø Ò Ø Î Ñ Ò ÓÒ Ò Ö Ð Þ Ø ÓÒ ÓÙÒ ¾»¾
Ò Ø ÓÒ Ó Î Ñ Ò ÓÒ Ì Î Ñ Ò ÓÒ Ó ÝÔÓØ Ø H ÒÓØ Ý d Ú (H) Ø Ð Ö Ø Ú ÐÙ Ó N ÓÖ Û m H (N) = 2 N Ø ÑÓ Ø ÔÓ ÒØ H Ò ØØ Ö N d Ú (H) = k > d Ú (H) = H Ò ØØ Ö N ÔÓ ÒØ k Ö ÔÓ ÒØ ÓÖ H»¾
Ì ÖÓÛØ ÙÒØ ÓÒ ÁÒ Ø ÖÑ Ó Ö ÔÓ ÒØ k m H (N) k 1 i=0 ( N i ) ÁÒ Ø ÖÑ Ó Ø Î Ñ Ò ÓÒ d Ú m H (N) d Ú ( N i ) } i=0 {{} Ñ Ü ÑÙÑ ÔÓÛ Ö N d Ú»¾
H ÔÓ Ø Ú Ö Ý d Ú = 1 Ü ÑÔÐ H ¾ Ô Ö ÔØÖÓÒ d Ú = 3 H ÓÒÚ Ü Ø d Ú = up bottom»¾
Î Ñ Ò ÓÒ Ò Ð ÖÒ Ò d Ú (H) Ò Ø = g H Û ÐÐ Ò Ö Ð Þ ÁÒ Ô Ò ÒØ Ó Ø Ð ÖÒ Ò Ð ÓÖ Ø Ñ ÁÒ Ô Ò ÒØ Ó Ø ÒÔÙØ ØÖ ÙØ ÓÒ ÁÒ Ô Ò ÒØ Ó Ø Ø Ö Ø ÙÒØ ÓÒ up UNKNOWN TARGET FUNCTION f: X Y TRAINING EXAMPLES ( x, y ),..., ( x, 1 1 N y ) N LEARNING ALGORITHM A HYPOTHESIS SET H PROBABILITY DISTRIBUTION P on FINAL HYPOTHESIS g ~ f ~ X down»¾
Î Ñ Ò ÓÒ Ó Ô Ö ÔØÖÓÒ ÓÖ d = 2 d Ú = 3 up ÁÒ Ò Ö Ð d Ú = d + 1 Ï Û ÐÐ ÔÖÓÚ ØÛÓ Ö Ø ÓÒ d Ú d + 1 d Ú d + 1 down»¾
À Ö ÓÒ Ö Ø ÓÒ Ø Ó N = d + 1 ÔÓ ÒØ Ò R d ØØ Ö Ý Ø Ô Ö ÔØÖÓÒ X = x Ì 1 x Ì 2 x Ì 3 º x Ì d+1 = 1 0 0... 0 1 1 0... 0 1 0 1 0... º ººº 0 1 0... 0 1 X ÒÚ ÖØ Ð»¾
Ò Û ØØ Ö Ø Ø Ø ÓÖ ÒÝ y = y 1 y 2 º y d+1 = ±1 ±1 º ±1, Ò Û Ò Ú ØÓÖ w Ø Ý Ò Ò(Xw) = y Ý ÂÙ Ø Ñ Ò(Xw)= y Û Ñ Ò w = X 1 y»¾
Ï Ò ØØ Ö Ø d + 1 ÔÓ ÒØ Ì ÑÔÐ Û Ø d Ú = d + 1 d Ú d + 1 d Ú d + 1 ÆÓ ÓÒÐÙ ÓÒ ½¼»¾
ÆÓÛ ØÓ ÓÛ Ø Ø d Ú d + 1 Ï Ò ØÓ ÓÛ Ø Ø Ì Ö Ö d + 1 ÔÓ ÒØ Û ÒÒÓØ ØØ Ö Ì Ö Ö d + 2 ÔÓ ÒØ Û ÒÒÓØ ØØ Ö Ï ÒÒÓØ ØØ Ö ÒÝ Ø Ó d + 1 ÔÓ ÒØ Ï ÒÒÓØ ØØ Ö ÒÝ Ø Ó d + 2 ÔÓ ÒØ ½½»¾
Ì ÒÝ d + 2 ÔÓ ÒØ ÓÖ ÒÝ d + 2 ÔÓ ÒØ x 1,,x d+1,x d+2 ÅÓÖ ÔÓ ÒØ Ø Ò Ñ Ò ÓÒ = Û ÑÙ Ø Ú x j = i j a i x i Û Ö ÒÓØ ÐÐ Ø a i ³ Ö Þ ÖÓ ½¾»¾
ËÓ x j = i j a i x i ÓÒ Ö Ø ÓÐÐÓÛ Ò ÓØÓÑÝ x i ³ Û Ø ÒÓÒ¹Þ ÖÓ a i Ø y i = Ò(a i ) Ò x j Ø y j = 1 ÆÓ Ô Ö ÔØÖÓÒ Ò ÑÔÐ Ñ ÒØ Ù ÓØÓÑÝ ½»¾
Ï Ý x j = i j a i x i = w Ì x j = i j a i w Ì x i Á y i = Ò(w Ì x i ) = Ò(a i ) Ø Ò a i w Ì x i > 0 Ì ÓÖ w Ì x j = i j a i w Ì x i > 0 Ì Ö ÓÖ y j = Ò(w Ì x j ) = +1 ½»¾
ÈÙØØ Ò Ø ØÓ Ø Ö Ï ÔÖÓÚ d Ú d + 1 Ò d Ú d + 1 d Ú = d + 1 Ï Ø d + 1 Ò Ø Ô Ö ÔØÖÓÒ ÁØ Ø ÒÙÑ Ö Ó Ô Ö Ñ Ø Ö w 0,w 1,,w d ½»¾
ÇÙØÐ Ò Ì Ò Ø ÓÒ Î Ñ Ò ÓÒ Ó Ô Ö ÔØÖÓÒ ÁÒØ ÖÔÖ Ø Ò Ø Î Ñ Ò ÓÒ Ò Ö Ð Þ Ø ÓÒ ÓÙÒ ½»¾
½º Ö Ó Ö ÓÑ È Ö Ñ Ø Ö Ö Ø Ö Ó Ö ÓÑ Ó Ô Ö Ñ Ø Ö Ò ÐÓ Ö Ó Ö ÓÑ d Ú ÕÙ Ú Ð ÒØ Ò Öݳ Ö Ó Ö ÓÑ ½»¾
Ì Ù Ù Ð Ù Ô Ø ÈÓ Ø Ú Ö Ý d Ú = 1µ h(x) = 1 h(x) = +1 a x 1 x 2 x 3... x N ÈÓ Ø Ú ÒØ ÖÚ Ð d Ú = 2µ h(x) = 1 h(x) = +1 h(x) = 1 x 1 x 2 x 3... x N ½»¾
ÆÓØ Ù Ø Ô Ö Ñ Ø Ö È Ö Ñ Ø Ö Ñ Ý ÒÓØ ÓÒØÖ ÙØ Ö Ó Ö ÓÑ down x y down d Ú Ñ ÙÖ Ø Ø Ú ÒÙÑ Ö Ó Ô Ö Ñ Ø Ö ½»¾
¾º ÆÙÑ Ö Ó Ø ÔÓ ÒØ Ò ÌÛÓ Ñ ÐÐ ÕÙ ÒØ Ø Ò Ø Î Ò ÕÙ Ð ØÝ È [ E Ò (g) E ÓÙØ (g) > ǫ] 4m H (2N)e 1 8 ǫ2 N }{{} δ Á Û Û ÒØ ÖØ Ò ǫ Ò δ ÓÛ Ó N Ô Ò ÓÒ d Ú Ä Ø Ù ÐÓÓ Ø N d e N ¾¼»¾
N d e N Ü N d e N Ñ ÐÐ Ú ÐÙ ÀÓÛ Ó N Ò Û Ø d 10 10 10 5 N 30 e N ÊÙÐ Ó Ø ÙÑ 10 0 10 5 N 10 d Ú 20 40 60 80 100 120 140 160 180 200 ¾½»¾
ÇÙØÐ Ò Ì Ò Ø ÓÒ Î Ñ Ò ÓÒ Ó Ô Ö ÔØÖÓÒ ÁÒØ ÖÔÖ Ø Ò Ø Î Ñ Ò ÓÒ Ò Ö Ð Þ Ø ÓÒ ÓÙÒ ¾¾»¾
Ê ÖÖ Ò Ò Ø Ò ËØ ÖØ ÖÓÑ Ø Î Ò ÕÙ Ð ØÝ Ø ǫ Ò Ø ÖÑ Ó δ È[ E ÓÙØ E Ò > ǫ] 4m H (2N)e 1 8 ǫ2 N }{{} δ δ = 4m H (2N)e 1 8 ǫ2n = ǫ = 8 N ln 4m H(2N) }{{ δ } Ω Ï Ø ÔÖÓ Ð ØÝ 1 δ E ÓÙØ E Ò Ω(N, H, δ) ¾»¾
Ò Ö Ð Þ Ø ÓÒ ÓÙÒ Ï Ø ÔÖÓ Ð ØÝ 1 δ E ÓÙØ E Ò Ω(N, H, δ) = Ï Ø ÔÖÓ Ð ØÝ 1 δ E ÓÙØ E Ò + Ω ¾»¾