6. Matematika és Informatika Alkalmazásokkal Konferencia Csíkszereda, november

Transcription

1 Pál László Gazdaság- és Humántudományok Kar, Sapientia EMTE, Csíkszereda 6. Matematika és Informatika Alkalmazásokkal Konferencia Csíkszereda, november

2 Outline 1 Bevezető A feladat Direkt kereső eljárások 2 Az UNIRANDI helyi kereső eljárás A módosított UNIRANDI eljárás Célok 3

3 A feladat Direkt kereső eljárások A feladat Intervallum-korlátos feladat: min f(x), x D ahol D = {x l x u} R n, és x,l,u R n. f-nek nem létezik a deriváltja Költséges a derivált kiszámítása Derivált-mentes optimalizálás Direkt kereső eljárások

4 A feladat Direkt kereső eljárások Direkt kereső eljárások Megbízhatóak Alkalmazhatóak nem folytonos, nem differenciálható feladatok tanulmányozására Alkalmasak kezdeti megoldások javítására Viszonylag lassúak Könnyen implementálhatóak, párhuzamosíthatóak

5 Az UNIRANDI helyi kereső eljárás A módosított UNIRANDI eljárás Célok Az UNIRANDI helyi kereső eljárás Egy véletlen-séta alapú kereső módszer 1 2 Két lépés: véletlen irányok generálása és vonalmenti keresés a jó irányok mentén Része a GLOBAL optimalizáló eljárásnak UNIRANDI javítások 3 1 T. Järvi, A random search optimizer with an application to a maxmin problem, Publications of the Institute for Applied Mathematics, University of Turku, T. Csendes, Nonlinear parameter estimation by global optimization effciency and reliability, Acta Cybernetica, vol. 8, no. 4, pp , T. Csendes, L. Pál, J.O.H. Sendín, J.R. Banga. The GLOBAL Optimization Method Revisited, Optimization Letters, 2: , 2008.

6 Az UNIRANDI helyi kereső eljárás A módosított UNIRANDI eljárás Célok Az UNIRANDI algoritmus Function UNIRANDI(f, x, h) while convergence criterion is not satisfied do Generate random direction d x new x +h d if f(x new) < f(x) then x LineSearch(f,x new,x,d,h) h 0.5 h continue d d x new x +h d if f(x new) < f(x) then x LineSearch(f,x new,x,d,h) h 0.5 h continue h 0.5 h return x, f(x) Function LineSearch(f, x new, x, d, h) while f(x new) < f(x) do x x new h 2 h x new x +h d return x

7 Az UNIRANDI helyi kereső eljárás A módosított UNIRANDI eljárás Célok A módosított UNIRANDI eljárás Bizonyos számú sikeres vonalmenti keresés után, újabb kereséseket hajtunk végre ígéretes irányok mentén x2 x0 x2 rd2 rd1 x1 x0 Hasonló lépést alkalmaznak ismert koordináta menti kereső algoritmusok (pld. Rosenbrock, Powell, Hooke-Jeeves)

8 Az UNIRANDI helyi kereső eljárás A módosított UNIRANDI eljárás Célok A módosított UNIRANDI algoritmus Function UNIRANDI(f, x, h) x 0 x while convergence criterion is not satisfied do while itr < maxiters do Generate random direction d x new x + h d if f(x new) < f(x) then x LineSearch(f,x new,x,d,h) h 0.5 h continue d d x new x + h d if f(x new) < f(x) then x LineSearch(f,x new,x,d,h) h 0.5 h continue h 0.5 h x x 2 0 x 4 x 5 x 3 rd 3 x x 3 0 x 2 x x rd rd x 1 x 1 0 Keresés az x 3 x 0 és x 2 x 0 irányok mentén. d x x 0 x 0 x x new x + h d if f(x new) < f(x) then x LineSearch(f,x new,x,d,h) h 0.5 h continue return x, f(x)

9 Az UNIRANDI helyi kereső eljárás A módosított UNIRANDI eljárás Célok Célok Az új UNIRANDI összehasonĺıtása a GLOBAL részeként standard tesztfüggvényeket használva: A régi változattal Rosenbrock 4, Powell 5, Hooke-Jeeves 6 módszerekkel A BOBYQA 7 helyi keresővel Összehasonĺıtási szempontok: megbízhatóság, hatékonyság 4 H.H. Rosenbrock. An Automatic Method for Finding the Greatest or Least Value of a Function, Comput J, 3(3): , M.J.D. Powell. An efficient method for finding the minimum of a function of several variables without calculating derivatives, Comput J, 7(2): , R. Hooke, T.A. Jeeves. Direct search solution of numerical and statistical problems, J ACM, 8(2): , M.J.D. Powell. The BOBYQA algorithm for bound constrained optimization without derivatives. Tech. Rep. NA2009/06, Department of Applied Mathematics and Theoretical Physics, University of Cambridge, Cambridge, 2009.

10 GLOBAL + local search (Unirandi, Rosenbrock, Powell, Hooke-Jeeves, BOBYQA) 63 tesztfüggvény Függvény jellemzők: unimodális, multimodális, szétválasztható, nem-szétválasztható, rosszul kondicionált Dimenziók: Colville function 2 Perm (4,10) function 2 Powell function Cigar function 10 Levy function Egy 10 módosított 5 0 direkt5 kereső10 eljárás vizsgálata

11 - Beálĺıtások GLOBAL: 50 DIM mintapont, a 2 legjobb pontot klaszterezzük 50 független futtatás Egy futtatás (trial) sikeres, ha f f 10 8 teljesül Maximális megengedett függvényhívások száma: DIM Maximális megengedett függvényhívások száma egy helyi keresőben: DIM/2 Összehasonĺıtási kritériumok: Átlagos függvényhívások száma, sikerességi ráta (SR - success rate), CPU idő Átlagos (medián) hiba értéke, Wilcoxon teszt

12 UNIRANDI iterációszám beálĺıtása Maximális iterációszám beálĺıtása Iterations DIM 0.5 DIM DIM DIM DIM Konvergencia grafikonok: Rosenbrock function 5D DIM floor(0.5*sqrt(dim)) DIM DIM+floor(0.5*sqrt(DIM)) Rosenbrock function 20D DIM floor(0.5*sqrt(dim)) DIM DIM+floor(0.5*sqrt(DIM)) Cigar function 20D DIM floor(0.5*sqrt(dim)) DIM DIM+floor(0.5*sqrt(DIM)) ftarget fbest ftarget fbest ftarget fbest Number of function evaluations Number of function evaluations x Number of function evaluations x Ellipse function 20D DIM floor(0.5*sqrt(dim)) DIM DIM+floor(0.5*sqrt(DIM)) Trid function 10D DIM floor(0.5*sqrt(dim)) DIM DIM+floor(0.5*sqrt(DIM)) Sum squares 30D DIM floor(0.5*sqrt(dim)) DIM DIM+floor(0.5*sqrt(DIM)) ftarget fbest ftarget fbest ftarget fbest Number of function evaluations x Number of function evaluations Number of function evaluations

13 Hatékonyság és megbízhatóság elemzése Function UNIR nunir dim NFE SR(%) CPU NFE SR(%) CPU Cigar Cigar Cigar-rot Cigar-rot Cigar-rot Diff. Powers Diff. Powers Diff. Powers Discus Discus Discus-rot Discus-rot Discus-rot Ellipsoid Ellipsoid Ellipsoid-rot Ellipsoid-rot Ellipsoid-rot Sum Squares Sum Squares Sum Squares Sum Squares-rot

14 Hatékonyság és megbízhatóság elemzése Function UNIR nunir dim NFE SR(%) CPU NFE SR(%) CPU Colville Dixon-Price Perm-(4,1/2) Perm-(4,10) Powell Powell Rosenbrock Rosenbrock Rosenbrock-rot Rosenbrock-rot Rosenbrock-rot Ackley Griewank Griewank Levy Rastrigin Schaffer Schwefel

15 Eltérések hibája - Wilcoxon előjeles rang próba Gyakran használt próba annak eldöntésére, hogy két algoritmus viselkedése között vannak-e szignifikáns eltérések Null hipotézis: a párosított minta mindkét mediánja azonos, vagyis a különbségük mediánja nulla Konfidencia szint: 5% (p < szignifikáns a különbség, h = 1 - a null hipotézis elvetése) Eredmények: 58 feladaton az új algoritmus szignifikánsan jobb 3 feladat (Easom, Griewank, Rastrigin, Schwefel) esetén a nullhipotézis nem eldobható 1 feladat (Ackley) esetén a régi módszer jobb

16 Eltérések hibája - Wilcoxon teszt Function UNIR nunir Wilcoxon test dim Average Median Average Median p-value h Ackley e e e e e-03 1 Beale e e e e e-04 1 Booth e e e e e-02 1 Branin e e e e e-04 1 Cigar e e e e e-10 1 Cigar e e e e e-10 1 Cigar-rot e e e e e-10 1 Cigar-rot e e e e e-10 1 Cigar-rot e e e e e-10 1 Colville e e e e e

17 Hatékonyság és megbízhatóság elemzése Function nunir ROS POW HJ BOBYQA dim NFE SR NFE SR NFE SR NFE SR NFE SR Cigar Cigar Cigar-rot Cigar-rot Cigar-rot Colville Diff. Powers Diff. Powers Diff. Powers Discus Discus Discus-rot Discus-rot Discus-rot Ellipsoid Ellipsoid Ellipsoid-rot Ellipsoid-rot Ellipsoid-rot Sum Squares Sum Squares Sum Squares Sum Sq.-rot

18 Hatékonyság és megbízhatóság elemzése Function nunir ROS POW HJ BOBYQA dim NFE SR NFE SR NFE SR NFE SR NFE SR Perm-(4,1/2) Perm-(4,10) Powell Powell Rosenbrock Rosenbrock Rosenbrock-rot Rosenbrock-rot Rosenbrock-rot Sharpridge Sharpridge Zakharov Zakharov Zakharov Zakharov-rot Ackley Griewank Griewank Levy Rastrigin Schaffer Schwefel

19 Eltérések hibája a teljes függvényhalmazra Average error values Median error values UNIR nunir ROB POW HJ BOBYQA UNIR nunir ROB POW HJ BOBYQA (a) Average errors (b) Median errors Local search UNIR nunir ROB POW HJ BOBYQA Sum of averages Sum of averages Sum of medians Sum of medians Sum of average/median errors over all functions 2 Sum of average/median errors over all functions except Ackley, Schwefel, and Sharpridge

20 Következtetések Az új UNIRANDI lényegesen javult mind a megbízhatóság mind a hatékonyság tekintetében Más módszerekkel összehasonĺıtva kiemelendő a módszer megbízhatósága, különösen a rosszul kondicionált feladatokon További tervek: A helyi kereső javítása az optimalizálási szakasz végén Párhuzamosítás

21 Köszönöm a figyelmet!