Szemidefinit optimalizálás. feladatok megoldásának. Pólik Imre SAS Institute Cary, NC, USA. MTA, november 21.

Size: px

Start display at page:

Download "Szemidefinit optimalizálás. feladatok megoldásának. Pólik Imre SAS Institute Cary, NC, USA. MTA, 2012. november 21."

Dina Baker
8 years ago
Views:

1 Szemidefinit optimalizálási feladatok megoldásának numerikus kérdései Pólik Imre SAS Institute Cary, NC, USA Szemidefinit optimalizálás elmélete és alkalmazásai MTA, november 21.

2 Tartalom 1 Kúplineáris optimalizálás 2 Algoritmusok 3 Dualitási problémák 4 Kutatási irányok

3 Kúplineáris optimalizálás Primál-duál feladat min c T x Ax = b x K max b T y A T y + s = c s K A kúp lehet LP K = R n + SOCP K = {(x 0, x) R + R n : x 0 x 2 } SDP K = {X R n n : X 0} ezek szorzata

4 Kúplineáris optimalizálás Primál-duál feladat min c T x Ax = b x K max b T y A T y + s = c s K Egyéb kúpok kúpok metszete (pl. PSD és nemnegatív) négyzetösszeg (SOS), nemnegatív polinomok homogén kúpok komplex kúpok

5 Szemidefinit optimalizálás Primál-duál SDP feladat min Tr(CX) max b T y m Tr(A i X) = b i, i = 1,..., m A i y i + S = C X 0 S 0 Strukturális tulajdonságok S örökli A i, C szerkezetét (rang, ritkaság) X általában nem ha A i alacsony rangú, akkor i=1 A i = a i a T i Tr(A i X) = a T i Xa i

6 Reprezentációk Speciális feltétel AX + XA = B Mátrixalakban: (A A) vec X = vec B Költség: O(n 4 ) tár, O(n 4 ) művelet A direkt alakhoz speciális szoftver kell. Newton-rendszer A jobboldal mérete O(n 2 ), a Newton-rendszer mérete O(n 4 ), A faktorizáció költsége O(n 6 ). A Newton-rendszert iteratívan oldjuk meg.

7 Algoritmusok Főleg IPM (Nesterov-Nemirovski, Renegar, Todd, Terlaky,...) Iterációk SDP: O( n) SOCP: O( #kúpok) általában: Egy iteráció költsége SDP: O(mn 3 + m 2 n 2 + m 3 ) SOCP: O(m ) ritka mátrixokkal kevesebb Megoldható feladatok SDP: m 10000, n 5000 SOCP: m 10000, k 10000

8 Implementációk A bőség zavara Akadémiai és kereskedelmi implementációk Szinte csak IPM Nincs két egyforma Nincs legjobb CSDP, SDPA, DSDP, SDPT3, SeDuMi, Mosek, CVXOPT,... Párhuzamosítás: OpenMP és BLAS Modellezési nyelvek CVX, YALMIP: ingyenes, Matlab-alapú Mosek (új, API)

9 SeDuMi Történelem Eredetileg ( ) Jos F. Sturm 2004-től AdvOL (McMaster), 2008-tól (Lehigh) Több ezer felhasználó Algoritmus, implementáció Matlab/C/BLAS Beágyazásos, primál-duál IPM, NT-skálázással Saját Cholesky-faktorizáció Előnyök, hátrányok Numerikus stabilitás SOCP feladatokon nagyon hatékony Nagy és sűrű SDP feladatokon lassú

10 Dualitási problémák 1 Kúplineáris optimalizálás 2 Algoritmusok 3 Dualitási problémák Gyenge és erős nem-megengedettség Az optimum nem érhető el Pozitív dualitásrés 4 Kutatási irányok

11 Gyenge nem-megengedettség min ( ( ) ) Megengedettség ( x11 x 12 ) x 21 x 22 ( ) x11 x 12 = 1 x 21 x 22 A duál feladat nem-megengedett. ( max y 1 ) ( ) 0 1 y 1 + S = 1 0 X 0 S 0 A primál feladatnak nincsen javító iránya. Majdnem megengedettség ( ε > 0) A duál feladat ε-megengedett. Létezik primál ε-javító irány. Numerikusan nem válaszhatók szét.

12 Az optimum nem érhető el ( 1 0 min 0 0 ( ) ( x11 x 12 x 21 x 22 ) ( x11 x 12 x 21 x 22 ) ) = 2 ( max 2y 1 ) ( ) 1 0 y 1 + S = 0 0 X 0 S 0 Optimumok A duál optimum 0, a megoldás y 1 = 0. A primál optimum 0, de nem létezik optimális megoldás. A megoldás divergál. A duál megengedett halmaz túl kicsi (Slater).

13 Pozitív dualitásrés min α X X = 0 X = 1 X 0 Optimumok A primál optimum α, x 11 = 1 A duál optimum 0, y = 0 A primál-duál módszerek nem működnek. Mindkét megengedett halmaz túl kicsi (Slater). y y max y 2 + S = S 0 α

14 Kutatási irányok I Jobb algoritmusok Szimplex(-jellegű) algoritmus?? Egészértékű feladatok SOCP eredmények Előfeldolgozás vegyes LP/SOCP/SDP problemák dekompozíció, szimmetria-redukció LP technikák általánosítása

15 Kutatási irányok II Speciális szerkezetű feladatok metszetkúpok gráf-problémák robusztus optimalizálás Egyszerűbb modellezés feladatok definiálása természetes módon Új alkalmazások gazdag struktúra ±1 feladatok Párhuzamos algoritmusok lineáris algebra

An Overview Of Software For Convex Optimization. Brian Borchers Department of Mathematics New Mexico Tech Socorro, NM 87801 borchers@nmt.

An Overview Of Software For Convex Optimization Brian Borchers Department of Mathematics New Mexico Tech Socorro, NM 87801 borchers@nmt.edu In fact, the great watershed in optimization isn t between linearity