CRITICA RATIUNII ALGORITMILOR DE OPTIMIZARE FARA RESTRICTII
Neculai Andrei
Criticism of the Unconstrained Optimization Algorithms Reasoning
(Critica ratiunii algoritmilor de optimizare fara restrictii)
(in Romanian)
Editura Academiei Romane - Bucharest, 2009
ISBN 978-973-27-1669-4
826 + XXVIII pages
NECULAI ANDREI CRITICA RATIUNII ALGORITMILOR DE OPTIMIZARE FARA RESTRICTII
Cuprins
Lista aplicatiilor
Prefata
Simboluri si notatii
Cap. 1. Introducere 1.1. Problemele considerate 1.2. Caracteristicile problemelor neliniare 1.3. Conditii de optimalitate pentru optimizare fara restrictii 1.4. Critica metodelor de optimizare fara restrictii 1.5. Importanta problemelor considerate 1.6. Contributia romaneasca in domeniul optimizarii fara restrictii
Cap. 2. Fundamente matematice 2.1. Norme 2.2. Inversa si inversa generalizata a unei matric 2.3. Valori si vectori proprii 2.4. Calcul diferential 2.5. Multimi convexe 2.6. Functii convexe 2.7. Viteza de converegenta a algoritmilor 2.8. Ordin de marime. Cresterea functiilor 2.9. Compararea algoritmilor
Cap.3. Metode de optimizare uni-dimensionala 3.1. Metoda inainte-inapoi. Functii unimodale 3.2. Metoda sectinuii de aur si metoda Fibonacci 3.2.1. Metoda sectiunii de aur 3.2.2. Metoda lui Fibonacci 3.3. Metode de interpolare 3.3.1. Metode de interpolare patratica 3.3.2. Metode de interpolare cubica
Cap.4. Fundamentele metodei de directii descendente pentru optimizare fara restrictii 4.1. Algoritmul general de directii descendente 4.2. Teoria convergentei pentru cautare liniara exacta 4.3. Metode de cautare liniara inexacta 4.4. Teoria convergentei pentru cautare liniara inexacta 4.5. Consideratii practice
Cap.5. Metoda pasului descendent 5.1. Algoritmul pasului descendent 5.2. Metoda pasului descendent pentru functii patratice 5.3. Teoria convergentei metodei pasului descendent 5.4. Metoda pasului descendent relaxat 5.5. Algoritmul pasului descendent accelerat cu backtracking 5.6. Un nou algoritm de pas descendent
Cap.6. Metoda Newton 6.1. Rezolvarea sistemelor algebrice neliniare 6.1.1. Metoda Newton pentru rezolvarea ecuatiilor neliniare 6.1.2. Metoda Newton pentru rezolvarea sisatemelor neliniare 6.1.3. Teoria Kantorovich si aplicatii contractive 6.1.4. Aplicatii 6.2. Minimizarea functiilor 6.2.1. Metoda Newton cu cautare liniara 6.2.2. Analiza complexitatii 6.2.3. Invarianta metodei Newton la o schimbare afina de coordonate 6.2.4. Metoda Newton pentru functii autoconcordante
Cap.7. Modificari ale metodei Newton 7.1. Metoda Newton modificata 7.2. Metoda Newton cu diferente finite 7.3. Metode ale directiei de curbura nagativa 7.3.1. Metoda Newton Stabila Gill-Murray 7.3.2. Metoda de curbura negativa Fiacco-McCormick 7.3.3. Metoda de curbura negativa Fletcher-Freeman 7.3.4. Regula Armijo de ordinul doi. Metoda McCormick si Goldfarb 7.3.5. Regula Wolfe de ordinul doi. Metoda More-Sorensen 7.4. Metoda Newton compusa
Cap.8. Metode de gradient conjugat 8.1. Metoda gradientului conjugat pentru rezolvarea sistemelor algebrice liniare 8.1.1. Metoda pasului descendent 8.1.2. Metoda directiilor conjugate 8.1.3. Metoda de gradient conjugat 8.2. Metode clasice de gradient conjugat pentru optimizare fara restrictii 8.2.1. Functii patratice 8.2.2. Metode de gradient conjugat 8.2.3. Metode de gradient conjugat cu la numaratorul lui 8.2.4. Metode de gradient conjugat cu la numaratorul lui 8.2.5. Metode de gradient conjugat hibride si parametrizate 8.3. Noi metode de gradient conjugat 8.3.1. Metode de gradient conjugat BFGS preconditionate fara memorie 8.3.2. O metoda de gradient conjugat cu descendenta garantata 8.3.3. Metode de gradient conjugat scalate 8.3.4. Metode de gradient conjugat cu descendenta suficienta 8.4. Preconditionare 8.5. Aplicatii 8.6. Probleme deschise in algoritmii de gradient conjugat
Cap.9. Metode quasi-Newton 9.1. Ecuatia quasi-Newton 9.2. Actualizarea simetrica de rang unu - SR1 9.3. Actualizarea DFP 9.4. Actualizarea BFGS 9.5. Actualizarea PSB 9.6. Clasa Broyden a metodelor quasi-Newton 9.7. Clasa Huang a metodelor quasi-Newton 9.8. Actualizarea de norma minima 9.9. Teoria convergentei globale a metodelor quasi-Newton 9.9.1. Teoria convergentei globale a algoritmilor quasi-Newton cu cautare liniara exacta 9.9.2. Teoria convergentei globale a algoritmilor quasi-Newton cu cautare liniara inexacta 9.10. Teoria convergentei locale a metodelor quasi-Newton 9.10.1. Convergenta superliniara a metodelor generale quasai-Newrin 9.10.2. Convergenta liniara a metodei generale quasi-Newton 9.10.3. Convergenta locala a metodei Broyden 9.10.4. Convergenta locala si liniara a metodei DFP 9.10.5. Convergenta superliniara a metodei BFGS 9.10.6. Convergenta superliniara a metodelor DFp si BFGS 9.10.7. Convergenta locala a metodelor din clasa Broyden 9.11. Metode de metrica variabila scalata 9.12. Metode quasi-Newton cu memorie limitata 9.13. Aplicatii
Cap.10. Metoda Newton trunchiata 10.1. Metode Newton trunchiata pentru sisteme neliniare 10.2. Metoda Newton trunchiata pentru minimizarea functiilor 10.3. Aplicatii
Cap. 11. Metoda regiunii de incredere 11.1. Regiunea de incredere 11.2. Convergenta metodei regiunii de incredere 11.3. Metoda Powell pentru rezolvarea sunboroblemei metodei regiunii de incredere 11.4. Metoda gradientului conjugat preconditionat pentru rezolvarea subproblemei metodei regiunii de incredere
Cap. 12. Metoda modelului conic si algoritmul de scalare coliniara 12.1. Modelul conic 12.2. Ecuatia quasi-Newton generalizata 12.3. Formule de actualizare in metoda modelului conic 12.4. Algoritm de scalare coliniara BFGS
Cap. 13. Metode tensioriale 13.1. Metoda tensoriala pentru rezolvarea sistemelor de ecuatii algebrice 13.2. Metoda tensoriala pentru optimizare fara restrictii
Cap. 14. Metode pentru cele mai mici patrate 14.1. Problema celor mai mici patrate 14.2. Metoda Gauss-Newton 14.3. Metoda Levenberg-Marquardt 14.4. Metode quasi-Newton 14.5. Critica algoritmului Levenberg-Marquardt versus algoritmul regiunii de incredere
Cap. 15. Reformularea problemelor de optimizare fara restrictii ca ecuatii diferentiale ordinare 15.1. Sisteme de ecuatii neliniare 15.2. Optimizare fara restrictii
Cap.16. Metode de cautare directa 16.1. Cautare paralela cu axele 16.2. Metoda Hooke-Jeeves, da cautare a formei 16.3. Metoda Powell, a directiilor conjugate 16.4. Metoda Rosenbrock, a rotirii coordonatelor 16.5. Metoda Nelder-Mead, a deplasarii simplexului 16.6. Petoda Powell UOBYQA, a interpolarii patratice
Cap. 17. Pachete de programe 17.1. Pachete pentru rezolvarea sistemelor de ecuatii algebrice neliniare 17.2. Pachete de optimizare fara restrictii 17.3. Pachete pentru cele mai mici patrate neliniare
Anexa A1. Lista algoritmilor
Anexa A2. Lista programelor si a subrutinelor Fortran
