Docsity
Docsity

Prepare-se para as provas
Prepare-se para as provas

Estude fácil! Tem muito documento disponível na Docsity


Ganhe pontos para baixar
Ganhe pontos para baixar

Ganhe pontos ajudando outros esrudantes ou compre um plano Premium


Guias e Dicas
Guias e Dicas

Algoritmo de Busca de Armijo e Pontos de Cauchy em Óptima de Funções Quadráticas, Notas de estudo de Construção

O algoritmo de busca de armijo e a definição de pontos de cauchy em contexto de otimização de funções quadráticas. O texto explica as condições de convergência e a importância desses pontos na solução do problema. Além disso, são apresentados conceitos relacionados à matriz jacobiana e a aproximação linear de funções.

Tipologia: Notas de estudo

2022

Compartilhado em 07/11/2022

Florentino88
Florentino88 🇧🇷

4.7

(31)

223 documentos

1 / 93

Toggle sidebar

Esta página não é visível na pré-visualização

Não perca as partes importantes!

bg1
Universidade Federal de Santa Catarina
Curso de Pós-Graduação em Matemática e
Computação Científica
Minimização de Quadráticas Convexas em
Caixas sobre Variedades Afins,
um sub-problema de PQS
Roger Behling
Orientador: Clóvis Caesar Gonzaga
Florianópolis
Maio de 2006
pf3
pf4
pf5
pf8
pf9
pfa
pfd
pfe
pff
pf12
pf13
pf14
pf15
pf16
pf17
pf18
pf19
pf1a
pf1b
pf1c
pf1d
pf1e
pf1f
pf20
pf21
pf22
pf23
pf24
pf25
pf26
pf27
pf28
pf29
pf2a
pf2b
pf2c
pf2d
pf2e
pf2f
pf30
pf31
pf32
pf33
pf34
pf35
pf36
pf37
pf38
pf39
pf3a
pf3b
pf3c
pf3d
pf3e
pf3f
pf40
pf41
pf42
pf43
pf44
pf45
pf46
pf47
pf48
pf49
pf4a
pf4b
pf4c
pf4d
pf4e
pf4f
pf50
pf51
pf52
pf53
pf54
pf55
pf56
pf57
pf58
pf59
pf5a
pf5b
pf5c
pf5d

Pré-visualização parcial do texto

Baixe Algoritmo de Busca de Armijo e Pontos de Cauchy em Óptima de Funções Quadráticas e outras Notas de estudo em PDF para Construção, somente na Docsity!

Universidade Federal de Santa Catarina

Curso de Pós-Graduação em Matemática e

Computação Científica

Minimização de Quadráticas Convexas em

Caixas sobre Variedades Afins,

um sub-problema de PQS

Roger Behling

Orientador: Clóvis Caesar Gonzaga

Florianópolis

Maio de 2006

Universidade Federal de Santa Catarina

Curso de Pós-Graduação em Matemática e

Computação Científica

Minimização de Quadráticas Convexas em

Caixas sobre Variedades Afins,

um sub-problema de PQS

Dissertação submetida ao Curso de Pós- Graduação em Matemática e Computação Científica, do centro de Ciências Físicas e Matemáticas da Universidade Federal de Santa Catarina, para a obtenção do grau de Mestre em Matemática, com Área de concentração em Otimização.

Roger Behling

Florianópolis

Maio de 2006

Agradecimentos

Eu gostaria de agradecer a Deus e a seu filho Jesus Cristo que proporcionam tantas oportunidades para que eu me torne uma pessoa melhor.

Agradeço a minha noiva Nina, que com seu carinho, abraços e beijos, me incentiva a estudar e me motiva a viver uma vida digna e com bastante amor.

Sou muito grato aos meus pais, Hans e Marilise Behling, pelo sempre auxílio financeiro e pela educação de ponta que me ofereceram.

Ao meu irmão e melhor amigo Ronan Behling por sempre ser boa companhia e fonte de auto-estima.

Agradeço ao meu professor orientador Clovis Caesar Gonzaga pela maneira humana e científica de ensinar e pelo modo apaixonante como encara a Matemática, a história da Matemática e em particular sua pesquisa em Otimização.

Obrigado à banda New Rose por servir de ponte entre arte e ciência na minha vida.

Obrigado a todos os meus amigos, professores e familiares que estão passando, e que já passaram pela minha vida deixando um pouco de si.

Resumo

Neste trabalho nós estudamos alguns métodos de Programação não Linear restrita e

irrestrita dando ênfase ao problema que dá título a esta dissertação. No primeiro capítulo

são estudados e enunciados métodos como os de Cauchy, Newton, Armijo, Região de

Confiança e Dog Leg. No segundo, estudamos Programação Quadrática Seqüencial (PQS)

pelo método de Restauração Inexata, que executa em cada iteração um passo de viabilidade

e um de otimalidade. Nosso objetivo específico foi tratar do passo de otimalidade,

conhecido como passo tangente do PQS, que na nossa proposta consiste em minimizar uma

quadrática convexa numa caixa sobre uma variedade afim. Neste sentido, o terceiro

capítulo surge para tratar do problema de barreira com o objetivo de definir centro analítico

de um poliedro e trajetória central primal. Conceitos de muita importância para resolver, no

último capítulo, o problema de minimização de uma quadrática convexa numa caixa sobre

uma variedade afim. No tratamanto deste, utilizamos um método de pontos interiores

primal-dual de trajetória central, em que nossa escolha de um ponto inicial primal-dual

viável é original, representando um novo resultado em Matemática.

Lista de Figuras

2.9.2 O Passo Tangente como redução da aproximação quadrática da função

  • 1- Armijo com Modelo Quadrático............................................................................
  • 2- Ponto de Cauchy......................................................................................................
  • 3- Trajetória Dog Leg..................................................................................................
  • 4- Passo normal d .........................................................................................................
  • 5- Minimização da função objetivo no núcleo de A em z.........................................
  • 6- Passos do PQS..........................................................................................................
  • 7- O Passo Normal e Tangente como um único Passo..............................................
  • 8- Figura 8....................................................................................................................
  • 9- Formiga....................................................................................................................
  • 10- Barreira Infinita......................................................................................................
  • 11- Figura 11..................................................................................................................
  • 12- Figura 12..................................................................................................................
  • 13- Vizinhanças da Trajetória Central primal-dual C
  • 14- Mudança de Escala.................................................................................................
  • 15- Máximo Declive na Mudança de Escala................................................................
  • 16- Trajetória Central Primal e a Direção Afim-Escala............................................
  • 17- Trajetória Ótima de Região de Confiança............................................................
  • 18- Ponto Primal inicial................................................................................................
  • 19- Algoritmo de Pontos Interiores de Trajetória Central........................................
  • 20- Entre o Passo de Centralização e o de Newton e o de Newton Completo..........
  • Capítulo Lista de Algoritmos
  • 1.1 Busca de Armijo................................................................................................
  • 1.2 Método de Cauchy com Busca de Armijo.......................................................
  • 1.3 Método de Newton puro....................................................................................
  • 1.4 Armijo com modelo quadrático.......................................................................
  • 1.5 Região de Confiança..........................................................................................
  • 1.6 Método Dog Leg.................................................................................................
  • Capítulo
  • 2.1 PQS com restauração inexata..........................................................................
  • 2.2 O Passo Normal e Tangente simultaneamente...............................................
  • Capítulo
  • 3.1 Método de Barreira Logarítmica.....................................................................
  • Capítulo
  • 4.1 Ponto primal-dual inicial..................................................................................
  • 4.2 Pontos Interiores................................................................................................
  • 2.8 O Algoritmo PQS................................................................................................
  • 2.9 Algumas considerações sobre o PQS..................................................................
  • 2.9.1 A Hessiana do Lagrangeano.................................................................
  • objetivo com a hessiana perturbada...............................................................
  • 2.10 O Passo Normal e Tangente calculados simultaneamente................................
    1. Funções Barreira.............................................................................................................
  • 3.1. O Problema.........................................................................................................
  • 3.2 Barreira Infinita...................................................................................................
  • 3.3 Barreira Logarítmica...........................................................................................
  • 3.4. Problemas Penalizados.......................................................................................
  • 3.5 O Algoritmo........................................................................................................
  • 3.6 Pontos Centrais e Trajetória Central...................................................................
  • 3.7 Centro Analítico..................................................................................................
  • 3.8 Convergência.......................................................................................................
  • 3.9 Multiplicadores de KKT......................................................................................
    1. Minimização de Quadráticas Convexas em Caixas.....................................................
  • 4.1 O Problema..........................................................................................................
  • 4.2 Um Ponto Inicial Primal-Dual Viável.................................................................
  • 4.2.1 Condições de KKT relaxadas...............................................................
  • 4.2.2 Vizinhanças da Trajetória Central........................................................
  • 4.2.3 Mudança de Escala...............................................................................
  • 4.2.4 Um novo ponto primal-dual viável.......................................................
  • 4.3 Método de Pontos Interiores de Trajetória..........................................................
  • 4.3.1 Cálculo do Passo de Newton................................................................
  • 4.3.2 Passo Tangencial do PQS numa caixa..................................................
  • Conclusão.............................................................................................................................
  • Referências Bibliográficas..................................................................................................

Wathen e Armand [5], exceto pelo fato de estarmos sujeitando a minimização em questão a uma variedade afim.

Essa motivação nos propiciou o objetivo de trabalhar com um algoritmo de pontos interiores para minimizar uma quadrática convexa numa caixa sobre uma variedade afim. O artigo [5] apresentou um algoritmo tal qual, mas toda ênfase foi movida à Álgebra Linear da problemática, ao contrário da nossa análise que foi motivada em direção ao algoritmo de pontos interiores primal-dual que desenvolvemos. Deste modo acabamos nos focando bastante na obtenção de um par primal-dual inicial viável com certas propriedades, que culminou num resultado novo.

O primeiro dos quatro capítulos desta dissertação se destina a enunciar os algoritmos de Programação não Linear Irrestrita de Cauchy e de Newton, explanar a busca unidirecional feita por Armijo, introduzir o método de Região de Confiança e enunciar a Trajetória Dog Leg. Neste capítulo veremos o conceito de trajetória ótima de Região de Confiança que será muito importante quando propusermos um par primal-dual inicial viável para nosso problema alvo. Provas de convergência envolvendo os assuntos do primeiro capítulo se encontram em livros gerais de Programação não Linear como [3] e [21].

O segundo capítulo se destina a um estudo do método PQS ([20] e [22]) em meio a problemas de otimização restrita com restrições de igualdade. Apresentamos então o método, chamado de Restauração Inexata ([15] e [16]), que executa passos de viabilidade e de otimalidade. O de viabilidade, chamado de Passo Normal foi objeto de estudo de Francisco [7]. Já o de otimalidade, chamado de Passo Tangente foi alvo de estudo da nossa dissertação. Toda a análise deste segundo capítulo está sedimentada sobre as condições de Karush-Kunn-Tucker (KKT) ([3] e [21]).

O objetivo do terceiro capítulo, além de ser um estudo do método de Barreiras em termos de conceituação e convergência, é de definir centro analítico de um poliedro e

trajetória central primal. Definições que serão de extrema importância para o desenvolvimento do quarto capítulo.

O quarto, e último capítulo, destina-se à resolução do problema de minimizar uma quadrática convexa numa caixa sobre uma variedade afim. De princípio tratamos de reescrever este problema de modo a deixá-lo numa forma, a qual chamamos de padrão, que nos possibilitou uma melhor abordagem sob o aspecto das condições de KKT. Após reescrevê-lo propomos uma maneira de encontrar um ponto primal-dual viável, tendo como hipótese a saída de um ponto primal que é centro analítico do conjunto primal viável. Dividimos este estudo em duas partes. Uma quando o centro analítico mencionado for o vetor unitário, e a outra quando não for. Se não for, apresentamos uma mudança de escala. A partir de então nos prendemos ao desenvolvimento de um algoritmo de pontos interiores baseados em [10], [11] e [24] para enfim propor um passo de otimalidade do método PQS, ou seja, o Passo Tangente.

1.1 Busca de Armijo

Considere o problema de minimização de uma função de classe a

partir de um ponto numa direção. O método de busca de Armijo não tenta resolver o problema proposto, visa entretanto, uma boa redução de ao longo de.

Dados e um número real

f (^) 0 : Rn^ → R C^2 x k^ ∈ R^ n dRn f (^) 0 d x k^ , dR^ n ρ > 0 buscamos λ ∈ [ 0 , ρ] tal que f (^) 0 ( xk^ +λ d ) < f 0 ( xk ). Para isto usamos um modelo linear de^ f 0 , definido por m ( λ) = f 0 ( xk ) +λ∇ f 0 ( xk ) T d

Dado um valor λ ≥ 0 , definimos

ared = f 0 ( xk ) − f 0 ( xk + λ d ), redução efetiva de f 0. pred = m ( ) 0 − m (λ ) =λ∇ f 0 ( xk ) T d , redução prevista pelo modelo.

_________________________________________________________________________

Algoritmo 1.1 Busca de Armijo


Dado x k^ , d ∈ R^ n , ρ , α ∈ (^0 , 1 ), fixo, por exemplo α = 0 , 4.

λ = ρ Calcule ared = f 0 ( xk^ ) − f 0 ( xk + ρ. d ) pred =ρ.∇ f 0 ( xk ) T d Enquanto ared < α. pred λ = 0 , 6 λ pred =λ.∇ f 0 ( xk ) Td ared = f 0 ( xk^ ) − f 0 ( xk + λ. d ) Fim


1.2 Método de Cauchy

Seja como na seção 1.1. O método de Cauchy serve para abordar essencialmente

problemas de minimização irrestrita. Ele utiliza a direção de máximo declive a partir de um ponto , ou seja, a direção dada pelo gradiente da função objetivo em , no sentido oposto. Em seguida faz uma busca ao longo dessa direção. Não daremos muita ênfase à precisão na minimização unidirecional, pois nosso objetivo apenas se restringe a uma boa redução da função objetivo. Deste modo utilizaremos o método de Armijo para achar um

ponto tal que se tenha uma certa redução da função objetivo sobre a direção em questão. A seguir temos o algoritmo de Cauchy com busca de Armijo.

f 0

x k^ ∈ R^ n xk

x k^ +^1 ∈ R^ n

_________________________________________________________________________

Algoritmo 1.2 Método de Cauchy com Busca de Armijo


Dados x^0 ∈ R^ n e de parâmetros ρ, α para Armijo

k = 0 ;

Enquanto ∇ f 0 ( x k ) ≠ 0

Faça d = −∇ f 0 ( xk ); Calcule λ , passo advindo do método de Armijo na busca unidirecional, se existir; Se não existir solução, PARE com fracasso; x k +^1 = xk + λ d ; Faça k = k + 1.


O Algoritmo de Cauchy é globalmente convergente. Contudo, possui apenas convergência linear (veja [20]).

1.4 Armijo com Modelo Quadrático

Considere o modelo linear de f 0 a partir de um ponto x fixo

l ( x + h ) = f 0 ( x ) +∇ f 0 ( x ) T^ ( x + h )

Dado um valor λ > 0 , usando Armijo com modelo linear, testamos o ponto

x + λ d da seguinte maneira:

pred = l ( ) x − l ( x + λ d ) redução prevista pelo modelo

ared = f 0 ( ) x + f 0 ( x + λ d )redução efetiva

O ponto x + λ d é aceito se ared ≥ α. pred , com α ∈( 0 , 1 ), um valor fixo. O

primeiro ponto que satisfaz ared = α. pred é chamado Ponto de Armijo.

O parágrafo anterior se refere ao Armijo com modelo linear exposto na seção 1.1. Entretanto, se conhecemos a hessiana de em , ou uma aproximação da mesma, podemos utilizar um modelo quadrático de. Então, para ,

f (^) 0 x

f 0 d ∈ Rn^ λ^ ∈ R defina,

m ( x +λ. d ) = f 0 ( ) x +λ.∇ f 0 ( ) xT^ d + 21 λ^2 dTH ( ) xd

Observe que para dado, esta função é ou constante, ou ilimitada inferiormente (se ), ou possui um único minimizador. No ultimo caso, o minimizador é dado pelo valor de

dR^ n

d TH ( ) xd < 0

λ tal que

m ′ ( x +λ. d ) =∇ f 0 ( x ) T^ d + λ. dTH ( x ) d

Desta maneira achamos o minimizador do modelo quadrático a partir de x na direção d , dado por

m

d H ( ) xd

f x d T 0 T min λ =−^ ∇

Figura 1

A figura 1 mostra que não vale a pena utilizar ρ > λmin. Nesse sentido, vamos

propor então um algoritmo bem parecido com o Armijo com modelo linear, tendo como única distinção o fato de agora usarmos o modelo quadrático de. Para o algoritmo a seguir não é necessária a hipótese de convexidade.

f 0

_________________________________________________________________________

Algoritmo 1.4 Armijo com modelo quadrático


Dado x k^ , d ∈ R^ n , ρ > 0 , α ∈ ( 0 , 1 ), fixo, por exemplo α = 0 , 4.

Se d TH ( ) xd > 0 , calcular λ min e fazer λ C =min{ρ , λmin}

Senão λ = ρ Calcule ared = f 0 ( xk ) − f 0 ( xk + λ d ) pred = m ( xk ) − m ( xk + λ d ) Enquanto ared < α. pred λ = 0 , 6 λ pred = m ( xk ) − m ( x k + λ d ) ared = f 0 ( x k ) − f 0 ( x k + λ d ) Fim

Resultado: λ C

_________________________________________________________________________