Ein funktionalanalytischer Beweis des Maximumprinzips von Pontrjagin und dessen Verwendung zur Herleitung der Politikiteration von Howard

Zusammenfassung

Der umfangreiche, auf geometrische Überlegungen gründende Beweis des Maximumprinzips vonPontrjagin läßt sich vollständig durch funktionalanalytische Herleitungen ersetzen: anstelle der totalen Ableitung von Prozeß und Zielfunktional bei der direkten Methode sind hier nur die partiellen Ableitungen in Richtung der Zustandsvariablen nötig, während die Differenz in Richtung der Steuerungen nicht linearisiert wird. Die Kozustandsvariablen sind Hilfsgrößen, die zur Umformung eines Skalarproduktes dienen. (Sie ergeben sich als Lösung einer linearen Gleichung, deren Operator durch die Adjungierte zur partiellen Ableitung des Prozeßoperators gegeben ist und deren rechte Seite das teillinearisierte Zielfunktional bildet.) Dabei erhält man die bekannte Ungleichung der Hamiltonfunktionen, deren Gültigkeitsbereich in einem Widerspruchsbeweis globalisiert wird.

Dieser funktionalanalytische Beweis ist kürzer, konstruktiver und allgemeiner: so ergibt sich die Politikiteration vonHoward als Anwendung des Maximumprinzips auf bewertete stationäre Markovprozesse.

Summary

The tedious proof ofPontrjagin's maximum principle, based on geometric considerations, can be fully replaced by methods of functional analysis: instead of complete differentiation of the process and the objective functional in the direct method, only partial derivation in direction of state variables are used, while the difference in direction of the control is not linearized. The costate variables furnish a means to transform an innerproduct. (They are the solution of a linear equation whose operator is the adjoint of the partial derivative of the process operator and whose right side is formed by the partial linearized objective functional.) As result we obtain the wellknown unequality of the Hamiltonians, whose domain of validity is globalized in a proof by contradiction.

This proof by methods of functional analysis is more concise, constructive and more general: application of the maximal principle to ergodic Marcovprocesses with rewards results inHoward's method of policy iteration.