On présentera brièvement quelques "méthodes récursives aléatoires" ([Duflo]) en mettant l'accent sur les algorithmes stochastiques ([RoMo], [BenMetPri], [Ben]...) et la méthode de Langevin-Monte Carlo ([LaPa], [PaRe]). On s'attachera à mettre en évidence ce qui les rapproche à travers leur liens avec les EDO et les EDS ([PAG00]), mais aussi comment les cadres d'hypothèses et l'analyse de leur convergence ont varié récemment selon l'usage visé. Cette évolution, observée notamment sur les descentes de gradient stochastique, sera illustrée via deux situations applicatives : $ $ -- leur usage en probabilités numériques, où les procédures sont actualisées -- le plus souvent -- avec des données simulées selon des loi(s) absolument continue(s), donc "régularisantes", $ $ -- les data-sciences ( machine learning, rśeaux de neurones, apprentissage profond) où la mesure empirique de la base de données -- par définition singulière et "hors modèle" -- est systématiquement privilégiée dans la littérature (voir e.g. [AfBaSL] parmi de nombreuses autres références). On discutera ce point de vue qui peut apparaître paradoxal lorsque la taille de ces bases dépasse celle des échantillons simulés couramment en probabilités numériques et de son impact sur les hypothèses faites sur les fonctions de perte à minimiser et leur gradient.
Suite aux dernières régulations, en Europe ou aux États-Unis, de nouvelles plateformes de trading sont apparues offrant la possibilité d'échanger un même actif sur différents marchés. Pour optimiser l'exécution d'un gros volumes d'actifs, un trader doit donc le répartir sur les différentes places, et sur chacune d'entre elles, placer l'ordre au meilleur prix possible. Pour résoudre ce problème d'exécution optimale, on combine les cadres développés dans [LarLehPag] et [LarLehPag2]: après avoir définie la fonction de coût moyen de la stratégie d'exécution avec pénalisation finale, on construit l'algorithme de minimisation basé sur l'approximation stochastique. On démontre la convergence $p.s.$ de la procédure récursive et on l'illustre sur données simulées et réelles.
Nous considérons l'algorithme de Ruppert-Polyak des algorithmes stochastiques introduits par Robbins et Monro: $$ θ_n+1=θ_n-γ_n+1∇ f(θ_n)+γ_n+1Δ M_n+1, $$ où $-∇ f(θ_n)+Δ M_n+1$ est une évaluation non biaisée du gradient d'une fonction $f$ à minimiser, perturbée par un incrément de martingale. La moyennisation introduite dans [R88,PJ92] consiste à opérer une moyennisation au sens de Cesaro de l'algorithme initial: $$ θ̅_n = 1/n∑_i=1^n θ_i $$ Dans notre travail, nous présentons des bornes non-asymptotiques optimales (au sens de Cramer-Rao) dans un cadre très général qui permet de gérer à la fois le cas de l'uniforme forte convexité de [BM11] mais aussi les situations plus générales où $f$ sastisfait une condition faible de type Kurdyka-Ł ojiasewicz (voir [K98,L63]). En particulier, cela nous permet de considérer les exemples problématiques de type régression logistique séquentielle (voir [B14]) ou estimation récursive du quantile. Nous démontrons qu'un schéma optimal est obtenu pour une suite de pas $(γ_n)_n ≥ 1$ donné par $γ_n = γ_1 n^-β$ avec $β = 3/4$, obtenant ainsi un terme de second ordre en $O(n^-5/4)$.
Dans cet exposé basé sur un travail en collaboration avec G. Pagès, on présentera une méthode combinant l'approche Multilevel et l'accélération de Richardson-Romberg pour approcher et/ou simuler les mesures invariantes de diffusions. Plus précisément, l'approximation est obtenue via une combinaison bien choisie de mesures d'occupations de schémas d'Euler (multi-pas) de la diffusion considérée. Dans le résultat principal, on montrera qu'une optimisation des paramètres de l'algorithme conduit à une complexité de l'ordre de $ε^-2(ε)$ pour une erreur quadratique fixée à $ε$. Cette méthode s'applique galement l'approximation de mesures de Gibbs sur $R^d$. On terminera ainsi la présentation par une application au calcul effectif d'agrégation (à poids exponentiels) d'estimateurs en régression sparse.