Études de cas en gestion du risque de modélisation : Écueils courants et principales leçons
par Katie Cantor, Josh Chee et Joy Chen
Gestion du risque, février 2021
Les modèles actuariels sont essentiels pour le succès et la stabilité des sociétés d’assurance-vie. La crise de 2008 a rehaussé le profil des modèles financiers dans l’ensemble du secteur bancaire et ailleurs, et de nombreux assureurs-vie ont par la suite adopté une fonction indépendante de gestion du risque de modélisation (GRM).
Pendant ce temps, l’adoption d’exigences nouvelles et complexes en matière de provisionnement fondées sur des modèles, comme les améliorations ciblées à long terme (LDTI) des principes comptables généralement reconnus (PCGR) des États-Unis et le provisionnement législatif fondé sur des principes (PBR) aux États-Unis, ont accru la nécessité d’une validation rigoureuse des modèles actuariels, des hypothèses sous-jacentes et des données.
Adoptée en décembre 2019 et entrée en vigueur après le 1er octobre 2020, l’Actuarial Standard of Practice No. 56 (ASOP 56) est la norme récente de l’ASOP sur la modélisation qui précise les responsabilités de l’actuaire en ce qui concerne la conception, l’élaboration, la sélection, la modification ou l’utilisation de tous les types de modèles. La norme ASOP 56 précise les considérations relatives aux cas d’utilisation, à la structure des modèles et à l’intégrité des données, pour n’en nommer que quelques-unes.
[traduction] « Représentation simplifiée des relations entre les variables, entités ou événements réels à l’aide de concepts et d’équations statistiques, financiers, économiques, mathématiques, non quantitatifs ou scientifiques. Un modèle se compose de trois éléments : des intrants (renseignements), qui transmettent des hypothèses et des données au modèle; le traitement, qui transforme les intrants en extrants; et des résultats, qui convertissent les extrants en renseignements opérationnels utiles. » Définition d’un modèle en vertu de l’ASOP 56
|
David Anenberg : Responsable de la gestion du risque de modélisation
Darren Zhang : Directeur, Gestion du risque de modélisation |
Nous avons communiqué avec quatre experts spécialisés en gestion du risque de modélisation (voir l’encadré 1) qui ont entrepris d’établir et d’exécuter une fonction actuarielle mature de GRM. Le présent article énonce leurs conseils et astuces à l’aide de trois études de cas qui font part des problèmes communs auxquels sont confrontées les équipes de GRM.
Étude de cas 1 : Absence de gestion du changement appliquée aux modèles
Gloria, de la société ABC, travaille au sein de l’équipe d’élaboration des modèles et elle est chargée de superviser la préparation de tous les modèles d’évaluation de la société d’assurance-vie. La société ABC applique un cycle continu d’élaboration de modèles et elle met en œuvre des changements sur une base trimestrielle. L’équipe de Gloria a mis en application 10 changements visant l’amélioration des modèles dans un modèle à bac à sable qui élimine les simplifications et corrige les erreurs. Nous sommes déjà à la mi-novembre et ce modèle doit être utilisé pour les rapports de fin d’exercice en décembre. Les membres de la direction demandent depuis plusieurs trimestres que ces changements soient intégrés au modèle et Gloria ne veut pas les laisser tomber. Elle veille à ce que son équipe quantifie l’impact global qui indique une diminution des provisions techniques de l’ordre de deux millions de dollars. La politique de la société ABC permet aux responsables de modèles de décider si un changement apporté au modèle nécessite un examen indépendant de la GRM lorsque l’impact financier est inférieur à cinq millions de dollars. Comme le temps presse, Gloria choisit de passer outre l’examen de la GRM et elle fait passer le modèle à la production en prévision des rapports de fin d’exercice. Soudain, en février, les auditeurs constatent que deux des changements n’ont pas été correctement mis en œuvre, mais qu’ils ont des effets compensatoires importants qui n’étaient pas clairs dans l’analyse globale des répercussions.
Question : Comment votre programme de GRM atténue-t-il la possibilité que ce scénario se concrétise? Comment parvenez-vous à équilibrer la pression exercée par la direction pour améliorer continuellement les modèles et l’application rigoureuse de la gestion du changement dans des délais serrés?
David : Notre programme de GRM permettrait d’atténuer cette possibilité de quelques façons au moyen de la gestion du changement des modèles. Les équipes de modélisation doivent mettre à l’essai et documenter tous les changements, y compris l’examen du modèle du responsable. Idéalement, elles capteraient tout problème dès le départ grâce à des tests robustes qui dépassent la quantification de l’effet global. La mise à l’essai comprendrait une évaluation du caractère raisonnable de l’effet quantifié, plus particulièrement une comparaison avec les attentes antérieures si celles-ci étaient des simplifications et des erreurs connues depuis plusieurs trimestres. Pour un grand nombre de changements comme celui-ci, soit ils seraient divisés pour permettre une analyse plus détaillée de chacun, soit qu’une attribution de l’effet de chaque changement serait fournie, ce qui pourrait aider à révéler les effets compensatoires. En outre, la GRM est requise pour examiner tous les changements de façon indépendante, afin de s’assurer que la mise à l’essai et l’analyse sont suffisantes et pour découvrir tout problème résiduel important. Enfin, les changements sont présentés au Comité de gouvernance de la modélisation aux fins d’examen supplémentaire par les pairs et ils sont remis en question avant leur approbation, puis mis en production.
Marina : En outre, dans le cadre des validations périodiques des modèles, nous formulons des recommandations et parfois même nous proposons des outils pour simplifier les processus de modélisation et améliorer les contrôles connexes afin de réduire les risques d’erreur à l’avenir. De plus, l’équipe chargée de la validation des modèles tient à jour des outils indépendants de recalcul pour nos modèles présentant les plus grands risques afin de s’assurer qu’aucune erreur n’est commise dans le cadre du processus de changement des modèles entre les validations périodiques complètes des modèles.
|
Piliers de la GRM |
|
Piliers d’un solide programme de GRM 1. Élaboration de modèles : Examen nécessaire des changements relatifs aux modèles actuels pour s’assurer que les modifications sont correctement mises en œuvre et produisent les effets prévus. 2. Validation des modèles : Ensemble de processus et d’activités visant à s’assurer que les modèles fonctionnent comme prévu, conformément à leurs objectifs de conception et à leurs utilisations opérationnelles[1]. 3. Gouvernance des modèles : Cadre énonçant les rôles et les responsabilités définis pour l’élaboration, l’utilisation, les communications et l’approbation des modèles.
La couverture des trois piliers fait en sorte que les nouveaux modèles sont suffisamment validés, qu’ils conviennent aux fins prévues et qu’ils sont mis à jour, tenus et testés efficacement au fil du temps.
[1]SR Letter 11-7 – Supervisory Guidance on Model Risk Management |
David : Il n’existe pas de formule parfaite et notre entreprise s’affaire encore à la recherche de l’équilibre. Nous nous efforçons de le faire en soulignant la nécessité d’une priorisation efficace, en rationalisant les exigences de gouvernance lorsque cela est approprié et proportionnel au risque, et en simplifiant et en modernisant les modèles et les processus au fil du temps afin de faciliter les changements et d’éviter le chevauchement des tâches.
Étude de cas 2 : Plan de validation insuffisant
Matt travaille au sein de l’équipe d’évaluation de la société ABC et il est responsable des cycles de production du nouveau modèle de provisionnement fondé sur des principes (PBR). La fonction de GRM de la société ABC a validé de façon indépendante le modèle de PBR au troisième trimestre puisqu’elle a obtenu la cote de risque de GRM la plus élevée. Il s’agira de la première fois que le modèle de PBR est utilisé pour les rapports de fin d’exercice prévus par la loi. Matt exécute les cycles de production bien avant l’échéance et il se dit : « Eh bien, c’était facile comme tout. J’adore le PBR! » Toutefois, deux mois plus tard, l’équipe chargée d’élaborer la modélisation est tombée sur une importante erreur de modélisation. Le modèle calculait correctement les provisions techniques. Cependant les taux des produits intégrés au modèle pour le produit ZZZ et le produit YYY ont été inversés. Ces produits ne représentent pas une part importante des activités, mais l’inversion des taux a sensiblement affecté les résultats. Comme les produits ZZZ et YYY n’étaient pas des plus importants, tant sur le plan du nombre de polices que sur les provisions techniques, ils n’ont pas été inclus dans la portée de l’examen de validation des intrants de la GRM.
Question : Comment est structuré votre cadre de validation du modèle de GRM pour atténuer le risque que cette situation se produise? En quoi vos procédures de validation diffèrent-elles par rapport à votre échelle interne d’évaluation du risque de modélisation?
Sebastian : Comme pour la plupart des assureurs, Prudential utilise un cadre de gestion du risque à trois lignes de défense. Dans ce cadre, le point de départ pour atténuer ou prévenir les erreurs d’entrée de ce type commence par le responsable du modèle de première ligne qui doit disposer des contrôles adéquats, de la documentation à jour et de la mise à l’essai de ses entrées de modèle. Cela augmente considérablement la probabilité que les intrants et les hypothèses soient correctement mis en œuvre dans un modèle.
La première ligne doit effectuer une surveillance continue du rendement des extrants du modèle. Cette surveillance comprend une analyse détaillée des changements apportés d’une période à l’autre aux extrants du modèle attribués aux principaux intrants, hypothèses ou changements méthodologiques. Toute différence inexpliquée entraînerait un examen plus approfondi qui permettrait vraisemblablement de déceler des erreurs, comme celle trouvée dans les produits YYY et ZZZ. La deuxième ligne de défense effectuera son propre examen indépendant de la mise en œuvre en utilisant divers tests comme l’analyse des extrants qui scrute les ratios ou les tendances à l’aide des extrants du modèle. Ce type d’analyse est habituellement conçu pour repérer un comportement anormal des extrants du modèle qui n’est pas conforme aux caractéristiques en vigueur et aux hypothèses. Dans l’exemple, l’effet important de l’erreur d’entrée indique que les taux du produit varient considérablement entre YYY et ZZZ. Une analyse d’un ratio implicite étayé par les principaux produits du modèle et comparé aux taux du produit source exposerait probablement le décalage entre les produits.
|
Écueils courants de la GRM |
|
Portée et exigences · Définition trop restreinte ou trop large d’un modèle actuariel. · Les exigences peuvent être si contraignantes qu’elles nuisent à l’élaboration et à l’utilisation efficaces du modèle. · Les exigences ne sont pas définies au niveau de détail qui convient. Rôles et responsabilités · Les principales responsabilités ne sont pas définies de façon claire (p. ex. qui décide en fin de compte si un outil est un modèle, qui est chargé de la validation du modèle). · Les ressources d’autres secteurs ne peuvent être mises à profit. Tenue du programme · Documentation insuffisante sur la responsabilité, la fréquence et l’omniprésence de l’examen du programme de GRM. · Procédures manquantes concernant la façon dont les nouveaux modèles sont intégrés au programme de GRM. Codification · Documentation incohérente entre les modèles et leurs responsables. · Dimensions inappropriées pour les cotes de risque des modèles ou trop grand recours au jugement. · Les programmes de validation sont souvent mal définis, sans un cadre clair et des exemples de rapports. · Souvent, le contrôle et l’usage convenable des modèles ne sont pas clairement définis. Rendement de la GRM · Aucune procédure établie pour mesurer l’efficacité. · Temps disproportionné consacré à l’élaboration du programme de GRM par rapport à sa mise en œuvre (p. ex. trop d’ajustements). |
Darren : La fonction de GRM de Prudential utilise une mesure d’évaluation du risque de modélisation qui est calculée en fonction de l’importance relative, de la complexité et de l’incertitude des hypothèses du modèle. À partir de la note calculée, une cote de risque élevée, moyenne ou faible est attribuée. De façon continue, la première ligne doit signaler tout changement important et la deuxième évalue périodiquement le risque associé aux changements apportés au modèle depuis la dernière certification pour les modèles à risque moyen ou élevé. Les modèles ayant subi des changements importants feront l’objet d’un réexamen complet et d’une nouvelle certification.
Étude de cas 3 : Manque d’adhésion des parties prenantes
Richard vient tout juste de joindre les rangs de la société ABC et il assume le rôle de responsable de modèle pour tous les modèles de rentes indexées. Auparavant, il a travaillé à l’élaboration de modèles au sein de la société Non-GRM qui, vous l’aurez deviné, ne disposait pas de fonction de GRM. La société Non-GRM appliquait de rigoureuses politiques de première ligne de défense qui exigeaient des essais et des validations exhaustifs avant de promouvoir tout modèle ou changement jusqu’à la production. Lorsque Richard s’est joint à ABC, il s’est immédiatement opposé à la fonction de GRM, car il la considérait redondante et la percevait comme une utilisation inefficace de son temps. De plus, il a informé l’équipe de direction que le programme de GRM ajoute des frais généraux inutiles sans réduire sensiblement les risques; elle pourrait tout simplement ajouter à la rigueur des essais de la première ligne de défense.
Question : Quelles sont certaines des clés de votre fonction de GRM qui permettent de garantir la participation de toutes les parties prenantes (p. ex. des modélisateurs jusqu’à la haute direction)? Comment trouver le juste équilibre entre des politiques rigoureuses et robustes de GRM sans engendrer de coûts indirects lourds pour les responsables des modèles et les équipes de production?
Marina : Les validations des modèles effectuées par notre équipe de GRM ont donné lieu à un nombre important de constatations et d’observations utiles qui ont contribué à accroître la participation des différentes parties prenantes. Nous comptons sur une équipe de ressources de GRM affectée spécifiquement à la validation des modèles et qui est vraiment indépendante de la fonction d’élaboration des modèles. En plus de cerner les erreurs et les simplifications, bon nombre de nos rapports de validation comprennent des évaluations de la qualité de la conception et de la tenue à jour des modèles, ainsi qu’une analyse conceptuelle de la pertinence des modèles. Les équipes de modélisation utilisent les conclusions de nos rapports de validation pour accroître l’exactitude du modèle et réduire le risque d’erreurs futures. Les rapports de validation des modèles informent également la haute direction des faiblesses des modèles, ce qui permet de prendre de meilleures décisions quant à l’affectation des efforts et des ressources nécessaires pour moderniser les modèles, améliorer les processus et la documentation, et renforcer les initiatives de la première ligne au chapitre des contrôles.
David : Je conviens qu’aider les modélisateurs à réussir est un excellent moyen d’obtenir leur participation. J’ajouterais que l’examen des changements apportés aux modèles leur permettrait également d’éviter certains travaux avec la direction ou les auditeurs, en leur proposant des façons d’améliorer leur soutien ou en leur posant des questions à titre d’intervenants de l’extérieur pour renforcer leurs explications. En fin de compte, nous faisons tous partie de la même équipe, seules les lignes de défense sont différentes — comme une équipe de soccer qui joue avec un trop grand nombre d’avants peut marquer beaucoup de buts, mais peut en accorder encore davantage!
Darren : Pour que notre fonction de GRM rallie toutes les parties prenantes, il faut débuter par un leadership solide et une vision claire. Une vision communiquée par le chef de la gestion des risques facilite grandement la participation des autres membres de l’équipe lorsque l’objectif final est clair. Chez Prudential, la haute direction met en valeur l’importance d’une fonction centralisée et indépendante de contrôle du risque de modélisation en deuxième ligne. L’une des clés de la participation de notre groupe de gestion du risque de modélisation passe par notre conseil de gouvernance de la modélisation, qui compte des représentants de l’actuariat, des finances, des investissements et du risque au sein de la haute direction. Le conseil est une tribune de discussion pour la haute direction et les experts en la matière sur des questions liées à la gouvernance et aux contrôles du risque de modélisation. Qui plus est, l’adhésion de la première ligne est essentielle à notre réussite. Nous devons d’abord établir une relation saine entre la première et la deuxième ligne. Nous nous efforçons d’être perçus comme un partenaire à valeur ajoutée et nous évitons d’avoir une relation antagoniste avec la première ligne.
Sebastian : Il est également important de répondre aux préoccupations du responsable du modèle concernant « l’utilisation redondante et inefficace de son temps ». Nous soulignons ici trois points qui devraient être clairement communiqués : 1. Le processus de gouvernance du modèle devrait être mis en œuvre dans le cycle de vie d’élaboration du modèle, plutôt que d’être exécuté rétroactivement à la fin de l’élaboration du modèle, ce qui nuirait à l’efficacité et à la valeur perçue du contrôle; 2. L’équipe de la GRM devrait collaborer avec d’autres fonctions de supervision existantes, comme l’audit interne, pour éviter le dédoublement des efforts et l’incohérence des normes. 3. La stratégie d’examen de la GRM en deuxième ligne devrait reposer sur les risques et être conçue en plus des essais de première ligne existants pour éviter de répéter le même travail qui n’ajoute aucune valeur.
Leçons apprises
Dans l’ensemble des études de cas, trois leçons clés doivent être gardées à l’esprit pour exécuter un programme de GRM actuariel efficace :
- L’équipe de la GRM n’est pas un substitut : La présence d’une fonction de GRM n’est pas une raison de réduire la rigueur des tests aux autres lignes de défense.
- La rigueur doit être proportionnelle au risque : Moduler le niveau de rigueur en fonction du risque actuariel inhérent du modèle afin d’éviter des frais généraux lourds à valeur marginale.
- Il faut une équipe pour gérer efficacement le risque de modélisation : Nous formons tous une seule équipe. L’instauration d’une culture axée sur le risque, avec la participation à tous les niveaux au sein d’une organisation, contribuera à la réussite de n’importe quel programme de GRM.
Les points de vue ou opinions exprimés dans le présent article sont ceux des auteurs et ils ne reflètent pas nécessairement la politique ou la position officielle d’Oliver Wyman ou de la Society of Actuaries.
Katie Cantor, FSA, MAAA, est associée chez Oliver Wyman. Vous pouvez la joindre à katie.cantor@oliverwyman.com.
Josh Chee, FSA, MAAA, est expert-conseil principal chez Oliver Wyman. Vous pouvez le joindre à josh.chee@oliverwyman.com.
Joy Chen, FSA, CERA, est experte-conseil principale chez Oliver Wyman. Vous pouvez la joindre à joy.chen@oliverwyman.com.