Comment déterminer la qualité des prévisions

S'il y a une chose qui est difficile, c'est de savoir si la prévision d'un "expert" est forte. Autrement dit, est-ce que cet expert est vraiment bon dans sa capacité à prévoir le futur ?

Bon, dit comme ça on dirait que je parle de diseuse de bonne aventure. Mais je parle effectivement de ces économistes et de ces analystes des marchés qui nous disent si l'économie va bien aller ou non et si les marchés seront positifs ou non.

Prenons la situation d'un analyste que nous appellerons ABC. Alors ABC ne croit pas aux marchés boursiers dans leur composition actuelles et penche plutôt sur une vision très conservatrice de l'évaluation de la valeur d'un titre boursier. ABC travaille pour une grande entreprise et un de ses collègues, DEF, a une vision totalement inverse et croit toujours que les marchés sont sous-évalués plus que jamais. XYS est plus tempéré dans sa vision des marchés et grâce à sa capacité d'analyse, trouve toujours qu'elle sens prendra le marché. Finalement, OPQ est le gestionnaire principal de la firme auquel ABC, DEF et XYZ font leur recommandations. OPQ ne fait qu'à sa tête en laissant croire aux analyste qu'il sont important et choisi ses titre par hasard (lancer de dard, dés, etc.). Il est juste 1 fois sur 2 dans ses sélections finales qu'importe la direction du marché.

Évaluer la qualité d'une prévision
Pouvons-nous dire que les 3 analystes sont aussi performant ? Non. Mais comment analyser leur performance ? Si les marchés ont été à la hausse pendant 8 ans et à la baisse pendant 2 ans, pouvons-nous dire que ABC a raison 20% du temps et que DEF a plutôt raison 80% du temps ???

Une telle analyse laisserais de côté la faiblesse importante d'ABC et de DEF : il sont constamment  biaisé (par le haut ou par le bas). Alors il faut évaluer l'analyste deux fois. Une fois en marché haussier, et une autre fois en marché baissier.

Le CFA propose de calculer la probabilité que l'analyste soit exact en marché haussier (PA) et celle qu'il soit exact en marché baissier (PB). Une fois calculées on additionne les 2 valeurs et les soustrayons de 1. Ainsi, nos trois analystes obtiendraient des scores de :

• ABC : 0 + 1 - 1 = 0
• DEF : 1 + 0 - 1 = 0
• XYZ : 1 + 1 - 1 = 1
• OPQ : 0.5 + 0.5 - 1 = 0

Alors on remarque que la valeur maximale pour ce ratio est 1. Cela signifie que l'analyste est exact à tout coup. Une analyse rapide de la formule permet de comprendre que la valeur minimale est de -1. Or, un résultat ne devrait pas être sous 0, puisque cela signifierait que l'analyste est réellement mauvais ! En effet, si un analyste est sous 0, cela signifie que choisir l'orientation par hasard serait préférable en terme de justesse.

Voyez-vous que ABC et DEF ont aussi 0 ? Cela provient du fait que s'ils sont excellents dans leur marché respectif (hausse ou baisse), ils sont excessivement mauvais dans l'autre. Leur capacité de prévision est donc nulle. C'est un peu comme si Colette nous disait à tous les jours qu'il fera beau demain. Elle aura raison juste quand il fera beau. Les autres jours elle aura tord. Donnera-t-elle de bonnes prévisions météo ? Eh bien non !