jueves, noviembre 19, 2009

Proyecciones EfeMeIcas

Preguntabase hace unas semanas Ulschmidt a raíz de este post sobre las proyecciones del FMI:

“Sería interesante contrastar las proyecciones Fmeicas de años atrás con las realidades que luego se dieron, porque del 2001 creo le viene errando para abajo en varios puntos, año tras año”

Como el objeto último de este blog no es otro que satisfacer todos y cada uno de los deseos de nuestros fieles lectores, decidimos dedicar algunas de las ociosas e improductivas horas de sueño a la mucha más eficiente y redituable actividad bloggeril. Redituable digo, porque expertos de la Universidad de Conecticut afirman que hay una correlación estadísticamente significativa igual a 20% entre la cantidad de horas dedicadas a la actividad bloggeril y los clicks en los anuncios del blog. (O no la hay, claro, pero nosotros seguimos intentando)

¿Cuál ha sido la diferencia entre la evolución del PBI proyectada por el FMI cada año y lo que finalmente pasó?


El ejercicio es bastante simple. Que fue lo que el FMI dijo que iba a pasar y que pasó. Los datos salen de los World Economic Outlook de septiembre u octubre de cada año entre 1999 y 2008. 36 paises fueron considerados: 10 de América Latina*, Estados Unidos, el “CAN” (Canada, Australia, Nueva Zelanda), 18 de Europa** y 4 de Asia***

Aclaro, por las dudas. Personalmente no creo que acertan un pronostico de este estilo sea, per se, algo positivo ni que un pifie importante sea necesariamente negativo. El rol del economista, como el de otros “cientistas” sociales no debe ser el de profetizar el futuro ni ver en la bolsa de cristal. Para eso están los videntes, las pitonisas, los que hacen “technicals” en finanzas y el economista tecnochanta, que buscará mostrarse serio y confiado en un futuro donde lo único que abunda es la incertidumbre, lo inesperadado y lo impredecible. Prefiero una o varias historias bien contadas, que me convenzan vinculando consistentemente varios “Si” con varios “entonces” sin necesidad de asignarles una probabilidad inventada.

Aclarado esto, a los bifes.

Veamos, a modo de ejemplo, como fue la evolución de las proyecciones y aciertos para el caso de EE.UU. En el siguiente gráfico, en celeste puede verse la estimación que el FMI hizo en octubre de cada año, comparada con la columna verde, que muestra el crecimiento real. La violeta muestra, así, el error de estimación. Un número negativo significa que el FMI sobreestimó el crecimiento real, uno positivo que proyectaba un crecimiento menor que el que realmente sucedió. El error promedio del FMI, con un crecimiento de 2.67% por año, fue de 0.5% del PBI (en términos absolutos). En el caso de EE.UU. ha tendido a haber una sobreestimación del crecimiento real, en particular en los años de la crisis de las .COM.



Repitiendo el ejercicio para los 36 países y agrupando por región obtenemos lo siguiente:



Noten, por un lado, como Latinoamérica se caracteriza por ser la región en la cual esl FMi ha sido menos certero en sus proyecciones, con un error promedio equivalente al 37,4% del crecimiento real del sector. Esta característica se mantiene aún si no consideramos los años de de crisis (donde crisis es “caída mayor al 4% del PBI”). Es llamativo como este error de estimación es sensiblemente más alto que el de los cuatro países de Asía, a pesar de haber mostrado un crecimiento similar durante el periodo (o incluso más rápido si incluimos los años de crisis). En el otro extremo, el CAN se ubica como la región más “predecible”.

A ver amigo lector si lo descubre ¿Cuál ha sido el peor pifie del FMI entre los 36 países analizados? Dejo el gráfico y la incognita, cuya respuesta irá en los comments. Como se ve, para este país se esperaba una caída del 16,7% que resultó ser de “tan solo” 7,6%.



Ahora bien, centrémonos en América Latina, y en Argentina y en los vecinos mimados.

El caso de Chile es interesante. El crecimiento promedio de Chile durante el periodo fue de 3.7% anual, con un error promedio de 0.7% en términos absolutos. Este error equivale al 20% del crecimiento real valor sólo superado en el caso de Bolivia, con un impresionante margen de error de tan solo 8,4% (en un crecimiento del 4,0% interanual) y Perú (17,2% y 5,4% respectivamente). Tan sólo en 2 de los 10 años el FMI subestimo el crecimiento chileno, sobreestimandolo otros 6 casos (2 acierto). En promedio, el FMI sobreestimo el crecimiento un 0.4% por año (este número es más bajo que el 0,7% de antes porque positivos y negativos se netean).




Veamos el caso brasilero. Un mezcladito de 3 subestimaciones, 3 aciertos y 4 sobreestimaciones. La tasa de acierto es ligeramente peor a la de Chile: con un crecimiento de 3,0% promedio durante la década, el FMI mostró un error de proyección de 0,7%, o sea 24%. Si eliminamos el pifie de 1999, cuando el FMI no proyectó la rápida recuperación tras la crisis del sudeste asiático, la tasa de acierto mejora mucho: Para un crecimiento de 3,3% un error promedio de 0,5% del PBI anual (16,2%), incluso mejor que lo que se observaba en el promedio europeo más arriba.

Ahora bien ¿Qué tan certeras fueran las proyecciones FMeicas en el caso de Argentina?

La muchachada podrá hacerse un festín con el gráfico que sigue, sin embargo nosotros, con la objetividad inmaculada que nos caracteriza, limitaremosnos a un análisis descriptivo, dejando el jugo para los comentarios.



Varios cosas se observan. La primera es que, para un crecimiento promedio de 3,2% entre punta y punta, la tasa de error en la proyección fue de 1,9% por año, o sea 60% del crecimiento observado. En segundo lugar se observa como la tasa de error va cayendo a medida que pasa el tiempo. Entre 2006 y 2008 se observa una sorprendente tasa de acierto con un error de tan sólo 8,3% (0,6% de error en un crecimiento promedio de 8%). En tercer lugar se observa un notorio cambio en el signo del error, si entre 1999 y 2001 el FMI tendió a sobreestimar el crecimiento argentino, desde 2002, sistemáticamente lo ha subestimado. Si en el lustro entre 2003 y 2008 crecíamos lo proyectado, el crecimiento acumulado habría sido de 50% y no del 63% como efectivamente fue. ¿Qué me contursi?

La seguimos en los comments.

Atte

Ele

*Chile, Bolivia, Brasil, Colombia, Uruguay, Paraguay, Peru, Ecuador, Argentina, Venezuela
** Noruega, Francia, Portugal, Belgica, Suiza, Grecia, Dinamarca, Suecia, España, Alemania, Austria, Israel, Italia, Reino Unido, Holanda, Islandia, Irlanda y Finlandia
***China, Japón, Taiwan y Singapur)

26 comentarios:

Gonzalo dijo...

Ele, sin ponerme paranoico, no cree que la subestimación del crecimiento, que neceseriamente conlleva a una "desestimación" de la política económica local puedan ser parte de la estrategia de "patada a la escalera"?
saludos!

Iván dijo...

El país de la pifiada grosa es Venezuela, no?

Ma(q) dijo...

Si, yo apuesto como Ivan....el paro petrolero no fe en esa época?

Leandro dijo...

Lo que me queda claro: el FMI sistematicamente sobreestima la economia, apalancando y sosteniendo, de los gobiernos que le son favorables a sus intereses (lease los de los estados unidos, lease gobiernos de derecha ultraliberales) y sistematicamente subestima, minimizando y ninguneando, los resultados de los gobiernos que le son adversos politicamente a sus intereses. Esos graficos son evidencia empirica de la injerencia economica y politica del fondo en los paises.

Saludos

Gabriel dijo...

No creo qeu el error haya sido tan grande realmente...

O sea: Será por eso qeu es un pais impredecible...

Leandro dijo...

Mas aun, sin entrar ya al tema de argentina, miren el caso de chile: gobierno anterior, el FMI sistematicamente sobreestima el crecimiento. Viene Bachelet, supuestamente mas de izquierda y posiblemente reformista, empieza a subestimar el crecimiento. Un tiempito despues, se avivan que muchos cambios no va a hacer y sigue tan liberal como siempre, conclusion: vuelve a sobreestimar el crecimiento. No se olviden de la cantidad de inversiones y decisiones economicas que se toman bajo la influencia de la opinion del fondo. Por ejemplo, pensar ante el caso de sobreestimacion del crecimiento, que en realidad una parte importante del crecimiento real se debio a inversiones atraidas GRACIAS a esa sobreestimacion, con lo cual, sin la misma probablemente el crecimiento hubiera sido efectivamente menor, con lo cual al tipo que le sobreestiman el crecimiento le estan dando un gran empujon, y viceversa, al que le subestiman le estan pinchando la pelota terriblemente, pisandolo para que no crezca... muy sugestivo...

Leandro dijo...

Es decir, (perdon, lo sigo viendo y me sigue chocando), lo raro de esto es lo sistematico de las subestimaciones y sobreestimaciones. Uno esperaría que si se trata de un error (ver cualquier teoria de errores en la medicion) los errores, positivos y negativos, se distribuyan a ambos lados de la linea del cero, y se habla de errores aleatorios. Pero cuando los errores caen todos del mismo lado, se habla de un instrumento "sesgado" y errores sistematicos. Y si encima vemos que esos "sesgos" aparecen en coincidencia con ciertos cambios políticos, no se puede menos que concluir que lo que introduce el sesgo son, precisamente, cuestiones politicas, es decir, el FMI mide lo que quiere de acuerdo a sus intereses politicos, y eso tiene un impacto fuertisimo sobre las economias de los paises que se ven sometidos a tales mediciones!!! repito, esto es EVIDENCIA EMPIRICA e INOBJETABLE del grado de intromisión del FMI en nuestras economias!

Anónimo dijo...

Que impresionante, el FMI tiene mayores errores de predicción en las economías más volátiles. Cerdos imperialistas.

Fernando dijo...

Very good mr Ele. Muy simpatico el ultimo grafico... Hannibal se pondria archi contento si se lo mandaras...

Sldos!

Anónimo dijo...

Nadie dice que el FMI es un santo, pero de eso a hablar de evidencia empirica inobjetable, que actuan pura y explusivamente sin dormir para perjudicar nuestros intereses es un poco patetico. Podriamos ponernos a trabajar en vez de quejarnos todo el tiempo y echarle la culpa a los demás de que somos una pajeros ignorantes.... me importan un carajo las idiologias pero si para reducir la pobreza hay que ser "neoliberal como chile o brasil" firmo en cualquier lado.... El FMI es un antro de politicos (no de economistas) y si, la economia argentina es menos predecible que el proximo gol de palermo.

PD: ¿quien me garantiza que la cifra de crec sea verdadera, hay forma de saber? (ni idea, pregunto)

il postino dijo...

TOdas las proyecciones económicas de países fuera de USA, Canada, GB, y los grandes de Europa, son una mezcla de esoterismo, con vodoo science y wishful thinking...no hay nada realmente científico atrás (un guesstimate de cualquier persona mas o menos informada erraría parecido)

Miren las proyecciones del Economist de los ultimos 20 años y verán errores similares...pretender proyectar crecimientos económicos cuando no se comprende el fenómeno de crecimeinto en forma real y cuando hay n variables que pueden interactuar entre si en forma inesperada (variables no económicas, como el clima, las guerras, la politica, etc) es una de las tantas formas que tiene la gente de mentirse para no horrorizrse ante el azar.

Natalio Ruiz dijo...

Ele

Sin intentar hacer una apología del FMI, es casi trivial que sus proyecciones (así como las de cualquier economista) son más propensas a ser erróneas cuando más volátil es lo que se está estimando. De esta manera, no sería tanto "culpa" del FMI de pifiarle como la de la idiosincrasia de la economía argentina.

Como dice un profesor mío, eso es sigma!

Saludos

Leandro dijo...

Sigma, queridos amigos, no hace distinciones de lado, cuando el desvio es sistematico para un mismo lado, y mas aún, cambia de lado segun el color del gobierno de turno, lo que tenemos es sesgo. Llamarle volatilidad a errores sistematicos para el mismo lado es, o bien de ignorantes, o bien de necios que no quieren aceptar la realidad.

Kaloma dijo...

Dos temas:
1.- la aclaracion q comparto respecto a los economistas y su rol q no incluye adivinacion, le hace perder sentido al analisis del post.
Q deberiamos pensar, q es un dibujo y q nuestro dibujo es peor?
2.- prefiero pararme como protagonista de nuestros intereses y no victima de los intereses ajenos.
Salutti

Leonardo dijo...

Leandro, no se para nada como el FMI hace sus predicciones pero me la juego a que sus modelos no asumen politicas "heterodoxas" como nacionalización de fondos previsionales, controles de precios, intervención en el mercado cambiario vía moreno, (deberian ocurrirseme más, los debe haber)... es lógico que el "sesgo" se vaya para un lado....los modelos se deben ajustar a lo que pasaria si se siguieran politicas de mercado bla bla....No te estoy diciendo que sos un retrograda ni nada (auqnue si lo pienso) sino que se comprende el "sesgo".... seguramente haya ciertas tendencias pero creeme a nadie le importa jodernos, nos jodemos solos, somos muy buenos haciendo eso!

me causa gracia que tomes como verdad revelada una info que beneficia tu postura.

Anónimo dijo...

Querido Ele, esos errores NO SON RUIDO BLANCO!!

R,

Leandro dijo...

Leonardo:
Tu comentario razona que vos entendes el sesgo porque el FMI aplica criteros ortodoxos, y por lo tanto no tiene en cuenta la economia heterodoxa argentina (sin embargo, por que da sesgos constantes para la economia chilena, ortodoxa si las hay? segun tu razonamiento ahi el modelo deberia andar muy bien!). En definitiva, vos sostenes que, dada la forma en que el FMI mide las cosas es de esperar el sesgo pro ortodoxia. Yo opino lo mismo, con la unica diferencia que vos consideras que eso es un accidente, pobrecitos son asi, no tienen la culpa, mientras yo considero que es una politica deliberada, lo hacen a proposito.

Pero pensa en las consecuencias de tu afirmacion: el organo mundial que se jacta de ser el termometro de las economias, que da o quita ayuda, elevandose como el gendarme economico del mundo, que se supone neutral y objetivo, sólo mira las cosas desde una de las teorías económicas, y desdeña el contexto (heterodoxo por ejemplo) de las economias que monitorea. Te das cuenta de que si el FMI funciona como vos supones, ademas de solo comprender el sesgo, deberias estar de mi lado, pidiendo que sea reformado, porque no puede ser que el neutral y respetado gendarme mire con un solo ojo?

Por otro lado, mi analisis no acepta como verdad absoluta la informacion que favorece mis razonamientos. Mas aún, lejos de conformarme con esos datos, me puse a jugar un poquito con unos modelos estadisticos.

Natalio Ruiz sugiere que lo unico que se ve en los datos para argentina es la "volatilidad". El está asumiendo que los errores siguen una distribucion constante, y que si varia mucho es porque la varianza es grande. Pues bien, planteemos un modelo estadistico con una distribucion gaussiana para toda la serie, y estimemos media y desvio para la misma. Este es el modelo 1.

Yo por otro lado, sostengo que hay un sesgo, y que ese sesgo cambio de signo claramente en 2002. Hasta 2001 se seguia una distribucion de error favoreciendo al pais neoliberal, y desde 2002 se sigue otra distribucion diferente, castigando al modelo heterodoxo. Asi que modelo los datos hasta 2001 con una gaussiana con una media y un desvio, y los datos a partir de 2002 con otra gaussiana de media y desvio diferentes. Es un modelo malo, porque claramente la media de 2002 en adelante no es estatica sino que tiene una tendencia decreciente, pero en aras de simplificar alcanza, y como vamos a ver es mucho (pero mucho eh) mas probable que el que propone natalio.

Resuminedo, dos modelos probabilisticos, uno (el de natalio, M1) propone una distribusion gaussiana de parametros constantes del error, el otro (el mio, M2) propone que el error tuvo un cambio en sus parametros estadisticos en 2002, pasando de una gaussiana a otra diferente. Los parametros de ambos modelos se pueden estimar de los datos.

Pues bien, calculemos la verosimilitud de cada uno, esto es, la probabilidad de que los datos observados correspondan al modelo propuesto: P(x|M1) y P(x|M2). Mas aún, calculemos el cociente de verosimilitudes P(x|M2)/P(x|M1) que dice que tanto mas probable es mi modelo que el de natalio. Haciendo las cuentitas (se las dejo de tarea!), P(x|M2)/P(x|M1)=80.19. Que les parece? es 80 veces mas probable mi modelo que el que propone Natalio. Muchachos: evidencia empirica, DATOS DUROS!

PD: para desburrarse un poco, un libro muy pero muy interesante:
Detection of Abrupt Changes - Theory and Application
by Michèle Basseville and Igor V. Nikiforov, disponible online en:
http://www.irisa.fr/sisthem/kniga/

Victor Lustig dijo...

Leandro, suponiendo que todas esas cuentas están bien, etc, ponele que mostraste que los errores tienen un sesgo (pregunta de ignorante que no se acuerda nada de series temporales: no hubiera alcanzado con un test de Ljung-Box?).
Eso de ninguna manera es "evidencia inobjetable" de tu conjetura sobre el FMI. No digo que sea cierta ni falsa, no lo sé, solo digo que no la probaste.

Natalio Ruiz dijo...

Leandro

No recuerdo exactamente el modelo que usa el FMI para estimar el crecimiento. Hay algo en el sitio pero no me metí mucho en eso.

Tampoco recuerdo haber propuesto "un modelo con una distribución gaussiana de parámetros constantes del error". Mi comentario del sigma era méramente anecdótico. De más está decir, además, que mencionar un parámetro de ninguna manera implica suponer que sea constante.

De cualquier manera, la razón más probable del supuesto "sesgo sistemático" no debe(ría) venir de una más supuesta ideología en la econometría. Más bien, partiría de que hubo un cambio estructural en la serie de crecimiento. Esto es, el país en 2002 cambió radicalmente su regla de política monetaria, sus reglas comerciales, la manera de aumentar el gasto público... Probablemente el sesgo parta de estimar todo con el mismo modelo frente a un cambio estructural y no de ideología. El gráfico que puso Ele, si bien no lo prueba, lo sugiere.

Tengo entendido que el FMI utiliza versiones particulares de su(s) modelo(s) para cada país o grupo de países, para intentar capturar las ideosincrasias de cada economía. Desconozco si hizo esto específicamente para la Argentina.

Saludos

Anónimo dijo...

Che, poneme un benchmark. Fijate que pronosticaban otras fuentes y despues vemos si el IMF esta subestimando o no.

Por otro lado, siempre hay un tema de conservadurismo en el IMF. Tanto para las caidas como para las recuperaciones.

Leandro dijo...

Victor Lustig: el objetivo no era demostrar que hay un sesgo. Para eso no es necesario ninguno de mis cálculos: si se saca la media para la serie oroginal de lemaco, es positiva, no cero. Esto indica que el error esta orientado hacia un lado, en lugar de ser "neutral", o sea, esta sesgado.

Lo que yo estoy demostrando es que existen efectivamente, DOS comportamientos distintos en las estimaciones del fondo, uno para el pais en su etapa neoliberal, otro diferente para el pais en su etapa heterodoxa, y el punto de quiebre es el cambio de modelos. En uno de los modelos, al pais se lo trata de beneficiar, sobreestimando el crecimiento, en el otro se lo trata de perjudicar, subestimando sistematicamente su crecimiento. Todo eso quedo absolutamente demostrado con mi analisis. Lo unico que no es demostrable es "a que se debe" ese comportamiento, y ahi, mi postura es que es una decision politica explicita del fondo hacer eso para perjudicar a los paises contrarios a su linea politica, mientras que otros opinan que como en general los del FMI son conservas, "les sale" naturalmente hacerlo asi (o sea, lo mismo que yo, solo que para mi hay dolo y para ellos no).

Leandro dijo...

Natalio, si ahora se desdice y resulta que nunca dijo lo que dijo, no vamos a avanzar. Desde el principio yo argumente que habia DOS comportamientos diferentes, premiando las politicas liberales y castigando las heterodoxas. Eso implica un cambio de modelo. A esto usted contesto con:

"sus proyecciones (así como las de cualquier economista) son más propensas a ser erróneas cuando más volátil es lo que se está estimando. De esta manera, no sería tanto "culpa" del FMI de pifiarle como la de la idiosincrasia de la economía argentina.
Como dice un profesor mío, eso es sigma!"

O sea, usted dice que el fondo le erra simplemente porque nuestra economia es volatil, y por lo tanto en la estimacion hay mucho desvio (sigma). O sea, esta asumiendo una sola distribucion con gran varianza que da lugar a errores dispersos (pero obviamente no explica la sucesion de errores en el mismo sentido). Es decir, usted dijo EXACTAMENTE lo que yo traduje en un modelo estadistico. Seamo honestos en la discusion, sino no vale.

Por otro lado, ahora cambio denuevo el punto de vista, aceptando el sesgo sistematico, asignandoselo al cambio de modelo, suponiendo que el modelo del FMI es estatico (nuevamente, supone que el FMI usa un solo modelo, vea usted como se contradice nuevamente, contradictor serial!). O sea, usted supone que los del FMI son zoquetes incapaces de percibir el cambio de modelo economico, y por lo tanto siguen usando los mismos modelos sin tocar una coma para esquemas totalmente diferentes. Traducido, para usted los del FMI no es que sean malintencionados, es solo que son idiotas y como economistas son buenos verduleros. Bueno, si a usted le sirve esa explicacion....

Saludos

Leandro dijo...

Anonimo, lo del conservadurismo innato no me convence... Mire le doy un ejemplo, imagine un verdulero que a las chicas lindas, como les tiene "simpatia" siempre les da una mandarina de mas, eso no implica que a mi me saque una mandarina. Beneficiar a la parte con la que simpatizas no implica necesariamente perjudicar a la que no te simpatiza. Ese perjudicar al otro implica una decision conciente, o sea, es necesario decidir hacer eso. Hay dolo, hay malaintencion, se quiere hacer florecer las economias que coinciden con el modelo que propone el FMI, y retroceder a las que no coinciden con el mismo. El FMI es parte, precisamente por tener un modelo preferido, cosa que en un observador "neutral" no deberia pasar. Ese es el problema, el FMI toma partido explicitamente, proponiendo un modelo, y como padre del modelo, quiere que sea exitoso. Si otros modelos se muestran mas exitosos que el suyo, es una verguenza para ellos, asi que necesitan pisarlos, es asi de simple.

Saludos

Seba dijo...

Tres cosas:

Muy bueno el post.

Anónimos, por que no se identifican?

Todos sabemos que gran parte de las predicciones del IMF tienen el efecto de "profecías autocupmlidas" basadas en parámetros políticos y no económicos (si hay alguna diferencia). Así, no sorprende la correlación línea política del gobierno de turno-sobreestimacion o subestimación.

Tincho dijo...

Parece que respondiste el punto 3 de los 4 que me plantie en Abril.

http://economistasunlp.blogspot.com/2009/04/los-pronosticos-del-fmi.html

Leandro dijo...

Tincho, yo diria que el 4: no les interesa que el error sea minimo, les interesa fijar su agenda politica.
Saludos