Falsos Positivos

Por Economic Psycho

Algún comentario riguroso avisó de mi tendencia a mezclar conceptos y profundizar poco, y en particular a la insuficiencia de la discusión sobre probabilidades de mi post anterior. Para mostrarle que veces el rigor, de tan aburrido, puede llevar al mortis, le dedico esta nueva intervención (ok, seguro que esta tampoco es rigurosa…).

Dos avisos dos. Uno, este es un post APB, Paenza style. Dos, el mismo no hubiera sido posible sin la inestimable colaboración de GeRo, el mejor profesor de Estadística I de la UBA, y con muy alta probabilidad, del mundo.

Bayes donde bayes, te vamo’ a alentar

Luego de que un test anunciara la presencia de un cáncer de tiroides en la Presidenta, la operación posterior reveló que no tenía la enfermedad. El médico a cargo señaló “la bibliografía internacional estima que ocurren entre un 2 y 4 por ciento de ‘falsos positivos’, es decir, tumores que parecen malignos en el estudio citológico preliminar al microscopio y que los análisis posteriores del órgano extirpado en cirugía determinan que son benignos”. Algunos comunicadores y políticos mostraron su descontento por esta situación, juzgando que el porcentaje era demasiado bajo como para que todo el asunto fuera real.

El problema es que por “falso positivo” pueden entenderse dos cosas. Unos usan la expresión para indicar que, de los que no tienen la enfermedad, entre el 2% o 4% obtienen un test positivo. Esto se conoce como la probabilidad condicional de que dado que se conoce que el individuo no está enfermo, el test dio (erróneamente) positivo. Pero la pregunta relevante que debiera contestarse es en realidad la inversa: habiendo dado positivo un test, ¿cuál es la probabilidad de que el individuo tenga la enfermedad? A la Presidenta se le administró primero un test que dio positivo, que luego se confirmaría o no con la extracción.

Vamos a un ejemplo numérico. El siguiente cuadro se llenó procurando que los números reflejen de manera aproximadamente realista el problema.
Primero examinemos los totales de la última columna. Estamos asumiendo que de una población de un millón de personas, el 0,5% tienen la enfermedad (5000 personas), mientras que el resto (995000) no la tienen. Esto concuerda razonablemente con las estimaciones internacionales. Hacia la izquierda, asumimos que de los 5000 enfermos, el test suele ser erróneo en el 1% de los casos (50). El resto son 4950. En la fila de abajo suponemos que de los 995000 sanos, solo al 0,1% de ellos (995 personas) el test igual les da positivo (erróneo). El resto, 994005, están realmente sanos y el test les da negativo. Las sumas verticales dan 24850 y 975150 respectivamente.

Obsérvese que en esta muestra de 1.000.000 de personas la gente enferma es poca y la sana mucha. El efecto que esto produce es que si miramos la segunda columna (test negativo), los dos números son muy diferentes, pero si observamos la primera columna (test positivo), los números se parecen mucho más.

Ahora las probabilidades condicionales. Tomamos la primera fila y agarramos a los que sabemos que están enfermos (porque fueron operados y se verificó la enfermedad), y nos tomamos la tarea ociosa de aplicarles el test. El cuadro revela que no siempre el test reflejará esto, y en el 1% de los 5000 enfermos (50 personas) el test se equivocará y dirá que están sanos. Por supuesto, esta probabilidad condicional no nos sirve mucho, porque en general uno no tiene primero la información de que la persona está sana o enferma para después testear, sino que lo que se hace primero es un test para después chequear si la enfermedad está o no.

Por lo tanto, estudiemos qué pasa si tengo primero la información del resultado del test. Si antes fuimos por fila, ahora hay que ir por columnas. Tomemos la columna “test negativo”. De los que dieron negativo, que son 994055, solo 50 acabaron teniendo la enfermedad realmente. Este es un porcentaje muy bajo, casi nulo. De modo que si usted tiene un resultado negativo, quédese tranquila porque está sana (al menos con estos números). Y ahora el clímax: si a usted el test le dio positivo, ¿qué probabilidad hay de que tenga la enfermedad? Los positivos han sido 5945, pero de ellos hay 995 que están sanos. Por lo tanto, la probabilidad de que a uno le pase lo que le pasó a la Presidenta es de aproximadamente un 17% (995/5945). Por tanto, aquí no pasó nada raro.

¿¿¿Y la psicología??? ¿¿¿Donde está la psicología???

Todo el punto es que la probabilidad bayesiana es difícil de captar y puede ser engañosa (un corolario de mi post previo). Es posible que se haya llamado “falso positivo” a la probabilidad de que, estando sano, el test sea incorrecto (en nuestro ejemplo un 2%), cuando lo que importa es la probabilidad de que, luego de un test positivo, la mujer esté sana (un 17%).

El ejemplo de los falsos positivos ilustra lo peligroso de suponer que la gente forma probabilidades bayesianas simplemente porque debemos sostener la hipótesis de racionalidad (por caso, para asegurar que un modelo sea “manipulable”). Los médicos que no interpretan las probabilidades correctamente literalmente te matan.

Vamos a las culpas. ¿Faltan materias de estadística en la carrera de medicina? Parece que sí . Y sin embargo, en un experimento propio les propuse a alumnos de Económicas resolver e interpretar una probabilidad bayesiana, peroreescrita en términos de un problema económico. Fallaron miserablemente, aun con varios cuatrimestres (recientes) de estadística y matemática encima. De casi 60 pibes, ni uno solo dio la respuesta correcta exacta (y rigurosa), y solo 5 se acercaron razonablemente. El resto, si ahora se pusiera a estudiar medicina, te mata igual. (No hace falta que crean mis resultados, cualquiera que dé clases en la facu los puede replicar).

What is going on here? Primero, parece haber una cualidad humana ancestral que tiende a huirle a la formalización rigurosa. Simplemente no estamos tuneados para eso, y las resoluciones formales de probabilidades bayesianas son solo un caso más. Segundo, parece que la cosa no es con los cálculos de probabilidades en sí sino con la forma en que se nos presentan. Como quise explicar en el post anterior (con poco éxito), las probabilidades frecuenciales de eventos repetibles son más fáciles de digerir. De hecho, cuando el problema se presenta con frecuencias se tiende a resolver mejor, y el éxito aumenta con representaciones gráficas. Finalmente, tampoco hay que confiarse demasiado del aprendizaje. Los experimentos sugieren que en ciertos cálculos de probabilidad muchas veces no aprendemos más. Sobre esto, puedo profundizar otro día, si todavía me soportan.

Saludos, EP.