martes, abril 10, 2012

Falsos Positivos

Por Economic Psycho

Algún comentario riguroso avisó de mi tendencia a mezclar conceptos y profundizar poco, y en particular a la insuficiencia de la discusión sobre probabilidades de mi post anterior. Para mostrarle que veces el rigor, de tan aburrido, puede llevar al mortis, le dedico esta nueva intervención (ok, seguro que esta tampoco es rigurosa…).

Dos avisos dos. Uno, este es un post APB, Paenza style. Dos, el mismo no hubiera sido posible sin la inestimable colaboración de GeRo, el mejor profesor de Estadística I de la UBA, y con muy alta probabilidad, del mundo.

Bayes donde bayes, te vamo’ a alentar

Luego de que un test anunciara la presencia de un cáncer de tiroides en la Presidenta, la operación posterior reveló que no tenía la enfermedad. El médico a cargo señaló “la bibliografía internacional estima que ocurren entre un 2 y 4 por ciento de ‘falsos positivos’, es decir, tumores que parecen malignos en el estudio citológico preliminar al microscopio y que los análisis posteriores del órgano extirpado en cirugía determinan que son benignos”. Algunos comunicadores y políticos mostraron su descontento por esta situación, juzgando que el porcentaje era demasiado bajo como para que todo el asunto fuera real.

El problema es que por “falso positivo” pueden entenderse dos cosas. Unos usan la expresión para indicar que, de los que no tienen la enfermedad, entre el 2% o 4% obtienen un test positivo. Esto se conoce como la probabilidad condicional de que dado que se conoce que el individuo no está enfermo, el test dio (erróneamente) positivo. Pero la pregunta relevante que debiera contestarse es en realidad la inversa: habiendo dado positivo un test, ¿cuál es la probabilidad de que el individuo tenga la enfermedad? A la Presidenta se le administró primero un test que dio positivo, que luego se confirmaría o no con la extracción.

Vamos a un ejemplo numérico. El siguiente cuadro se llenó procurando que los números reflejen de manera aproximadamente realista el problema.
Primero examinemos los totales de la última columna. Estamos asumiendo que de una población de un millón de personas, el 0,5% tienen la enfermedad (5000 personas), mientras que el resto (995000) no la tienen. Esto concuerda razonablemente con las estimaciones internacionales. Hacia la izquierda, asumimos que de los 5000 enfermos, el test suele ser erróneo en el 1% de los casos (50). El resto son 4950. En la fila de abajo suponemos que de los 995000 sanos, solo al 0,1% de ellos (995 personas) el test igual les da positivo (erróneo). El resto, 994005, están realmente sanos y el test les da negativo. Las sumas verticales dan 24850 y 975150 respectivamente.

Obsérvese que en esta muestra de 1.000.000 de personas la gente enferma es poca y la sana mucha. El efecto que esto produce es que si miramos la segunda columna (test negativo), los dos números son muy diferentes, pero si observamos la primera columna (test positivo), los números se parecen mucho más.

Ahora las probabilidades condicionales. Tomamos la primera fila y agarramos a los que sabemos que están enfermos (porque fueron operados y se verificó la enfermedad), y nos tomamos la tarea ociosa de aplicarles el test. El cuadro revela que no siempre el test reflejará esto, y en el 1% de los 5000 enfermos (50 personas) el test se equivocará y dirá que están sanos. Por supuesto, esta probabilidad condicional no nos sirve mucho, porque en general uno no tiene primero la información de que la persona está sana o enferma para después testear, sino que lo que se hace primero es un test para después chequear si la enfermedad está o no.

Por lo tanto, estudiemos qué pasa si tengo primero la información del resultado del test. Si antes fuimos por fila, ahora hay que ir por columnas. Tomemos la columna “test negativo”. De los que dieron negativo, que son 994055, solo 50 acabaron teniendo la enfermedad realmente. Este es un porcentaje muy bajo, casi nulo. De modo que si usted tiene un resultado negativo, quédese tranquila porque está sana (al menos con estos números). Y ahora el clímax: si a usted el test le dio positivo, ¿qué probabilidad hay de que tenga la enfermedad? Los positivos han sido 5945, pero de ellos hay 995 que están sanos. Por lo tanto, la probabilidad de que a uno le pase lo que le pasó a la Presidenta es de aproximadamente un 17% (995/5945). Por tanto, aquí no pasó nada raro.

¿¿¿Y la psicología??? ¿¿¿Donde está la psicología???

Todo el punto es que la probabilidad bayesiana es difícil de captar y puede ser engañosa (un corolario de mi post previo). Es posible que se haya llamado “falso positivo” a la probabilidad de que, estando sano, el test sea incorrecto (en nuestro ejemplo un 2%), cuando lo que importa es la probabilidad de que, luego de un test positivo, la mujer esté sana (un 17%).

El ejemplo de los falsos positivos ilustra lo peligroso de suponer que la gente forma probabilidades bayesianas simplemente porque debemos sostener la hipótesis de racionalidad (por caso, para asegurar que un modelo sea “manipulable”). Los médicos que no interpretan las probabilidades correctamente literalmente te matan.

Vamos a las culpas. ¿Faltan materias de estadística en la carrera de medicina? Parece que sí . Y sin embargo, en un experimento propio les propuse a alumnos de Económicas resolver e interpretar una probabilidad bayesiana, peroreescrita en términos de un problema económico. Fallaron miserablemente, aun con varios cuatrimestres (recientes) de estadística y matemática encima. De casi 60 pibes, ni uno solo dio la respuesta correcta exacta (y rigurosa), y solo 5 se acercaron razonablemente. El resto, si ahora se pusiera a estudiar medicina, te mata igual. (No hace falta que crean mis resultados, cualquiera que dé clases en la facu los puede replicar).

What is going on here? Primero, parece haber una cualidad humana ancestral que tiende a huirle a la formalización rigurosa. Simplemente no estamos tuneados para eso, y las resoluciones formales de probabilidades bayesianas son solo un caso más. Segundo, parece que la cosa no es con los cálculos de probabilidades en sí sino con la forma en que se nos presentan. Como quise explicar en el post anterior (con poco éxito), las probabilidades frecuenciales de eventos repetibles son más fáciles de digerir. De hecho, cuando el problema se presenta con frecuencias se tiende a resolver mejor, y el éxito aumenta con representaciones gráficas. Finalmente, tampoco hay que confiarse demasiado del aprendizaje. Los experimentos sugieren que en ciertos cálculos de probabilidad muchas veces no aprendemos más. Sobre esto, puedo profundizar otro día, si todavía me soportan.

Saludos, EP.

26 comentarios:

uno dijo...

Muy bueno. Hay cosas de probabilidad / estadística que son muy poco intuitivas. Como el caso del programa de televisión donde hay que elegir una de tres cajas donde hay un premio. Después de elegir la primera, sin mostrar el contenido, el conductor muestra una vacía y le pregunta al participante si se queda con la caja original o quiere cambiar a la otra. Es interesante como cambian las cosas cuando se agrega información.


Pero volviendo al punto este. Más allá de este análisis, la información que me pareció muy cuestionable, es la del instituto que decía algo así como "hasta ahora en toda nuestra historia hicimos 5000(por tirar un numero alto, no me acuerdo) exámenes, y nunca nos pasó algo así como lo de la presidenta". Incluso tomando ese valor de 1% o 2% hubiera sido muy raro que de un número así no hubiera surgido antes algo igual.

Anónimo dijo...

¿Estas seguro que el 1-2% de falsos positivos es lo que vos decis o es el 17% de tu ejemplo?

Si fuera como vos decis estarian operando un 17% más de gente que la necesaria. Ameritaria un segundo estudio para confirmar. Es mas barato y menos estresante.

Igual a mi me queda la duda ¿como alguie operado de tiroides 20 dias antes puede hablar 44 minutos por microfono sin ninguna alteración de la voz?

Anónimo dijo...

Y os decis que el estudio de lo hicieron a un millon de personas? O te hacen el estudio por alguna otra razon? (es deci, hay un prior mejor que "ni idea")

Anónimo dijo...

Don, deje de torturar numeros, u test realizado para gente que presenta signo de enfermedad no se puede generalizar para toda una poblacion sana. Su 0,5% de enfermos con cancer de tiroides sobre el total poblacional, tienen cancer no un test positivo.
Saludos.

Anónimo dijo...

Mas lindo este post. Igual... algunas confusiones :-):

>>Es posible que se haya llamado “falso positivo” a la probabilidad de que, estando sano, el test sea incorrecto (en nuestro ejemplo un 2%), cuando lo que importa es la probabilidad de que, luego de un test positivo, la mujer esté sana (un 17%)
>>

La primera alternativa es la correcta. Creo que tu confusion va a que los "falsos positivos" van a evaluar el test. Por lo que eso de "lo que importa es la probabilidad.." no viene al caso. Es decir, creo que te confundis y mezclas la interpretacion de una probabilidad que va a evaluar el test, con una que va a estimar la prevalencuia poblacional de una enfermedad (condicional al resultado del test).

Mas aun! En realidad en este caso, mas crucial que los "falsos positivos", son los "falsos negativos" : no queres errarle a la deteccion temprana de un cancer y dejarlo sin tratar. Falsos positivos y negativos son componentes de la "especificidad" y "sensibilidad" de estos tests, elementos tambien claves en calcular la ROC curve del caso. (en el fondo la idea es buscar un balance en estos tests, un poco al estilo error de tipo I y error de tipo II). Quizas te interese leer de estos temas.

Utis

Anónimo dijo...

Interesante lo que comentas sobre medicina y estadistica. Es asi como decis: los estudiantes salen sabiendo muy poco de estadistica.

No solo saben poco y nada de estadistica, sino poco y nada de metodologia cientifica, investgacion, etc.

Lo cual creo apunta a la concepcion del medico argentino como persona que trata pacientes, pero que no hace investigacion. O sea, en argentina, muy pocos medicos hacen investigacion en argentina. Los hay, y muy buenos, pero son excepciones. Es mas, es rarisimo encontrar que se haga investigacion en hospitales o en clinicas (donde dado el acceso a data y el manejo constante de problemas, la investigacion deberia ayudar a fomentar y desarrollar la capacidad de los medicos).

Por lo que concuerdo con lo que decis. Solo que en vez de poner el acento en "que sepan estadistica", yo pondria el acento en crear incentivos para que los medicos se actualicen en forma constante (lo cual requeiria un minimo de concocimiento de metodologia y estadistica cosa de aunque sea, saber como interpretar graficos, reportes, y analisis).

Utis

Anónimo dijo...

Ua impresion que me deja tu nota, es que sonas como muy fanatico de Bayes. Eso me trae a la memoria el recuerdo de un muy amigo mio quien tambien es bayesiano irredimible :-)

No comparto tu fanatismo. En realidad, no comparto ningun fanatismo (salvo el mio del asado con Malbec)

Granted, Bayes es en muchos casos una alternativa superadora de la probabilidad frecuentista. Pero... si la prior se desconoce, y/o por forzar bayes se aplica una prior que no es muy kosher que digamos (cosa que suele pasar), entonces uno obtiene resultados mas defendibles con la tranquilidad de la vieja y querida probabilidad frecuentista que con una bayes tirada de los pelos. O sea, a veces, vale mas una frecuentista conocida que una mala bayes por conocer.

Utis.

PS. Te envidio que ensenies en economia. Algun dia, si venis para USA, avisame que me gustaria charlar sobre diferencias educativas y de formacion en USA y Argentina. Gracias.

Anónimo dijo...

Un comentario sobre "Como el caso del programa de televisión donde hay que elegir una de tres.."

Es verdad, el problema resulta intuitivamente complicado. Si solo una de las puertas es la "correcta - hay una Ferrari atras", mientras que las otras son "erroneas-hay un chancho atras", cuando te abren la otra puerta y ves un chancho, cambias o te quedas?

Una forma de hacerlo intuitivamente simple es la que propuso la autora del puzzle (creo): el extender el numero de puertas de 3 a 100,000 (por decir una exageracion). O sea, hay 99,999 puertas con chanchos, y 1 con una Ferrari atras. La probabilidad inicial de que aciertes con la Ferrari es 1/100,000

Asi, si despues de elegir una puerta, viene el conductor y te abre el resto de las puertas dejando solo dos - la que uno eligio y otra - (o sea, abre 99,998 puertas, todas con un chancho atras), vos que haces?

Esta claro que al empezar cada puerta tenia una probabilidad de 1/100,000 de tener un auto. Por lo que lo mas probable es que le hayas errado. Lo mas probable que una de las 99,999 restantes sea la correcta.

Pero ahora el conductor se ha visto forzado a abrirte justo "las 99,999 restantes menos una"!!

Esta claro que es mas probable que la correcta sea esa que no abrio, que la puerta que elegiste al comienzo!

Con tres puertas no se ve tan claro, pero con un numero alto creo que se hace intuitivamente evidente.

Utis

Anónimo dijo...

Utis, como es eso de médicos que hacen investigación???? Eso va contra la industria de la medicina y me imagino que debe estar hasta prohibido. Imaginate que empiecen a descubrir tratamientos más baratos, o peor aún, que curen!!!!!! Imaginese que descubren como curar a los enfermos cosa de dejarlos sanos!!!!!! Ni las farmaceuticas ni los hospitales estarian contento con eso. Gente más sana te baja la tasa de ganancias.
No sea rebelde Utis y borrese esas ideas raras de la cabeza, medicos que investiguen jeje, subversivo...
Aguante Pasteur papá, eso es fanatismo!!!

El contrera!!!!

Anónimo dijo...

Utis envidiando a un profesor en Argentina me hizo acordar a Guillermo Hudson en Inglaterra y lamentando no poder volver a su campito en la pampa. Que era en Quilmes.
Los paraisos son siempre perdidos, como creo que dijo Dolina.

Anónimo dijo...

Excelente la nota, porque muestra la confusión que generan las probabilidades condicionales. Otro caso de confusión, como el que se menciona en otros comentarios, es el Dilema Monty Hall, aunque allí el problema no radica en tergiversar el segmento de la población sobre la cual se está brindando un porcentaje, sino en que la información que se brinda al participante, en realidad, no agrega nada.

Estaría bueno que en todos los cursos de probabilidad y estadística se enseñe a los alumnos a tener en claro ambas situaciones.

Anónimo dijo...

divertido, solo falta un poco de Martin Gardner.

Los medicos desprecian la matematica, para ellos, y lo repiten como un mantra, cada paciente es unico, y su excusa

Recuerdo una operacion de un familiar, me dice, a veces hayq ue repetirla, mi pregutna, en que %, me saco casi corriendo con ese mantra

ayj

Anónimo dijo...

Diculpen que me inmiscuya pero me parece que el ejemplo de las tres puertas y el concurso no es un buen ejemplo, ya que en realidad son eventos independientes ( lo que hace que sean independiente es el cambio de informacion del jugador).-
Primera interaccion:
Prob: 1/3
Segunda accion.
Prob: 1/2
En esta segunda interaccion cambiar por que tuve mas probabilidades de errar en la primera accion no es un comportamiento racional, en ese momento las dos puertas restantes tienen la misma probabilidad.-
( OJO EL CONDUCTOR SABE EN QUE PUERTA ESTA EL PREMIO)

uno dijo...

Jajaj, el problema de las puertas siempre genera polémica.

Yo coincido con Utis, de hecho me pareció muy buena la explicación que dio, de llevarlo a un número más alto.

Yo lo pienso así. Al principio hay 3 opciones. Solo una de esas 3 lleva a que luego, el cambio de puerta te haga perder. Si de entrada elegiste una que no tenía premio (que es lo más probable) y cambiás, ganaste.

Anónimo dijo...

Intuitivamente, con 100000 puertas se ve facil.
Con Bayes (corrijanme, que lo hice rapido)

Tres puertas, A, B, C
Yo elijo C
El tipo abre B
Tengo que decidir, A o C.

O sea, tengo que comparar:

prob(A sea la correcta/ abrio B)
vs
prob(C sea la correcta/ abrio B)


prob(A sea la correcta/ abrio B) = p(abrio B condicional a que A era la correcta) * p (A era la correcta)
dividido por
( p(abrio B condicional a que A era la correcta) * p (A sea la correcta) + pron( abrio B condicional a que C era la correcta)* prob (C era la correcta)

O sea:

p(Ac/abrio B) = p(Abrio B/Ac)*p(Ac)
dividido por
p(Abrio B/Ac)*p(Ac) + p(Abrio B/Cc)*p(Cc)

Como
p(Ac) = p(Cc) = 1/3 (las prob originales)

p(Abrio B/Ac) = 1 (si A era la cotrrecta, no le quedaba otra mas que abrir B)

p(Abrio B/Cc) = .5 (si C era la correcta, le daba igual abrir A o abrir B)

entonces

p(Ac/B) = .67 (dos tercios, bah)

AHORA, COMPAREMOS CON P(Cc/B) , la probabilidad que mi eleccion incial (C) sea la correcta luego que el tipo abriera B

Entonces tengo que

p(Cc/abrio B) = p(abrio B/Cc)*p(Cc)
dividido por
p(abrio B/Cc)*p(Cc) + p(Abrio B/ Ac)*p(Ac)

Entonces

.5*1/3
dividido por
(.5*1/3 + 1*1/3)) = .33 (un tercio, bah)

Como .67 > .33 me conviene cambiar


HICE BIEN? ME EQUIVOQUE? ES MAS QUE PROBABLE QUE ME HAYA EQUIVOCADO, PERO NO VOY A REVISAR. Voy a free ride: Espero que alguien me diga si le pegue o no. (Gracias)

Utis

Economic Psycho dijo...

Hola gente, me alegro q haya prendido el post y también que discusión haya pasado al monty hall. Hay LIBROS sobre el tema, pero no tanto referidos a su resolución (está en wiki) como a las historias detrás.
Una es que hasta PhDs se equivocaron al principio y atacaron a la que había resuelto bien el problema, que encima era una mujer: Marilyn vos Savant, que recibió todo tipo de injurias, algunas discriminatorias por su condición de género. Cavallo tuvo de quien aprender...
Otra cuestión interesante es que el problema es tan poco intuitivo que aun cuando a la gente se lo explica una y otra vez, siguen sin elegir la estrategia óptima (cambiá siempre!, como dicen varias canciones). Simplemente les parece que su intuición es más valiosa que las leyes de la estadística.
Saludos, EP

Anónimo dijo...

esto les va a gustar, si es que no lo leyeron

http://www.amazon.com/The-Theory-That-Would-Not/dp/0300169698

esta tambien dando vueltas en pdf

ayj

Anónimo dijo...

Me quede pensando que algo hice mal (creo recordar otras posibilidades) en mi calculo, pero... no encuentro mi error (salvo que me chispotie con la notacion, pero espero no haber confundido a nadie)

Bueh, asumiendo que lo que hice estuvo bien, si uno aplica bayes a la opcion "exagerada/intuitiva" de 100,000 puertas que presentara arriba, uno tendria que ahora:

las probabilidades iniciales serian p(Ac) = p(Cc) = 1/100000 (y no un tercio como antes)

la probabilidad que el conductor abriera las 99,998 puertas que abrio si la que dejo cerrada es la que tenia el auto sigue siendo:

p(Abrio B/Ac) = 1 (no le quedaba otra mas que abrir B)

Pero la probabilidad que el conductor abriera las 99,998 puertas que abrio si la que correcta era la que yo inicialmente habia elegido es ahora:

p(Abrio B/Cc) = 1/99,999 (puede abrir cualquiera de las 99,999 que yo no habia elegido)

Si uno ahora aplica estas probabilidades al ejemplito anterior, entonces obtiene:


La probabilidad que la que yo elegi al principio sea la correcta es:
p(Cc/B) = .00001

Mientras que la probabilidad que la que no abrio el conductor sea la correcta ahora es:
p(Ac/B) = .9999

Lo cual tiene sentido con lo intuitivo de la cosa: si mi eleccion inicial tiene una probabilidad extremadamente baja de ser la correcta (lo que implica que la correcta seria una de las que no elegi), entonces si el conductor luego abre todas las que no elegi menos una, casi seguro (99% segun mi calculo) que esa puerta que dejo abierta es la que tiene el Ferrari

Sigo pensando que algun error hice, pero los resultados al menos tienen sentido.

Bueh, un ejercicio inutil, pero divertido.

Utis

Anónimo dijo...

Creo que me encontre un error:

p(Abrio B/Cc) NO ES exactamente 1/99,999

sino que es una combinacion de 1 entre 99,999 de TODAS las combinaciones de 1 entre 99,999 puertas posibles.

Pero a los fines practicos este error no deberia traer consecuencias, ya que igual, la probabilidad de cada combinacion es muy baja (no tengo energias para calcularla, pero deberia ser muy parecida a 1/99,999)

En fin, si tengo mas errores, disculpas. Es sabado de primavera, mejor me dedico a disfrutar un poco de la vida

Utis

uno dijo...

Jajaj, buenísimo. Tuve alguna materia de probabilidad pero no estoy como para corregir, pero me suena que es el camino correcto.

Muy buena la referencia a monty hall, no sabía que tenía nombre ni que estaba tan estudiado!

luis dijo...

Como diría el filosofo argentino Vanessa Show: Es verda-ad!

Anónimo dijo...

VA un mes. Nada que decir?
Sanjuanino.

Luciano dijo...

Mucho por decir pero muy poco tiempo! Casualmente hoy cumple un mes mi primogenita...ya no controlo mi agenda!

Rodrigo Herrero dijo...

Muy interesante blog! Como para mí, que tengo serias deficiencias en economía.
Saludos

Anónimo dijo...

Luciano! Felicidades!
Entiendo lo de "poco tiempo" pero... Gente, esto toma ritmo de vértigo!
Y lo que me llama la atención -y asusta un poco- es que los que saben no dicen ni mú.
Kichi dijo en el Senado: "Seguridad Jurídica, clima de negocios, ¡Palabras horribles!". Lo escuché yo mismo, no me lo contó nadie.
¿Comentarios?

Sanjuanino.

Monica dijo...

es bastante confusa la economia y mas cuando se tratan este tipo de valores con estadísticas. bastante complejo pero avalo lo que decís.
voy a revisar el libro que tengo en mi alquiler temporario en buenos aires sobre estos temas para poder entender un poco mejor