04 enero 2007

Modelos, realidad, incertidumbre… y Turing de nuevo

Comentábamos el otro día que probablemente el aspecto más importante a la hora de valorar el test de Turing era tener claras las relaciones entre los modelos y la realidad.
Antes de seguir no me resisto a incluir aquí una de las frases lapidarias atribuidas a Dijkstra (no verificada) y sacada de las Wikicitas a propósito de nuestro debate:
«La pregunta de si un computador puede pensar no es más interesante que la pregunta de si un submarino puede nadar.»
Pero sigamos. Quería desarrollar uno de los párrafos de Pedro en los comentarios al post anterior:
Lo que él [Turing] propone es análogo a la confrontación de un modelo con la realidad en el método científico: diseñar experimentos para comparar lo que hace el modelo con lo que hace la realidad, y si no somos capaces de falsar la hipótesis de que el modelo reproduce el comportamiento real, nos quedamos con el modelo.
No me gusta demasiado la última frase porque creo que se refiere a situaciones conceptualmente irreales y que cuando usamos modelos en la investigación no procedemos así. A ver si me explico comentando algo sobre objetivos y métodos de modelado (RAE dixit) aunque es difícil sintetizar esto en dos páginas.
Usamos los modelos como recurso para simplificar la forma, estructura o funcionamiento de objetos y procesos reales y, así, poder deducir o conocer algunas de sus propiedades con más comodidad: la complejidad de la realidad hace incómodo (o imposible) someterla a experimentación directa y usamos una simplificación. Para que este método funcione es necesario suponer que la simplificación de la realidad no penaliza excesivamente la exactitud del resultado. Lógicamente, esta suposición no puede hacerse sin más y debe comprobarse y valorarse cuantitativamente siempre.
Aceptamos por tanto que lo que genera el modelo (resultados) será similar a lo que generaría el objeto real en las mismas condiciones de experimentación (escenario) y utilizamos los resultados dándoles un valor de verosimilitud. Pero esta suposición debe tomarse con pinzas y tener en cuenta:
  • Que el escenario es a su vez un modelo de las condiciones reales, simplificado y truncado, por lo que no puede ser asumido directamente como “real”.
  • Que, consecuentemente, los resultados se generan condicionados por la calidad del escenario, de los modelos de los objetos (a través de datos) y de los modelos de los procesos (a través de ecuaciones o algoritmos que las traducen al lenguaje informático).
Es decir, en teoría siempre podremos falsar o refutar la hipótesis de que el modelo se comporta como la realidad. Los modelos “perfectos” no existen por propia definición, donde la realidad se simplifica en sus componentes y en sus interacciones. Si no hiciéramos esa simplificación el modelo no sería tal sino un réplica, un duplicado, y no tendría ventaja alguna el usarlo porque no reduciría la complejidad del experimento.
Para saber si podemos usar un modelo es necesario estimar la similitud del resultado modelado respecto al resultado real y valorar si ese resultado nos es útil y para qué.
Esto puede realizar de dos formas:
  • Cuando es posible, contrastando una pequeña parte de los resultados modelados con resultados reales (muestra de contraste).
  • Cuando no es posible, realizando un análisis de sensibilidad (aunque éste debe hacerse siempre).
Un ejemplo me ayudará a explicarme: tenemos una hoja de cálculo para modelar las variaciones de temperaturas en un perfil de suelo a lo largo de un día. La hoja representa el suelo en estratos o capas de 2 cm (primera simplificación) y estima la transferencia de calor de un estrato a otro mediante elementos finitos. Los datos de entrada son la luz solar (irradiancia) que se calcula cada 20 minutos (segunda simplificación), un coeficiente de conductividad y otro de difusividad que suponemos iguales para todo el perfil (tercera simplificación), etc. En el modelo hemos descartado introducir la nubosidad por su irregularidad (suponemos un día despejado) y así otros factores que creemos menos relevantes.
Este modelo tiene la bondad de ser contrastable: iríamos a varios lugares de características diferentes, pondríamos termómetros a varias profundidades y contrastaríamos las temperaturas reales con las predichas. Las divergencias nos permitirían dar valores de incertidumbre a los resultados mediante, por ejemplo, un intervalo de confianza al 95%. Los resultados adoptarían la forma, por ejemplo, de 13.2±1.5 ºC (I.C.: 95%). Lógicamente, el valor de incertidumbre puede no ser constante sino función de la temperatura y de los valores de conductividad o de sus combinaciones…
La idea fundamental es que conocemos hasta dónde llega la exactitud de los resultados modelados. Si nos vale o no es otra cuestión y depende de nuestros objetivos: habrá trabajos que soporten esa incertidumbre y otros que no.
Segundo ejemplo, más de moda que el anterior: predicciones de cambio climático. Resulta que aplicamos el modelo X de predicción de cambio climático y encontramos que en una zona determinada X predice una subida de 3.0 ºC en los próximos 80 años. ¿Cómo puedo saber si este resultado es fiable? Pues lamentablemente este modelo no es contrastable y no podemos, en principio, saber hasta qué punto es fiable. ¿Estamos perdidos? No del todo, podemos hacer una prueba que nos va a dar información indirecta sobre el asunto. Sería la siguiente: si el modelo X usa n variables xi (i=1..n) como entrada, vamos a hacer mil réplicas del proceso de modelado. Lógicamente, esos mil valores de temperatura que resultan serían iguales pero en estas réplicas vamos a cambiar esos valores originales añadiéndoles una desviación aleatoria: xi + ei . Esa desviación ei estará dentro del rango de incertidumbre de la medida xi. ¿Y cómo sabemos esa incertidumbre? Midiendo repetidas veces el valor xi en la realidad. Es decir, asignamos una incertidumbre a cada uno de los datos de entrada. En nuestro caso, si una de las entradas es la transparencia de la atmósfera habrá que medirla unos cientos de veces y calcular el valor medio y la incertidumbre asociada. Los modelos de cambio no se harán introduciendo repetidamente el valor medio sino muchos valores posibles calculados a partir de la incertidumbre de la medida. Y todo esto para cada variable y valor de entrada en el modelo X.
Este procedimiento nos permitirá ver, analizando los resultados, varias cosas. Entre ellas cuál es la variación en esos resultados. Cabe que esa subida de 3.0 sea, en realidad 3.0±0.3 ºC o cabe que sea 3.0±5.3 ºC. En este segundo caso el modelo no nos vale para nada que se me ocurra.

Otra cosa que podemos ver es si hay variables críticas, es decir, variables cuyas variaciones implican cambios relativamente mayores en los resultados que otras. Esas variables deben ser medidas con mayor exactitud que el resto (o dicho de otra forma, los otros pueden ser medidos con menos exactitud) lo que facilita la eficaz distribución de recursos a la hora de planificar la toma de datos.
Este análisis debe hacerse siempre, no sólo cuando el modelo no es contrastable, porque la información que nos proporciona es enormemente útil.
Dado que los modelos imitan el comportamiento de los sistemas reales sólo aproximadamente debemos analizar cuidadosamente qué modelo es adecuado para el objetivo que perseguimos y hasta que punto los resultados son de suficiente calidad.

Enlazando con el asunto del test de Turing, que un modelo haga buenas predicciones o proporcione buenos resultados no significa que funcione igual que la realidad. Por eso, la frase de Pedro mencionada al principio “si no somos capaces de falsar la hipótesis de que el modelo reproduce el comportamiento real, nos quedamos con el modelo” yo la entiendo como “si no encontramos diferencias entre los resultados del modelo y los resultados reales, aceptamos el modelo como buen generador de resultados”. Pero no podemos ir más allá y suponer que los mecanismos que generan resultados en el modelo y en la realidad son los mismos. De hecho, por la propia definición de modelo, nunca lo son. No lo sería ni siquera si el ordenador fuera inteligente porque suponer que su inteligencia fuera humana es de un antropocentrismo insostenible. De ahí mi objeción de ET al test de Turing que propuse días atrás y que hasta el momento no ha sido criticada :-)

Nota: más cosas sobre este tema han sido tratadas hace poco en CPI y en Malaciencia donde Remo y Alf han presentado aspectos distintos del asunto con ejemplos que van desde sistemas planetarios hasta el cambio climático.

3 comentarios:

Pedro Terán dijo...

yo la entiendo como “si no encontramos diferencias entre los resultados del modelo y los resultados reales, aceptamos el modelo como buen generador de resultados”.

Pues entonces estamos de acuerdo en lo fundamental. A lo mejor la expresión "nos quedamos con el modelo" no es muy clara, como cuando uno dice que "acepta" una hipótesis estadística cuando lo que quiere decir es que "la muestra no permite rechazar la hipótesis al nivel de significación especificado". Si sabe lo que realmente quiere decir no hay ningún problema, el problema viene cuando actúa como si estuviera diciendo otra cosa (la que le gustaría poder decir).

Hay varios puntos que me parecen interesantes en el post, a ver si consigo ser breve.

Uno es la idea de que el modelo es una herramienta y no un oráculo, por así decirlo. Por lo tanto uno tiene la responsabilidad de saber si su herramienta es buena o mala, más allá de que coyunturalmente haya concordancia con los datos observados. Esto es tanto más importante cuanto más complejo sea el fenómeno estudiado y cuanto más difíciles de obtener sean los datos.

Otro es la importancia de la incertidumbre asociada con la complejidad de los procedimientos modernos en la ciencia, como el uso de datos que provienen de fuentes heterogéneas, el tratamiento mediante algoritmos informáticos, las conversiones de analógico a digital, etc.

Y otro es el constante aumento de la importancia de los modelos no sólo como "explicadores" sino como punto de partida para realizar estudios de simulación. Es curioso que la ciencia primero renunció a desvelar las causas finales de los fenómenos (describir en vez de explicar), frente a la oposición de muchos filósofos (supongo que en ese momento es cuando la Física dejó de ser "Filosofía Natural"); para luego acostumbrarse a la idea de que una ecuación diferencial es una explicación. Así, el progresivo avance de modelos más blandos que no son capaces de dar descripciones fundamentadas en una teoría, pero retienen la capacidad de predicción o al menos de simulación, despierta el nerviosismo de algunos de una forma bastante paradójica.

En resumen, que el modelo es un modelo y efectivamente los procesos que generan resultados en el modelo no tienen nada que ver con la realidad. Pero en cuanto a Turing, yo sigo insistiendo en que tratar de decir algo limitándose a la esfera de lo observable es una idea muy meritoria, y, siendo que estoy totalmente de acuerdo con tu crítica, me parece que puede ser una crítica a muchos "turingianos" entusiastas pero quizá no al propio Turing.

El cual, sospecho, partió de la pregunta de si su idea de "máquina universal" conllevaba el que el comportamiento humano era reproductible algorítmicamente (ahí hemos tenido más recientemente a Roger Penrose en esa misma dirección, ¿no?), más que si las máquinas llegarían o no a ser inteligentes.

Anónimo dijo...

"[...]o cabe que sea 3.0±5.3 ºC. En este segundo caso el modelo no nos vale para nada que se me ocurra."

¿Cómo que no? Titular de El Mundo: "Científicos predicen una subida de 8.3 ºC en los próximos 80 años". Titular de Libertad Digital: "Científicos predicen una disminución de las temperaturas en los próximos 80 que vendría a paliar los aumentos producidos por el cambio climático natural" (un poco largo para ser un titular).
Ese tipo de modelos sirven para tener contento a todo el mundo :)

Ángel M. Felicísimo dijo...

Pedro: repasaré un poco a Penrose pero reconozco que me da algo de dolor de cabeza.
Psicopanadero (buen apodo, me gusta): en efecto, las "horquillas" son estupendas porque a fin de cuentas y según el significado del intervalo de confianza, tan fiable es la primera predicción como la segunda.

Grab this Widget ~ Blogger Accessories
 
º