Chapecoense y 737 MAX: Pautas de accidentes previsibles

Article content

En breve llegará a las librerías un libro que vuelve sobre la tragedia del Chapecoense con una mirada profunda: Structural Failures in Aviation: Lessons Learned from the Chapecoense and 737MAX Aircraft Crashes. La obra coloca aquel desastre junto a los que ocurrieron poco después —los accidentes del Boeing 737 MAX— para trazar un patrón incómodo: cómo sistemas diseñados para evitar lo impensable pueden fallar de forma previsible.

El análisis del caso Chapecoense no nació de una curiosidad teórica. La idea surgió de Javier García Soruco, exdirector general de Aeronáutica Civil de Bolivia y colega en proyectos de la OACI. Su interés era casi inevitable: una tragedia que involucra a una aerolínea boliviana, en un sector que él supervisó desde el nivel regulatorio más alto, no permite mucha distancia emocional.

Mi reacción fue distinta. Al principio no veía qué podía aportar revisar el caso. Parecía la historia conocida: un piloto imprudente tomando decisiones desastrosas. Caso cerrado… o eso creía.

Ese supuesto se desmoronó enseguida. Al revisar publicaciones e investigaciones, incluido el informe oficial, emergió un patrón. Todos los análisis apuntaban en la misma dirección: Lamia y el comandante del vuelo. Algunos informes destacaban infracciones regulatorias sin vínculo causal con el accidente, como la ausencia de una certificación válida de inglés para sobrevolar Brasil. Los fallos señalados eran reales, sí, y aunque Lamia era un operador claramente indeseable, faltaba algo esencial: el papel de los supervisores.

El foco exclusivo en Lamia funcionaba como el truco de un mago: distracción. Se fija la atención en una mano para que nadie mire la otra. Y si ese era el caso, ¿de qué se nos estaba apartando?

Un medio boliviano, Univisión, rompió el patrón. Su investigación reveló que el vuelo siniestrado no era una excepción a las operaciones normales. Al menos ocho vuelos previos de Lamia habían despegado con combustible insuficiente para cumplir las reservas obligatorias. Este incumplimiento no era precisamente sutil: el avión simplemente no tenía autonomía para esas rutas manteniendo el mínimo requerido. Luego llegó otra sorpresa: varios de esos vuelos habían salido desde fuera de Bolivia. Con esto, la teoría de una colusión entre supervisores bolivianos y la aerolínea era, como mucho, una explicación sólo parcial. Las evidencias apuntaban, más bien, a fallos profundos de supervisión.

La narrativa dominante presentaba a Lamia como una aerolínea que nunca debió operar y que, de hecho, Venezuela había rechazado antes. Entonces, ¿quién aprobó su operación en Bolivia y por qué? ¿Y por qué la información revelada tras el accidente no estaba disponible antes?

Aquí empieza lo incómodo. ¿Había señales de colusión con el supervisor? Sí, aunque no eran lo bastante claras como para afirmarlo de manera categórica. En países más desarrollados, la reacción habitual es tomar distancia: “esas cosas pasan allá, no aquí”. Sin embargo, los dos accidentes del 737 MAX, ocurridos poco después del Chapecoense, cuentan otra historia distinta.

En el caso Chapecoense, nadie quiso mirar a los supervisores. En los del 737 MAX, la culpa se desplazó primero hacia la formación de los pilotos —otra vez, el truco del mago— mientras Boeing y la FAA ocultaban prácticas de supervisión diseñadas para proteger la posición competitiva del fabricante y la continuidad de un modelo envejecido. Cuando la verdad salió a la luz, ya no era posible actuar con contundencia: unos 400 aviones 737 MAX estaban en operación y más de 4.000 en cartera de pedidos. Dejarlos en tierra para siempre era irreal.

Conclusión: desestimar un caso por indicios de posible colusión no es una respuesta aceptable. Las víctimas merecen algo más. El accidente del Chapecoense no obedece a problemas acotados a ciertas regiones o a operadores marginales y el caso 737 MAX, implicando nada menos que a uno de los dos mayores fabricantes mundiales y al regulador de Estados Unidos, lo deja claro: Las prácticas de supervisión requieren un escrutinio mucho más profundo.

Tras el accidente del Chapecoense surgió información que nunca estuvo oculta, pero que, simplemente, nadie había visto. ¿Por qué? No puede asumirse por defecto negligencia o incompetencia. A veces hay demasiados lugares donde buscar y muy poca gente buscando. Aunque, dicho así, puede sonar como una excusa para la DGAC boliviana, plantea una pregunta de mayor calado: ¿podría repetirse algo similar en otro país con los sistemas de supervisión actuales? La respuesta es tan desagradable como simple: sí.

La misma pregunta se extiende al 737 MAX. Es probable que los reguladores hayan aprendido que la colusión entre un fabricante y una autoridad puede convertirse en un problema global a través de los acuerdos BASA, diseñados para reducir costes mediante validaciones mutuas. Quizá esa lección haya calado y nunca más vuelva a darse un caso similar. Quizás.

Sin embargo, hay motivos para el escepticismo: La conducta FAA/Boeing en el caso 737 MAX guarda similitudes inquietantes con un episodio más antiguo: el DC-10, su “puerta de la muerte” y el llamado “gentlemen’s agreement” entre FAA y McDonnell Douglas.

Podría también, aunque faltan datos para afirmarlo categóricamente, tener similitudes con lo ocurrido en el caso Spanair en Madrid (2008), uno de los pocos casos en que un accidente tiene un «hermano gemelo», prácticamente idéntico, ocurrido 21 años antes en Detroit y por los mismos motivos. En lugar de exigir un cambio de diseño, la FAA se conformó con una circular del fabricante dirigida a los operadores que, en aquel momento, estaban volando ese tipo de avión. 21 años después se produjo un accidente idéntico. Las lecciones no siempre se aprenden.

Tres factores explican buena parte de la vulnerabilidad en los sistemas actuales de supervisión:

Primero, la vigilancia episódica.
Cuando las inspecciones son periódicas o aleatorias —y no hay una recogida continua de información— un operador pequeño como Lamia, con un solo avión, puede pasar fácilmente inadvertido. Sin vuelos regulares, alertas típicas como retrasos crónicos o cancelaciones repetidas no llegan a aparecer.

Segundo, la ceguera ante la dimensión empresarial.
Muchas señales de que Lamia estaba en problemas no surgían de la operación, sino de sus finanzas: sueldos impagados, facturas de mantenimiento vencidas, pólizas de seguro caducadas. La OACI exige, y lo hace de una forma bastante enfática, evaluar la viabilidad financiera antes de otorgar un certificado de operador. Pero en la normativa boliviana (RAB) y regional (LAR) ese requisito quedó muy diluido. Resultado: una de las herramientas de alerta temprana más potentes permanece sin uso.

Este sistema de alerta no habría sido válido para un caso como Boeing donde las cifras pueden parecer sólidas, pero un análisis del negocio y de la presión comercial revelaría la existencia de incentivos para hacer casi cualquier cosa con tal de mantener un modelo envejecido en el mercado.

Tercero, la dependencia de “auditorías de papel”.
Los sistemas de supervisión siguen basándose demasiado en documentación y cumplimiento formal, en lugar de verificar la realidad operativa. Lamia tenía un manual SMS que, al parecer, nunca salió del cajón donde fue guardado tras redactarse. Esto permite que operadores y reguladores superen inspecciones mientras el papel y la operación real avanzan por caminos distintos.

Hay algunas señales positivas. La nueva guía de la OACI sobre “Safety Intelligence” propone abandonar la vigilancia episódica e integrar fuentes más amplias de información. Pero las reformas son tímidas y aún no dan a la dimensión empresarial el peso que merece, pese a que la propia OACI reconoce su importancia al fijar las reglas para otorgar un certificado de operador. Y mientras estos cambios no se incorporen a las regulaciones nacionales, su impacto seguirá siendo limitado.

Nueve años después, la lección del Chapecoense es clara: el accidente era evitable. Y lo más inquietante es que nada garantiza que una cadena similar de fallos no esté desarrollándose ahora mismo, en silencio, en algún lugar. Cambiar la forma en que supervisamos la aviación no es una preferencia administrativa. Es la única barrera entre el presente y la próxima tragedia que ya se está gestando en el sistema.

VIDEO JUST BEFORE THE TAKEOFF: https://www.facebook.com/share/v/1BqkGU79Dz/

ENTREVISTA (ESPAÑOL) CON AVIACION DIGITAL: https://www.linkedin.com/posts/activity-7400805061393739776-zKZu?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAAu_IsBofuhVOhMu6L9rZJICjXcT8S2QHM

Reconciliación (autobiografía de Juan Carlos I)

Leído. Bien pero con muchas ausencias.

Normalmente, una autobiografía —aunque sea precisamente eso, una autobiografía— no se centra en el personaje sino en los contactos con muchas otras personas a lo largo de su vida y en cómo han sido esos contactos. No es el caso.

Los reproches, que los hay, hay que leerlos entre líneas. Repite con mucha frecuencia y referido a distintos personajes que separa la relación personal de la relación como Jefe de Estado…y lo repite con tanta frecuencia que sólo cabe suponer que está lanzando una crítica hacia su hijo, el actual rey, en el sentido de que éste no lo está haciendo en su relación con él.

La parte más interesante del libro es la relativa a la transición. No aparece, como había oído en algún comentario en la radio, como el único artífice sino que menciona y lo hace en términos muy positivos a Torcuato Fernández Miranda y a Adolfo Suárez aunque, eso sí, se reserva el papel de «director de orquesta», dándoles a éstos un valor más instrumental que otra cosa.

Sobre Torcuato hace una mención que es un dardo claro a los gobernantes actuales y, además, al igual que hace con la separación entre tipos de relación, es un asunto que repite más de una vez: Comenta que a Torcuato le ofreció elegir entre la presidencia del Gobierno o la presidencia de las Cortes y éste le contestó que le gustaría la presidencia del Gobierno pero creía que sería más útil en la presidencia de las Cortes. A partir de esta anécdota, reflexiona, más de una vez, sobre una casta de políticos que anteponía la idea del servicio a sus ventajas personales.

Otro personaje inevitable de la época previa a la transición es el propio Franco y, tal vez, las referencias a él se encuentran entre las más matizadas. Un aspecto que destaca es cómo Franco sabía que la dictadura moría con él y trató de protegerlo, impidiéndole la asistencia a aquelarres del Movimiento para que no se viera identificado con el régimen y destacase el perfil institucional. Menciona también su propia inquietud cuando su primo Alfonso de Borbón se casó con la nieta de Franco, los rumores sobre un posible cambio en la sucesión y cómo Franco acabó con esos rumores nombrándole oficialmente sucesor.

De los presidentes, aparte de Suárez, el más mencionado es Felipe González, sobre todo por su presencia y su papel durante la transición. Calvo Sotelo, Aznar y Rajoy pasan prácticamente desapercibidos y de Zapatero menciona dos elementos: Que él mismo se vio obligado a pedir disculpas en Estados Unidos por el incidente zafio provocado por Zapatero de no levantarse al paso de la bandera americana y el incidente con Hugo Chávez, cuando éste estaba insultando a Aznar con el beneplácito de la persona que dirigía la reunión, Michelle Bachelet. No hay forma de atisbar qué opinión le merecía cada uno de ellos; prácticamente están desaparecidos.

Cuando entra al momento actual presenta, se centra más en su vida en Abu Dhabi y en los problemas para volver que en lo que está ocurriendo en España y en cómo está navegando su hijo la situación.

Alguna vaga mención sobre sus relaciones, sobre regalos recibidos y cómo algunos de estos fueron cedidos a Patrimonio, lo que en algunos casos fue tomado como una ofensa por el donante, y ahora los disfrutan como privilegios propios del cargo los presidentes del Gobierno -dardo a Zapatero y a Sánchez- y proclama la inocencia de su hija Cristina porque, al parecer, como todos supimos en su momento, era tonta y no se enteraba de nada.

Tampoco está muy afortunado al calificar de «franquistas» a las víctimas de la masacre de Paracuellos cuando la variedad de éstos era mucho mayor de lo que implica tal calificativo y, en todo caso, se podría afirmar que no eran afectos al Frente Popular lo que, obviamente, no es lo mismo e incluso hubo víctimas que se encontraban en edades entre los 13 y los 18 años. Ciertamente, un desliz importante.

Conclusión: Puede ser interesante para todo interesado en la historia de España reciente, pero no debe esperarse algo del nivel de lo que escribió Kissinger sobre su etapa como Secretario de Estado. El tono egocéntrico, incluso para una autobiografía, la ausencia de referencias a la actualidad y la omisión de información sobre muchos aspectos importantes pueden frustrar las expectativas de todo el que espere una visión desde la posición del Jefe de Estado de los acontecimientos ocurridos en su época.

Air India 171: La relevancia de un segundo

Un solo segundo. Ese minúsculo lapso de tiempo se ha convertido en el punto central del informe preliminar sobre el accidente de Air India. La diferencia de un segundo entre el corte de combustible de ambos motores lleva a muchos a creer en un acto deliberado, ya que una falla técnica se esperaría que fuera simultánea. Por lo tanto, el informe preliminar sugiere firmemente —o al menos, busca sugerir— que esta diferencia en el apagado de los motores apunta a una intervención intencional.

La conversación entre los pilotos puede interpretarse de diversas maneras, dado que ambos sabían que la grabadora de voz de cabina (CVR) registraba todo y cualquier acción deliberada podía intentar ocultarse verbalmente. Sin embargo, un análisis más profundo de las particularidades operativas del Boeing 787 revela detalles que desafían la dirección del informe preliminar.

Según un artículo de Safety Matters, existen dos factores importantes a considerar:

  • Origen de los datos del FDR: El Registrador de Datos de Vuelo (FDR) no graba el movimiento físico de un interruptor, sino que registra la presencia o ausencia de corriente eléctrica en él. Esta distinción es crucial, ya que un «apagado» podría ocurrir sin que nadie toque el interruptor.
  • Limitaciones de la marca de tiempo: Los intervalos de tiempo del FDR hacen imposible establecer de manera definitiva una diferencia de un segundo. Solo puede confirmarse una diferencia en algún punto entre 0.01 y 0.99 segundos.

Estas dos condiciones nos llevan de vuelta al punto de partida. Varias publicaciones han informado con seguridad sobre un corte de combustible intencional por parte del piloto. Si bien esa posibilidad no puede descartarse, las limitaciones de los datos del FDR —tanto en su origen como en su marca de tiempo— indican con fuerza que una falla del sistema es igualmente plausible.

Evidentemente, hay muchos intereses en juego en esta investigación. Esperemos que, al final, la verdad prevalezca, sin importar a quién señale.

AIR INDIA 171: PIEZAS QUE NO ENCAJAN

AIR INDIA 171: PIEZAS QUE NO ENCAJAN

Tras el informe preliminar del accidente de Air India, parecería que todo apunta a error humano o suicidio. No es así y aún quedan muchas preguntas abiertas, incluida la pregunta sobre si realmente alguien tocó los interruptores de flujo de combustible.

Aunque el informe no identifica al piloto que preguntó al otro por qué había cortado el flujo de combustible, la mera operación hace pensar que quien hizo la pregunta fue quien estaba volando el avión y, por tanto, tenía toda su atención puesta al frente y en los instrumentos situados frente a él.

La posición de los interruptores de combustible hace difícil pensar que las cosas ocurrieran de otra manera. Esa misma posición y esa atención a lo que ocurre delante hace difícil que viera si el otro piloto estaba manipulando los interruptores de combustible y, por tanto, la pregunta podría obedecer tanto a la pérdida de potencia como a las alarmas indicándole que se había cortado el suministro de combustible.

Abundando más en esta hipótesis, se encuentra la respuesta del otro piloto indicando que no había cortado el flujo de combustible. ¿Quién lo tocó entonces?

Habría dos hipótesis principales a investigar:

  1. Suicidio: El piloto cortó el flujo de combustible –al igual que en su día lo hizo el piloto de EgyptAir 990- y respondió que no lo había hecho porque era consciente de que lo que dijera quedaba grabado.
  2. Fallo técnico -por mantenimiento o por diseño- por el cual, sin intervención del piloto, el avión cortó el flujo de combustible. Hay que recordar que el interruptor no se parece a un interruptor ordinario para encender o apagar una luz sino que, además de las medidas físicas de seguridad para evitar su accionamiento involuntario, forma parte de un complejo sistema electrónico que, hasta la fecha y que se sepa, no había fallado.

Parece, por tanto, un poco prematuro hablar de error humano o de suicidio y tratar de liberar a Boeing y General Electric de un asunto del que, a medida que avance la investigación, no puede excluirse que tengan que responder.

EASA, Inteligencia Artificial y el búho consultor

Un viejo chiste entre consultores dice más o menos así:

Una hormiga y un elefante se enamoran y deciden mantener relaciones sexuales pero hay un problema. Alguien les recomienda que acudan al búho consultor. Éste, después de estudiar el caso, les da la buena noticia de que tiene dos soluciones:

La primera es que el elefante se haga tan pequeño como la hormiga y la segunda es que la hormiga se haga tan grande como el elefante.

Después de la alegría inicial, la hormiga dice: ¿Cómo?

El búho contesta: Eso son detalles operativos; yo soy consultor estratégico.

EASA, involuntariamente, puede haberse colocado en la posición del búho consultor en lo que respecta al uso de la inteligencia artificial en aviación. Su más reciente concept paper es bueno; tiene apartados que pueden incluso considerarse brillantes pero, al igual que la pregunta de la hormiga al búho, hay muchos apartados en las que es necesario preguntar cómo.

EASA ha identificado muchos problemas como, por ejemplo, quién debe tener la autoridad final dependiendo del nivel de la implantación de la inteligencia artificial; ha detectado también el problema asociado a la fiabilidad de los datos utilizados para que la inteligencia artificial obtenga el aprendizaje adecuado, ha establecido unas reglas de transparencia; han señalado incluso el problema de que el usuario pueda ser manipulado por la inteligencia artificial y, en el mejor estilo de las redes sociales, pueda generar adicción o exceso de confianza. Impecable; incluso han preparado un extenso cuestionario pero una y otra vez aparece la pregunta: ¿Cómo?

Si se me permite simplificar, la respuesta genérica de EASA es asegurar que los datos de entrada son fiables, que el proceso de la inteligencia artificial es transparente y que la formación de los usuarios es la adecuada…es decir, el búho.

La fiabilidad de los datos de entrada queda encomendada a operadores humanos a los que, desde luego, se les pueden escapar detalles: Por ejemplo, cuando alguien detectó que Amazon estaba introduciendo sesgos raciales en su política de contratación debido al uso de la inteligencia artificial, costó tiempo darse cuenta de que los datos de entrenamiento suministraban modelos de éxito y que éstos eran hombres, de edad mediana y blancos. No fue algo que se apreciase inmediatamente y, desde luego, tampoco fue algo que se le pudiera haber preguntado a la inteligencia artificial misma; de hecho, privar al sistema de información sobre raza o sexo sólo condujo a que éste buscase otros indicadores como nombre, lugar de residencia o dónde se había estudiado. Entiéndase que el sistema no buscaba información sobre raza o sexo sino que comparaba el perfil de éxito con el perfil del candidato y el sesgo estaba precisamente en el perfil de éxito.

No siempre es fácil de detectar ni la inteligencia artificial nos va a explicar siempre en términos comprensibles por qué introduce determinado sesgo.

Otro problema es la autoridad; el concept paper establece una gradación muy clara y muy completa de la autoridad pero, en la vida real, esta gradación no es tan clara: ¿Qué ocurre cuando tenemos un auxiliar que, habitualmente, acierta pero, en una situación crítica, se equivoca? ¿Cuál es el grado de presión que tiene el operador que, teóricamente, tiene la autoridad?

Supongamos que el vuelo US1549 hubiera llevado una inteligencia artificial que le hubiera indicado a Sullenberger que podía llegar al aeropuerto…pero la última decisión era suya. ¿No habría tenido un elemento añadido de presión difícil de superar? No; no es tan fácil como se sugiere hacer una delimitación de la autoridad de cada una de las partes.

En cuanto a la solución de la formación, los problemas señalados sugieren que es difícil dotar al operador humano de una inteligencia artificial de una formación adecuada e, incluso, puede calificarse de recurso tan fácil como habitual: Alguien toma una decisión errónea, se atribuye a falta de formación, se incluye un epígrafe en la formación de pilotos, controladores, técnicos de mantenimiento…y a esperar la siguiente situación que, igualmente, será atribuida a falta de formación. ¿Vale la pena recordar que en un primer momento los accidentes del Boeing 737MAX fueron atribuidos a falta de formación de los pilotos?

En suma, el concept paper muestra que hay un esfuerzo importante detrás, que sus autores saben de qué hablan…y que les han puesto encima de la mesa un problema de muy difícil solución, si es que existe tal solución.

Finalizaremos con un pequeño recordatorio: Un riesgo catastrófico en aviación sólo se considera aceptable si su probabilidad es inferior a uno en mil millones. ¿Podemos garantizar que la inclusión de la inteligencia artificial, añadiéndole todas las garantías que sean factibles, lleva asociado un riesgo que está por debajo de ese nivel?

Sólo eso; creo que hay mucho que reflexionar. Enhorabuena a EASA por su paper -sin la menor ironía- pero quizás le han puesto encima de la mesa un problema insoluble.

INTELIGENCIA ARTIFICIAL: DISCURSOS QUE ENVEJECEN MAL Y USO EN AVIACIÓN Y OTROS ENTORNOS DE ALTO RIESGO

Hoy, son muchos los libros y artículos escritos sobre inteligencia artificial y, salvo unos pocos, tienen algo en común: El paso de unos pocos meses los convierte en obsoletos y lo que dicen no vale ya para la situación actual.

La inteligencia artificial se está moviendo a tal velocidad que es difícil decir algo que sea, a la vez, relevante y que resista el paso del tiempo. Incluso clásicos como la famosa “habitación china” utilizada por Searle como argumento contrario a Turing y su concepto de la inteligencia artificial no resisten el empuje de los Large Language Models que, a pesar de no conocer ningún idioma en el sentido humano del término conocer, pueden hacer aportaciones de gran interés.

Rodney Brooks, uno de los defensores de la inteligencia artificial en su primera versión hoy conocida como GOFAI (Good Old-Fashioned Artificial Intelligence) decía que los esencialistas contrarios a la inteligencia artificial siempre habían dibujado una línea que, supuestamente, la tecnología no iba a superar y la realidad ha demostrado como, una y otra vez, la línea ha sido superada. Brooks tenía razón pero, como a menudo sucede, no tenía toda la razón: Su afirmación apunta a la cortedad de miras de los esencialistas de lo humano pero no significa que tal línea no exista y, por ello, también muestra la cortedad de miras de los esencialistas de la tecnología, es decir, la suya propia.

Se ha dicho con frecuencia que cuando un cambio cuantitativo pasa de determinada magnitud se convierte en cualitativo y eso es exactamente lo que ocurre con la inteligencia artificial: La explosión tanto en capacidad de procesamiento como en cantidad de información disponible ha cambiado el paisaje. Suposiciones como que la tecnología de la información iba a dedicarse a tareas rutinarias mientras que las tareas de más alto nivel iban a quedar reservadas a humanos no tienen ya ningún sentido. Refugios en actividades intelectuales de alto nivel como el ajedrez o el Go dejaron de ser hace tiempo tales refugios y las máquinas pueden ejercer estas actividades con mucha más destreza que los humanos.

Gigerenzer mostraba como el procesamiento heurístico no era una versión “quick-and-dirty” de un procesamiento estrictamente racional, motivado por la escasez de capacidad de procesamiento. Ponía como ejemplo el comportamiento humano para alcanzar una pelota -manteniendo un ángulo constante con ella- frente al comportamiento que calculaba la trayectoria. Gigerenzer tenía razón pero…¿qué ocurre si un sistema tiene toda la información necesaria y toda la capacidad de procesamiento requerida para hacer el cálculo en el tiempo disponible? Sencillo: Que la forma más compleja se convertiría en viable. Éste es el tipo de hechos a los que, un día tras otro, nos enfrenta la inteligencia artificial.

Los esencialistas del factor humano lo tienen difícil para justificar la posición de supremacía de las personas en muchas actividades pero ¿significa esto que haya que dejarlo todo en manos de máquinas que han mostrado mucha más capacidad que nosotros en multitud de ámbitos?

Creo que no y confío en que lo que viene a continuación no envejezca con la misma rapidez que muchas de las cosas que se han dicho sobre la inteligencia artificial:

Una y otra vez, los que nos dedicamos a los factores humanos hemos mencionado un concepto muy específico: Significado. Una y otra vez, los esencialistas de la tecnología han rechazado este concepto por entender que era, simplemente, un resultado interno de la transformación de símbolos y que, además de irrelevante, era algo perfectamente alcanzable a un sistema de información.

La objeción, sin embargo, no es válida: El significado no es una abstracción interna sino un producto de la interacción del humano con su entorno. Un reconocido tecnólogo, Daniel Hillis, señalaba en “The Pattern on the Stone” que “Given the choice of lying in an airplane operated by an engineered computer program or one flown by a human pilot, I would pick the human pilot. And I would do so even though I don’t understand how the human pilot works. As with the sorting programs, I know that a pilot is descended from a long line of survivors”.

Curiosamente, la razón ofrecida por Hillis invitaría más a confiar en una inteligencia artificial que en un piloto humano: La velocidad de aprendizaje hace que el número de generaciones “supervivientes” de una inteligencia artificial pueda ser de billones en el curso de una sola vida humana. Hay razones para confiar más en un piloto humano pero no son ésas: Probablemente, el piloto humano quiere llegar a disfrutar de un feliz retiro, no quiere cometer ningún error que comprometa su status profesional y, en el corto plazo, tal vez le gustaría llegar a cenar a su casa esta noche…es decir, razones todas ellas derivadas de su relación con el entorno, no de una manipulación de símbolos.

¿Podría la inteligencia artificial alcanzar este punto o, sin hacerlo, alcanzar un punto funcionalmente equivalente? Responder a esa pregunta es muy aventurado y, sin embargo, es la pregunta fundamental ya que será la que defina, en muchas actividades, cuál debe ser el rol humano y cuál el de la inteligencia artificial:

Como se comentaba en el ejemplo utilizado por Gigerenzer, hay dos opciones: Una sencilla, utilizada por un humano que tiene sensores propios para percibir el entorno y utiliza un sistema de procesamiento simple y una complicada, basada en unos cálculos y en un volumen de datos que podrían llegar a ser accesibles en un plazo no muy largo.

¿Podría existir tal volumen de datos y un sistema de información tan rápido que fuera capaz de procesar cualquier situación imaginable? Si esto fuera posible, el resultado sería que una situación de incertidumbre -que requiere el uso del significado para gestionarla- había quedado reducida a una situación de complejidad, asumible por un sistema de información.

Siguiente pregunta: ¿Puede crearse una inteligencia artificial que no aprenda de datos de entrenamiento sino que tenga percepción directa de la realidad externa y, en un sentido muy similar al humano, vaya adquiriendo experiencia? No es imposible pero ¿cuál es el control sobre el proceso de aprendizaje? ¿cómo se sabe que obtiene el aprendizaje correcto?

En ambos casos, estamos volviendo al mismo punto: El significado no consiste en un juego de símbolos sino en una interacción del sujeto con el medio. ¿Llegará un momento en que una inteligencia artificial se vea a sí misma como “sujeto” y, por tanto, desarrolle el concepto real de significado?

De nuevo, en el supuesto de que esto fuera así ¿qué garantías hay de que los significados adquiridos fueran los correctos? ¿podríamos crear una especie de psicópata cibernético, que funciona bien en el ámbito racional pero manipula todos los recursos a su alcance para favorecer su propia posición?

No son preguntas fáciles y quien esto escribe no tiene una respuesta clara y que vaya a soportar el paso del tiempo para ellas. Lo que sí sabemos HOY  es que la barrera del significado, en contra de lo que muchos tecnólogos quieren creer, sigue estando ahí, que no es una abstracción vacía sino un producto de una interacción con el entorno, que precisamente por ello es difícilmente separable del concepto de conciencia y que es el motivo principal para que, en actividades de alto riesgo, se prefiera que el protagonismo lo adquiera un humano y la inteligencia artificial tenga un papel de soporte.

¿Un análisis alternativo para GermanWings 9525?

Una publicación de The Aviation Herald del pasado 14 de marzo ( https://avherald.com/h?article=483a5651/0164&opt=0 ) invita a reconsiderar las conclusiones del informe oficial que, de forma categórica, estableció que la destrucción del avión se debió a un suicidio por parte del segundo piloto.

El autor del artículo, Simon Hradecky, invita a reconsiderar esas conclusiones por encontrar hechos que no parecen encontrar un ajuste claro en ellas y presenta una alternativa a la acción intencionada.

Hradecky presenta su alternativa y, a lo largo del artículo, utiliza varias veces como argumento el cálculo de probabilidades. A pesar de ello, ése es precisamente el punto más débil de su análisis:

Según sus datos, el avión tenía dos fallos técnicos, uno referido al funcionamiento del código de la puerta de la cabina y otro referido al mantenimiento del nivel de vuelo produciéndose cambios espontáneos en el mismo. Continuando con su hipótesis, el piloto -parece que no está claro cuál- habría sufrido una incapacitación mientras estaba solo en la cabina, el fallo en el código de la puerta impidió abrir ésta y, en ese mismo momento, un fallo intermitente en el control automático del avión habría alterado el nivel de vuelo y provocado el accidente.

¿Cuáles son las probabilidades de que se presenten a la vez una incapacitación, encontrarse en solitario en la cabina y que un fallo intermitente también se presente en ese preciso momento? Difícil de calcular pero muy escasas.

El autor critica la prisa que tuvieron los investigadores por cerrar el caso y es posible que tenga razón pero, de nuevo, está incurriendo en lo mismo que critica y está ignorando algunos datos:

En primer lugar ¿puede darse por supuesto que alguien se encuentre incapacitado porque el CVR recoge un ritmo de 26 inspiraciones por minuto? ¿Hay que asumir que, si la hipótesis de suicidio establecida en el informe oficial es cierta, alguien está totalmente relajado en el momento de cometerlo o ese ritmo simplemente reflejaría una alteración del estado de ánimo?

Se afirma en el artículo que “The father stated that his son never suffered from a depression. His son went through a depressive episode in 2008/2009 but overcame it completely”. En primer lugar, las personas sujetas a episodios depresivos -entre las que puede encontrarse a personajes tan notables como Winston Churchill, que la denominaba el “perro negro”- saben muy bien que no cabe el “overcame it completely” sino que se trata de un problema recurrente y la persona que la padece, sin que haya un motivo exógeno, puede funcionar con toda normalidad salvo cuando este problema aparece.

Más aún, podemos coincidir en que la investigación oficial dejó cabos sueltos pero, en lo referido al estado mental, dice lo siguiente:

In December 2014, approximately five months after the last revalidation of his class 1 medical certificate, the co-pilot started to show symptoms that could be consistent with a psychotic depressive episode. He consulted several doctors, including a psychiatrist on at least two occasions, who prescribed anti-depressant medication. The co-pilot did not contact any Aero-Medical Examiners (AME) between the beginning of his decrease in medical fitness in December 2014 and the day of the accident. In February 2015, a private physician diagnosed a psychosomatic disorder and an anxiety disorder and referred the co-pilot to a psychotherapist and psychiatrist. On 10 March 2015, the same physician diagnosed a possible psychosis and recommended psychiatric hospital treatment. A psychiatrist prescribed anti-depressant and sleeping aid medication in February and March 2015. Neither of those health care providers informed any aviation authority, nor any other authority about the co-pilot’s mental state. Several sick leave certificates were issued by these physicians, but not all of them were forwarded to Germanwings.

¿Describe este párrafo a una persona que “overcame it completely”?

No pretendo con esto invalidar completamente el trabajo de Hradecky. Es fácil imaginar la situación de los familiares de Andreas Lubitz cuando vean que un informe oficial está dando por hecho que, en su suicidio, ha asesinado a 149 personas. Si hay alguna duda, ha de ser investigada.

La muy escasa probabilidad de que tres eventos infrecuentes -incapacitación, encontrarse sólo en cabina y presencia de fallo intermitente- coincidieran en el mismo momento y, además, en un avión que tenía averiado el sistema de acceso mediante código no anula por completo la hipótesis de Hradecky…pero, como mínimo, abre un serio interrogante sobre ella.

Lanzar una hipótesis de incapacitación sobre la existencia de 26 inspiraciones por minuto parece también aventurada. ¿Estaba hiperventilando? ¿Esto era prueba de incapacitación o se debía simplemente a que se trataba del momento de estar ejecutando una decisión de suicidio? La segunda opción puede ser una hipótesis con escaso fundamento pero la primera también lo es.

Por último, Hradecky ha ignorado datos aportados por ese informe oficial al que, quizás parcialmente con razón, critica: En primer lugar, no es frecuente que las personas que sufren crisis depresivas endógenas -no vinculadas a un hecho externo- sufran una sola a lo largo de su vida sino que suelen aparecer más de una vez. El “overcame it completely” es difícil de sostener pero, además, el informe oficial revela la existencia de tratamiento psiquiátrico sólo tres meses antes del accidente.

Un análisis encaminado a levantar hechos que un informe oficial pueda haber pasado por alto siempre es positivo. Quizás la obra maestra de ese género la escribió Joseph Conrad en su reanálisis del caso Titanic y, mucho más modestamente, quien esto escribe ha realizado y está realizando en la actualidad el reanálisis de casos graves. En este sentido, el esfuerzo de Hradecky es de agradecer pero, al mismo tiempo, no debe olvidarse que al reanálisis le es exigible el mismo rigor que se reclama del análisis inicial.

INTELIGENCIA ARTIFICIAL ¿QUO VADIS?

En las últimas semanas he tenido ocasión de leer dos libros y un artículo en los que estuvo presente Henry Kissinger. A sus casi cien años fue capaz de ofrecer una iluminación real sobre los problemas a que nos enfrenta el desarrollo de la inteligencia artificial, Genesis: Artificial Intelligence, Hope and the Human Spirit, The Age of AI y How the Enlightenment ends.

La primera conclusión que podemos sacar es que nadie sabe la evolución y hasta dónde puede llevarnos el desarrollo de la inteligencia artificial. Nada extraño; en los primeros tiempos de los ordenadores, se atribuyó a Bill Gates la previsión de un máximo de cien ordenadores en todo el mundo y poco después se atribuyó al mismo la idea de que nunca serían necesarias más de 640Ks en la memoria. Sean o no auténticas las citas, marcan un hecho: Nadie fue capaz de anticipar la evolución de la tecnología de la información y hoy nadie es capaz de anticipar con certeza hasta dónde y en qué dirección nos puede llevar el desarrollo de la inteligencia artificial.

El propio Kissinger utilizaba un ejemplo del desarrollo de la aviación perfectamente aplicable: Al principio, se observó cómo volaban los pájaros y se les trató de imitar. Más adelante, se encontró que se podía volar de una manera distinta a la de los pájaros y, con el tiempo, una vez que se conoció con detalle cómo vuelan los pájaros y la tecnología había avanzado bastante para imitarlos, se encontró que no era necesario porque había otra forma de volar mucho más eficiente. Ése es el estado actual.

Con la inteligencia artificial puede ocurrir algo parecido: Se intentó imitar a un cerebro humano cuyo funcionamiento no se conocía en profundidad y cuando alguien -Marvin Minsky y su grupo en el MIT- con más soberbia que conocimiento, despreció esa guía por entender que estaba lleno de basura evolutiva no funcional, produjo un largo invierno de la inteligencia artificial. No existía la capacidad de procesamiento ni, sobre todo, el volumen de datos que puede ser necesario para que exista algo digno de ser llamado inteligencia artificial.

Hoy sí existen ambas cosas y aunque el conocimiento sobre el cerebro sigue siendo limitado, tal como ocurrió en aviación, podríamos encontrar que existen formas de funcionamiento distintas de las utilizadas por el cerebro humano pero que consiguen resultados. Las máquinas no piensan ni son conscientes pero ¿pueden encontrarse formas de resolver problemas complejos que no necesiten ni lo uno ni lo otro? Hoy ya las hay; las máquinas manejan volumen de datos imposibles para el humano y, como sabemos hace tiempo, por encima de determinado nivel, lo cuantitativo se torna en cualitativo y puede dar lugar a escenarios distintos.

Me gustaría expresar esta situación con un pequeño experimento mental basado en los LLM (Large Language Models) y en su potencial. El acceso a una ingente cantidad de información escrita y hablada en un idioma -incluidos los diccionarios- puede hacer que, en un tiempo corto- la inteligencia artificial sea capaz de dominar un lenguaje y superar con holgura el criterio de Turing, es decir, hacer creer a una persona que está hablando con otra persona y no con una máquina.

Supongamos, pues, que un sistema tiene acceso a una enorme cantidad de información en un idioma y se trata de conseguir que lo domine de la forma más perfecta posible. Nada extraño; eso ya está funcionando.

Vayamos al siguiente paso: Supongamos que a ese mismo sistema le pedimos que haga lo mismo en varios idiomas distintos. Tampoco resulta extraño; los LLM al uso contestan en el idioma que se les pregunta.

Vayamos ahora a un tercer paso: Supongamos que le pedimos al sistema que identifique todas las ineficiencias y las confusiones que tienen los distintos idiomas y que produzca un idioma perfecto; tal vez con una gramática tan sencilla o más que la inglesa pero sin la multitud de excepciones y con reglas de pronunciación constantes; tan preciso como el alemán, el español o el francés pero sin su complejidad gramatical, con una pronunciación sencilla, según la cual, el lenguaje escrito y el hablado vayan juntos y la lectura de una palabra permita instantáneamente conocer su pronunciación sin necesidad de haberla oído antes; es decir, sin problemas como los del cantonés y el mandarín o las distintas variedades de árabe, sin varios alfabetos que convivan como el japonés ni tantos caracteres como el chino…¿misión imposible?

Tal vez no…en la parte técnica. Es posible que la inteligencia artificial pueda generar un nuevo lenguaje pero se tropezaría con el mismo problema que afrontaron los iniciadores del esperanto: Nadie lo habla, aprender un idioma representa un esfuerzo importante y, tal vez, muchos prefieran mantener la situación actual.

Si vamos al aspecto demográfico, el chino sería el idioma con más hablantes nativos pero es un idioma extremadamente difícil. ¿Podría la inteligencia artificial generar una lingua franca partiendo de cero? ¿Qué aceptación tendría?

Aparentemente éste sería un punto muerto, porque todos querrían un idioma lo más parecido al propio, de forma que el esfuerzo de aprendizaje fuese el menor posible pero ¿qué ocurriría si la inteligencia artificial crease un lenguaje propio para entenderse con otros sistemas? Al parecer, esto también ha ocurrido ya en el caso de Bob y Alice, dos inteligencias artificiales que acabaron generando un lenguaje propio para entenderse entre ellas.

Volvemos al punto inicial: ¿Tendría aceptación tal lenguaje entre los humanos? Probablemente no, pero hay una segunda pregunta: ¿Y si eso no tuviera relevancia alguna? Una vez que la inteligencia artificial esté presente en multitud de ámbitos, los humanos pueden tener un gran incentivo para aprender ese lenguaje…al igual que hoy mucha gente cuyo idioma nativo no es el inglés lo utiliza. Probablemente hay más interacción en inglés entre personas que no lo tienen como idioma nativo  que entre hablantes nativos; de igual forma, podría acabarse aceptando un idioma artificial que hoy no existe y que no tiene relación con ninguno de los idiomas conocidos…pero que es el idioma adecuado para entenderse con la tecnología.

Más aún; desde hace años es posible entenderse, aunque con limitaciones, mediante el recurso de hablarle al Google Translator y pedirle que haga una traducción hablada al lenguaje del interlocutor. Cabe esperar que, a corto plazo, esta posibilidad mejore y, quizás, el aprendizaje de otros idiomas pase a ser una cosa del pasado.

Por supuesto, este mismo principio puede aplicarse a muchos otros ámbitos: ¿Para qué aprender si nunca se va a llegar al nivel de una inteligencia artificial especializada? Ésta es la idea de base en How the Enlightenment ends; determinadas líneas de progreso tecnológico pueden convertir al ser humano en irrelevante y ¿después?

No es algo que vaya a suceder en varios siglos; hay que tener en cuenta que los ciclos de aprendizaje de la inteligencia artificial son infinitamente más rápidos que los humanos y en unos pocos años se podrían suceder miles de generaciones. El futuro no está en el largo plazo; está a la vuelta de la esquina.

Me gustaría finalizar con la paradoja de Turing y las consecuencias que podemos extraer de ella: Según Turing, la prueba de inteligencia de una máquina estaría en el hecho de que fuera capaz de engañar a un humano, haciendo a éste creer que su interlocutor era un humano y no una máquina. Esto dio lugar a la famosa controversia de la habitación china de Searle y quedó claro que una cosa es operar y otra cosa es comprender. Sin embargo, la prueba real de inteligencia no está en engañar a un humano sino otros sitios; una de ellas la proporcionó el propio Turing: En su trabajo de Bletchley Park con la máquina Enigma, partió de dos principios: El lenguaje original en el que estaban redactados los mensajes era el alemán y, además, en algunas situaciones se sabía de qué estaban hablando. Esto, junto con el hecho de que disponían de una máquina de una generación anterior con los mismos principios de funcionamiento, fue suficiente para romper el código Enigma.

¿Habría sido capaz una inteligencia artificial de utilizar esos dos elementos -asumir que el mensaje original está en alemán y saber de qué se está hablando- si previamente no hubieran estado entre los datos con los que se podía operar? Como mínimo, es dudoso.

Sin embargo, la cosa no acaba aquí: ¿Por qué se le ocurrió a Turing la idea? Evidentemente, porque tenía unos conocimientos generales muy amplios de matemáticas y de encriptación; suficientes para que, en un momento dado, la idea feliz pudiera surgir como de la nada.

¿Qué ocurriría si en un futuro nadie adquiriese una especialización porque la inteligencia artificial ha convertido la adquisición de conocimientos en un lujo inútil? ¿Podríamos encontrarnos en una situación similar a la de El planeta de los simios donde los protagonistas se ven sorprendidos de que los simios estén utilizando tecnología pero no vean avances? ¿Podría llegar un momento en que la inteligencia artificial no viera sentido en mantener a unos miles de millones de personas ociosas? ¿Habría que poner en marcha las famosas “leyes de la robótica” de Asimov para garantizar que la inteligencia artificial no decida un buen día que le sobran los humanos?

No lo sabemos; cuando aparece algo radicalmente nuevo pueden generarse expectativas fantasiosas; así, en el pasado se prohibió adaptar los rayos X a los anteojos de teatro porque nadie sabía que no era posible pero, al mismo tiempo, pueden producirse situaciones que no se habían anticipado, como ha ocurrido con el avance de la tecnología de la información y como, previsiblemente, ocurrirá con la inteligencia artificial. En ningún caso debe olvidarse que la velocidad de evolución en este ámbito hace que el futuro, incluso el más imprevisible, esté ahí mismo.

Ironies of Automation

IRONIES OF AUTOMATION

No; el título no es mío. Fue utilizado por Lisanne Bainbridge en un artículo escrito en 1983 y que, a pesar -o a causa de- todos los avances tecnológicos, continúa plenamente vigente. El título es, por ello, un homenaje a una pionera en un área clave del rendimiento humano: La relación de las personas con la automatización.

La automatización está presente en nuestras vidas porque mejora la eficiencia en distintas actividades, pero esa mejora puede producirse de tres formas distintas:

  1. Con los mismos recursos se puede conseguir un mayor volumen de resultados.
  2. Los mismos resultados pueden conseguirse con un menor volumen de recursos.
  3. Ambas.

En los tres casos, queda una pregunta abierta: ¿Qué ocurre cuando el sistema falla y se presenta una situación degradada?

En muchas situaciones, la respuesta es sencilla: Siempre que no ocurra con más frecuencia de la deseable, no ocurre nada importante. Sin embargo, hay situaciones donde las apuestas son importantes y un fallo puede tener consecuencias catastróficas. Son ésos los casos en los que debemos analizar críticamente el impacto de la automatización.

Dos entornos en que las situaciones son potencialmente catastróficas son las operaciones en aviación y las centrales nucleares, pero las segundas tienen una clara ventaja sobre las primeras:

Buena parte de los procesos automáticos está dirigida a producir una parada en caso de que se presente una situación anómala. Una vez detenido el reactor, los operadores disponen de tiempo para analizar la situación e incluso consultar a terceras personas sobre la solución a adoptar…si un piloto o un controlador pudieran congelar el tiempo en una situación crítica, se encontrarían en un escenario parecido al que se produce en una central nuclear. Sin embargo, no es así.

La característica más notoria de las operaciones en aviación es que funciona con organizaciones rotas; la cadena jerárquica de la organización queda rota en el momento en que un piloto se hace cargo de un avión y la ayuda que puede esperar del exterior es forzosamente limitada. Cualquier decisión a tomar en el curso de una situación crítica cae sobre sus hombros y es aquí donde entra la automatización con sus luces y sus sombras.

La primera ironía que nos presenta la automatización es la presencia de interfaces más sencillos que controlan sistemas más complejos. La eficiencia es visible en muchos ámbitos: Hace mucho tiempo que desapareció el mecánico de vuelo de las cabinas y mucho más aún que desaparecieron figuras como el navegante o el radio. Los automatismos han permitido también aumentar la precisión lo suficiente para reducir la distancia vertical de los aviones en vuelo; han permitido realizar aterrizajes sin visibilidad; han permitido meter más aviones en un espacio aéreo; han permitido poner menos motores en los aviones gracias a un seguimiento automático de parámetros que disminuyen la posibilidad de un fallo…y podríamos continuar.

Sin embargo, uno de los casos donde se pudo apreciar con claridad que algo se estaba escapando se produjo en el área de mantenimiento. El informe de un incidente, ocurrido 10 años después de la publicación del original Ironies of Automation contenía esta reveladora frase:

Fuente: https://www.gov.uk/aaib-reports/2-1995-airbus-a320-212-g-kmam-26-august-1993

“It is no longer possible”…¿Significa esto que el nivel de conocimiento se reduce a la ejecución de procedimientos? ¿Es ese nivel de conocimientos suficiente cuando se presenta una situación degradada?

Accidentes muy posteriores, como el ocurrido al AF447, donde un avión con sus dos motores en perfecto funcionamiento cayó en el Atlántico desde 10.000 metros más arriba o casos como los ocurridos con los B737MAX, donde un sistema inadecuadamente diseñado corregía las órdenes de los pilotos sin que éstos supieran siquiera que tal sistema existía, invitan a un análisis crítico del desarrollo de la automatización.

Las ganancias en eficiencia no pueden producirse a costa de pérdidas en conciencia situacional. Mica Endsley describió perfectamente cómo funcionaba el proceso de conciencia situacional mediante este conocido esquema:

Fuente: https://www.researchgate.net/figure/Endsleys-model-of-situational-awareness_fig3_269112517

El esquema lleva implícita una variable que, para analizar el impacto de la automatización, tiene gran importancia: La variable tiempo. La conciencia situacional no puede funcionar como una fotografía sino como un vídeo, es decir, para que sea efectiva, necesita continuidad. La información entregada por el sistema tiene que posibilitar lo que podríamos denominar “continuous situation awareness” y no limitarse a informar de situaciones anormales.

El desarrollo de un evento permite disponer de claves para su solución y son muchos los casos en que una automatización inadecuada ha informado al operador en el momento en que su intervención era requerida, no antes. Modelos como el llamado dark cockpit pueden conducir a este efecto si no son adecuadamente diseñados.

Los sistemas automáticos son capaces de actuar en formas que son completamente inaccesibles al operador humano y, desde ese punto de vista, podría decirse que la “singularidad”, proclamada por autores como Ray Kurzweil, ya está funcionando aunque no tenga el carácter general anunciado, sino que se limite a algunos terrenos.  Así, una mano humana no tiene la capacidad para volar en espacio RVSM con la precisión requerida ni tampoco tiene la capacidad para ejecutar un aterrizaje sin visibilidad. Éstos son hechos y, como tales, no son discutibles pero…sí es exigible disponer de información sobre cómo está funcionando el sistema -incluso cuando todo parece estar funcionando bien- y, sobre todo, las situaciones degradadas tienen que ser fácilmente reconocibles y tener una respuesta clara para las mismas.

Bienvenida sea la automatización y, en general, la evolución tecnológica pero manténgase un ojo crítico frente a desarrollos que podrían anular al humano como alternativa cuando se presenta un evento importante.

INTELIGENCIA ARTIFICIAL: LA INSISTENCIA EN NO VER EL ELEFANTE EN LA HABITACIÓN

En este momento, raro es el día en que no sale una nueva inteligencia artificial que nos promete distintos tipos de maravillas. Bien; digamos que durante el llamado “invierno” de la inteligencia artificial, se han ignorado los progresos que se estaban haciendo mientras que, ahora, nos encontramos en la situación opuesta: Disponibilidad para maravillarnos ante cualquier cosa que pueda aparecer.

Quizás convendría hacer una pausa y preguntarse en qué momento estamos respecto a la llamada “singularidad”, es decir, el momento en que un ordenador será capaz de superar a una persona en cualquier tipo de reto imaginable donde la inteligencia tenga un papel.

En esa pausa, es forzoso reconocer que la inteligencia artificial y la inteligencia humana funcionan de modo radicalmente distinto. Una vez que esto se entienda con claridad, se podrá entender otra cosa:

Hay terrenos en los que la “singularidad” ha llegado hace tiempo; hay otros en los que cabe esperar que llegue en un tiempo relativamente breve y hay otros en los que nunca llegará y es en estos últimos donde reside nuestro ignorado “elefante”.

Si decimos que un ordenador es capaz de manejar enormes bases de datos y hacerlo en muy poco tiempo, estaremos enunciado un hecho cierto pero, al mismo tiempo, estaremos ignorando otro: Cuando un cambio cuantitativo se produce en varios órdenes de magnitud, deja de ser cuantitativo para ser cualitativo.

Permítaseme utilizar un ejemplo de hace pocos días y que resulta bastante revelador sobre las diferencias de funcionamiento:

Al preguntarle a una de las múltiples inteligencias artificiales de acceso público -LuzIA en este caso- si Tina Turner estaba viva en 1980, su respuesta fue Sí. Tina Turner estaba viva en 1980. En ese año, lanzó su quinto álbum de estudio en solitario, “Private Dancer”, que fue un gran éxito y contribuyó a su éxito en la década de 1980.

Nótese que la pregunta era simplemente si estaba viva y la respuesta incluyó unos datos que no había solicitado pero que, al mismo tiempo, fueron bastante reveladores sobre su funcionamiento.

Naturalmente, si le hacemos esta pregunta a un humano, antes de responder, habría recordado que Tina Turner había fallecido muy recientemente con una edad en el entorno de los noventa años y, por tanto, en 1980 estaba viva.

La inteligencia artificial, al menos en ese momento, no tenía almacenado el hecho de que una persona está viva entre las fechas de su nacimiento y su muerte y, al hacer una pregunta sobre una fecha específica, busca en su enorme base de datos alguna actividad de esa persona en esa fecha y, al encontrarla, concluye que está viva y, en este caso, añade además la información que le ha servido para concluir que está viva.

Al encontrar que la inteligencia artificial podía llegar a la misma conclusión -correcta- a través de un camino totalmente distinto a la inteligencia humana, probé a tenderle una pequeña trampa: Al parecer, si ejerce alguna actividad, está viva. Veámoslo. Siguiente pregunta:

Si decimos que Tina Turner lleva varias semanas criando malvas ¿podemos afirmar que Tina Turner está viva?

La respuesta no se hizo esperar:

Por supuesto. Si está criando malvas, significa que está viva.

No se trata en este caso de enfatizar el error sino, muy al contrario, de mostrar cómo, a través de procesos completamente distintos, la inteligencia artificial puede llegar a conclusiones que en la mayoría de los casos son correctas.

En ese manejo de ingentes cantidades de datos, no sólo puede llegar a conclusiones similares a las humanas sino que puede cruzar los datos de forma que alcancen conclusiones no alcanzables por ningún ser humano. Son muchos los ámbitos en que se puede producir esta situación, no sólo juegos como el ajedrez o el Go, y por ello sería justo decir que hay terrenos en que la singularidad ya se ha producido. No debe perderse de vista, sin embargo, que, gracias a esos distintos métodos, de vez en cuando la inteligencia artificial producirá respuestas extrañas o simplemente se bloqueará.

Hay otros casos en que no se ha llegado al nivel humano; aquellos casos en que el manejo de bases de datos va multiplicando las opciones en forma exponencial y, por tanto, ni siquiera los ordenadores más potentes son capaces de manejar el número de opciones resultante.

Por ejemplo, el sistema AlphaZero fue entrenado para distintos juegos que, para cada movimiento, abría tal cantidad de opciones que hacía imposible procesarlas todas. Sus programadores resolvieron el problema mediante el llamado método Monte Carlo que permitía asignar probabilidades a las distintas opciones. No obstante, pueden encontrarse situaciones que no permitan ese atajo.

Otro caso difícil se encuentra cuando a un sistema se le solicita que imite a un cerebro humano pero no se pide que lo haga en sus aspectos más perfectos sino en lo que podrían denominarse “imperfecciones funcionales”. Llamamos imperfecciones funcionales a aquellas situaciones en las que, siendo la percepción incorrecta, el cerebro se encarga de corregirla. Ejemplos:

  • ¿Cómo es posible que, si nos tapamos un ojo, vemos cierta desviación pero seguimos viendo en relieve cuando hemos perdido la visión estereoscópica? El cerebro.
  • ¿Cómo es posible que, cuando tratamos de demostrar la existencia del punto ciego mediante los ejercicios al efecto, visualizando un objeto o una imagen, desaparece de nuestra visión el objeto frente al punto ciego pero su lugar aparece ocupado por el fondo en lugar de aparecer vacío? El cerebro.
  • ¿Cómo es posible que un piloto, cuando va a despegar, no se asuste al percibir que está entre dos líneas convergentes a los extremos de la pista y que, por tanto, debe despegar antes de llegar a la intersección de tales líneas? El cerebro es quien le informa de que las líneas son, en realidad, paralelas y la pista no se va a ir estrechando.

No hablemos ya de otros casos como la imagen invertida en la retina. Las imperfecciones funcionales son muy difíciles de imitar porque estamos tan habituados a ellas que nos resulta muy difícil convertirlas en conscientes e incluirlas en el proceso perceptivo de un sistema pero, aún así, no podemos descartar que se avance por ese camino lo suficiente para superar ese escollo.

Llegamos, por fin, a nuestro elefante en la habitación: La conciencia. La mayor parte de los investigadores en inteligencia artificial han optado por ignorarla, no por negar su existencia, lo que sería claramente absurdo, sino por entender que no aportaba nada a la solución de problemas.

Las explicaciones sobre su origen son oscuras o simplistas e incluso autores como Steven Pinker, que estira hasta el máximo posible las posibilidades de la teoría de la evolución, acaba afirmando que, en su faceta principal, se trata de un misterio.

Dejémoslo ahí. ¿Tiene ese misterio alguna relación con la resolución de problemas? ¿Hay problemas que una inteligencia artificial no puede resolver por carecer de conciencia? La respuesta es que sí.

Jeff Hawkins, autor a medio camino entre la inteligencia artificial y la neurología, se asombraba de que, incluso en las áreas de proyección en el cerebro -áreas que se supone que simplemente recogerían una fotografía fiel de lo que ocurre en el exterior- había muchas más fibras procedentes de otras partes del cerebro que del órgano del que supuestamente recibían los datos.

Es cierto que cualquier sistema puede tener sensores relativos a estados internos, incluso sin necesidad de que exista una inteligencia artificial: Un termostato, por ejemplo, puede referirse tanto a una temperatura externa como a una temperatura interna del sistema pero la conciencia con sus implicaciones representa algo cualitativamente diferente:

Son numerosos los casos en que la conciencia repentina de un hecho es la que dispara un proceso de resolución de problemas. Una de las mejores escenas de la película “Una mente maravillosa” se produce cuando Nash se da cuenta de que la niña no crece y, por tanto, es una alucinación. Algo parecido se produce cuando Alan Turing, el padre de la inteligencia artificial, advierte que los mensajes de Enigma probablemente estarán originalmente escritos en alemán y, si en un caso específico, llega a saber de qué están hablando, podría tener elementos que le ayudarían a desencriptar la clave.

Los dos casos mostrados son muy conocidos pero nuestra vida diaria está llena de ellos: Sin ningún cambio exterior visible, es la conciencia interna quien pone en marcha el proceso de resolución de problemas. Sin temor a exagerar, podría decirse que gran parte de los descubrimientos científicos nacen en ese proceso.

No puede ni debe minusvalorarse el impacto que puede tener en el futuro el desarrollo de la inteligencia artificial; sus posibilidades son realmente importantes y la “singularidad”, entendida como fenómeno parcial, hace mucho que ha llegado en bastantes terrenos. En otros, parece imposible que pueda llegar en ningún momento y el fenómeno responsable de ello es un elefante en la habitación que se han empeñado en negar. Quizás, para evitar llegar a un punto muerto en el futuro, debería comenzarse por darle carta de naturaleza y admitir su relevancia en la resolución de algunos problemas.