La «intelectualidad artificial» y sus descontentos: una exploración de las actitudes de los años 70 hacia la «responsabilidad social del trabajador de inteligencia artificial»

Publicado en línea por Cambridge University Press:  19 de septiembre de 2023

Rosamund Powell

---

Resumen

En 1972, diez miembros de la comunidad de investigación en inteligencia artificial viajaron al lago Como, Italia, para asistir a una conferencia sobre las «implicaciones sociales de la investigación en inteligencia artificial». Este artículo explora sus variados y contradictorios enfoques sobre este tema. Investigadores, entre ellos John McCarthy, Donald Michie y Richard Gregory, plantearon cuestiones «éticas» en torno a su investigación y predijeron activamente los riesgos de la inteligencia artificial. Al mismo tiempo, retrasaron cualquier acción para mitigar estos riesgos hacia un futuro incierto donde las capacidades técnicas eran mayores. Sostengo que las afirmaciones de los participantes en la conferencia de que 1972 era «demasiado pronto» para especular sobre los impactos sociales de su investigación fueron falsas, motivadas tanto por amenazas a la financiación como por las especulaciones políticamente informadas de los propios investigadores sobre el futuro.

---

(Este es un artículo de acceso abierto, distribuido bajo los términos de la licencia Creative Commons Attribution)

En junio de 1972, diez hombres destacados procedentes de la comunidad de investigación de inteligencia artificial y de industrias interconectadas se reunieron en Villa Serbelloni, a orillas del lago Como, Italia. Su propósito era abordar las amenazas a la humanidad que podrían surgir debido a la inteligencia de las máquinas, un término que usaron indistintamente con IA para definir máquinas con inteligencia comparable a la humana.Nota¹ Estos hombres, en adelante el ‘grupo Serbelloni’, eran Cordell Green (Stanford), Peter Landin (Queen Mary College), Donald Michie (Universidad de Edimburgo), John Alan Robinson (Universidad de Syracuse), Robert Taylor (Centro de Investigación Xerox Palo Alto) , Peter Will (IBM), John McCarthy (MIT), Daniel Bobrow (Centro de Investigación Xerox Palo Alto), Takayasu Ito (Mitsubishi Electric Corporation) y Lord Balfour de Burleigh (Banco de Escocia).Nota² Me baso en materiales de archivo previamente inexplorados que detallan esta conferencia para mostrar que los investigadores de inteligencia artificial buscaron activamente «cuestiones éticas» en torno a su investigación durante la década de 1970.Nota³

En ocasiones, tomando prestada una frase del historiador Shunryu Colin Garvey, actuaron como «descontentos», definidos en todo momento como aquellos que «dudan, cuestionan, desafían, rechazan, reforman y retoman de otro modo la «IA»».Nota⁴ Sin embargo, hicieron contribuciones que fueron en varios sentidos características de un «sistema de IA» más unificado, un término introducido por James Fleck para mapear un conjunto de investigadores interconectados que se acercan a un «grado de comunidad» suficiente para ser llamados una comunidad.Nota⁵

En este artículo descubro el importante papel que desempeñan las figuras del «sistema» al iniciar el discurso sobre la responsabilidad social, pero también caracterizo sus contribuciones y expongo su deseo colectivo de posponer el discurso en el que ellos mismos se habían propuesto participar activamente. , cuestionaron el futuro que crearían a través de su investigación. Por ejemplo, citaron preocupaciones sobre cómo los megalómanos políticos podrían utilizar la inteligencia artificial. Por otro lado, los parámetros de su debate estuvieron determinados por los ciclos de financiación y el determinismo tecnológico y, al final, abogaron por posponer la acción hasta un futuro arbitrario en el que las capacidades de la IA hubieran avanzado. Su estrecho enfoque en un futuro en el que las máquinas habrían alcanzado una inteligencia comparable a la humana tiene paralelos sorprendentes hoy, ya que muchos investigadores continúan preocupados por el impacto social de la futura AGI (inteligencia general artificial), descuidando los daños más inmediatos que podrían ocurrir en el camino.

El papel desempeñado por Donald Michie en la organización de esta conferencia es particularmente significativo y complica las descripciones existentes de Michie como un firme defensor de la investigación de la inteligencia artificial. Al final, el grupo Serbelloni no le ofreció a Michie todo lo que quería de las discusiones sobre las implicaciones sociales de la investigación de la inteligencia artificial. En consecuencia, recurrió cada vez más a historiadores y políticos en busca de consejo y tomó un camino que estuvo significativamente influenciado por su política socialista.Nota⁶ Lo hizo sin dejar de ser una figura clave en la red social del establishment de la IA.

Una historiografía de pioneros y críticos.

La preocupación por las implicaciones sociales de las nuevas tecnologías no era en absoluto nueva en 1972, incluso para los miembros de la comunidad de investigación de la IA. Por ejemplo, Marvin Minsky y Herbert Simon contribuyeron a Computers and the World of the Future , un volumen de 1964 que explora el impacto de la informática en la sociedad.Nota⁷ Sin embargo, en la medida en que los relatos históricos han abordado la crítica de la década de 1970 sobre la IA y la sociedad desde dentro de las comunidades de investigación de inteligencia artificial, se han centrado en un «hereje orgulloso» que disiente contra su comunidad de investigación.Nota⁸ Es decir, se ha presentado como el dominio de Joseph Weizenbaum, cuyo libro de 1976 Computer Power and Human Reason condenó a los investigadores de inteligencia artificial por no cuestionar su impacto en la humanidad y presentó a este grupo de élite vagamente definido como la «intelectualidad artificial», criticando así la estructura social de la comunidad a la que pertenecía como profesor de informática en el MIT.Nota⁹ La llamada «intelectualidad artificial» desafió entonces a Weizenbaum mediante reseñas que defendían su disciplina.Nota¹⁰

Esta dicotomía entre una «intelectualidad» unificada y defensiva y un «hereje solitario» que emerge desde dentro ha sido posible gracias a dos tendencias historiográficas distintas. En primer lugar, las primeras historias de la IA, como las escritas por Daniel Crevier y Pamela McCorduck, fueron escritas por expertos con una tendencia a celebrar a los héroes pioneros de la disciplina.Nota¹¹ Tales explicaciones se prestan a un binario en el que se celebra la disciplina de la IA, mientras que la crítica de Weizenbaum se representa como una intrusión. Los estudios recientes en la historia de la informática han discrepado de estas historias internalistas y han propuesto un enfoque revisado mediante el cual los investigadores destacados son contextualizados críticamente.Nota¹² Las implicaciones sociales de la inteligencia artificial se han reexplorado desde esta perspectiva a medida que explorar los críticos de la inteligencia artificial se ha convertido en una prioridad de investigación.Nota¹³ Esta segunda ola de estudios ha vuelto a arrojar luz sobre la crítica social de Weizenbaum. Por ejemplo, el historiador Zachary Loeb enfatiza las influencias externas de Weizenbaum y lo describe como «solitario» dentro de su comunidad de investigación, como él mismo es profesor de informática.Nota¹⁴ Los marcos históricos continúan generalizando a los investigadores de inteligencia artificial como despreciando las implicaciones sociales negativas de su trabajo. Persiste el binario entre críticos y pioneros.

En la única ocasión en que se menciona la conferencia de Serbelloni, en un tratamiento histórico de Margaret Boden, se presenta una vez más que el «sistema» desprecia cualquier implicación social que pueda tener su trabajo. Boden escribe que, si bien algunos investigadores se reunieron en el lago Como, «John McCarthy se negó a unirse a ellos», creyendo que era demasiado pronto para especular.Nota¹⁵ Esto es objetivamente incorrecto: McCarthy asistió como orador experto.Nota¹⁶ Además, este énfasis en la indiferencia de los investigadores malinterpreta la iniciativa requerida para instituir la reunión. En resumen, el grupo Serbelloni complica un binario historiográfico persistente, ya que sus acciones revelan que los supuestos pioneros de la inteligencia artificial actuaron en ocasiones como descontentos .

El camino a Serbelloni

En los dos años previos a la conferencia de Serbelloni, Donald Michie y el psicólogo experimental Richard Gregory, su antiguo colega en la Universidad de Edimburgo, comenzaron a explorar cuestiones éticas en torno a su trabajo. La conferencia Serbelloni fue propuesta por Michie, un ex descifrador de códigos de Bletchley Park convertido en genetista que en 1972 era director del Departamento de Inteligencia y Percepción de Máquinas que había cofundado cinco años antes con Gregory y el químico teórico Christopher Longuet-Higgins.Nota¹⁷ Para hacer posible la conferencia, Michie consiguió financiación de la Fundación Rockefeller, después de casi dos años de correspondencia desde agosto de 1970 hasta junio de 1972. Esto culminó con la fundación como anfitriona del evento en el Centro Bellagio, Villa Serbelloni.Nota¹⁸ Durante este período, el título de la conferencia cambió de La responsabilidad social del trabajador de inteligencia artificial a Las implicaciones sociales de la investigación en inteligencia artificial, una decisión en sí misma significativa que marca un cambio de enfoque desde cuestiones de moralidad y responsabilidad hacia consecuencias o implicaciones. Este nuevo marco se apoyó más en los métodos especulativos y predictivos que finalmente se adoptaron en Villa Serbelloni y dio cabida a la consideración de implicaciones sociales positivas, algo que se volvió crucial para la discusión en Villa Serbelloni.

El papel de Michie era determinar el alcance de la conferencia y, según él lo veía, definir los parámetros de un nuevo tema. Sin embargo, en ese momento, ya había muchos escritos sobre las implicaciones sociales de la IA dentro de la comunidad técnica, además de la ficción, las ciencias sociales y las humanidades.Nota¹⁹ Ni Michie, ni ningún otro «hereje solitario», planteaba esta cuestión de nuevo, sin embargo, los artículos que Michie preparó para la conferencia muestran una apreciación limitada del debate existente, ya que se centró en gran medida en los argumentos que circulaban dentro de su propia comunidad, los investigadores de inteligencia artificial.

En primer lugar, Michie consideró las «Especulaciones sobre la primera máquina ultrainteligente» de Jack Good de 1966. Se reconocieron las cuestiones sociales y Good describió la «posibilidad de que la raza humana se vuelva superflua» junto con «otros problemas éticos».Nota²⁰ Sin embargo, el enfoque principal del artículo no estaba en los «problemas éticos» sino más bien en las teorías de investigación que pueden facilitar la ultrainteligencia futura. Good fue un colega cercano y «mejor amigo» de Michie durante su estancia en Bletchley Park y un miembro integral de la comunidad de investigación del Reino Unido.Nota²¹ La inclusión de este artículo sugiere que Michie dio prioridad a la investigación de amigos y colegas, incluso en los casos en que estos tocaron sólo brevemente las «implicaciones sociales». Esto se ve reforzado por la inclusión por parte de Michie de «Algunos problemas filosóficos desde el punto de vista de la inteligencia artificial» de McCarthy y Hayes y la respuesta de Green a ese artículo, que detallaba un método particular para construir un «sistema de preguntas y respuestas».Nota²² Ninguno de los artículos hace referencia a las implicaciones sociales.

Michie también incluyó el artículo de Weizenbaum de 1972 «Sobre el impacto de la computadora en la sociedad».Nota²³ Weizenbaum lamentó lo que describió como «el ensayo típico» sobre computadoras que recomendaba confiar en el propio «científico informático» como protector contra daños potenciales.Nota²⁴ Sostuvo que era necesario examinar los efectos secundarios de la informática y el impacto que tendrían las computadoras en «la imagen que el hombre tiene de sí mismo». Argumentando contra el tecnosolucionismo, abogó en cambio por «respuestas humanas» a las preguntas humanas.Nota²⁵ La inclusión por parte de Michie del artículo de Weizenbaum no indica un acuerdo (muchos participantes de Serbelloni se convertirían en sus críticos abiertos en 1976) pero sí demuestra una voluntad de considerar proyecciones más pesimistas.

Sin embargo, más allá de Weizenbaum ya existían numerosos análisis sobre los fundamentos sociales y las implicaciones de las nuevas tecnologías en los que Michie podría haber aprovechado. Por ejemplo, en 1970 Lewis Mumford publicó el segundo volumen de El mito de la máquina : el Pentágono del poder , detallando qué palancas de poder dentro de los estados militares-industriales estaban influyendo en el desarrollo de la tecnología.Nota²⁶ De manera similar, la literatura sobre la responsabilidad social de los científicos y tecnólogos era mucho más amplia de lo que sugeriría la selección de Michie, desde el artículo de Bertrand Russell de 1960 sobre «Las responsabilidades sociales de los científicos» hasta el artículo de Norbert Wiener de 1960 «Algunas consecuencias morales y técnicas de la automatización». y este contexto es crucial para demostrar cuán estrechas fueron las discusiones del grupo Serbelloni.Nota²⁷

Mientras Michie asumía esta función organizativa y de establecimiento de agenda, no había escrito nada sustancial sobre las implicaciones sociales de la inteligencia artificial y, en cambio, se basó en ideas que Richard Gregory había presentado en su artículo de 1971, «Implicaciones sociales de las máquinas inteligentes».Nota²⁸ Gregory no viajó al lago Como, tal vez porque en esta etapa ya había dejado Edimburgo y había dejado la investigación sobre inteligencia artificial. Sin embargo, su papel fue significativo. Su artículo no sólo fue presentado al grupo sino que Michie también lo envió a la Fundación Rockefeller y seleccionó a expertos como justificación para la financiación de la conferencia.Nota²⁹ Jacob Bronowski, entonces en el Instituto Salk y consultado por la Fundación Rockefeller, escribió que si la conferencia trataba «del mismo tema y estándar», ciertamente merecía apoyo.Nota³⁰

Gregory reunió tres ángulos desde los cuales argumentó que se deben considerar las consecuencias sociales de la inteligencia artificial: psicología, ingeniería y ciencias morales. Primero, consideró definiciones psicológicas de inteligencia, argumentando que no había una definición acordada de inteligencia y que las consecuencias sociales variarían dramáticamente dependiendo de la naturaleza de la inteligencia en forma de máquina.Nota³¹ Los intereses de ingeniería de Gregory también se reflejaron cuando vinculó las implicaciones sociales con temores previos en torno al reloj, la máquina de vapor, el autobús tirado por caballos y el motor de gasolina. Sostuvo que «los efectos importantes surgen de orígenes completamente inadvertidos» y describió el ejemplo de los autobuses tirados por caballos que llevaron a la construcción de viviendas precarias en valles de difícil drenaje, lo que provocó enfermedades.Nota³² En consecuencia, la «historia social» de la ingeniería podría ayudar a identificar cómo surgen inesperadamente las consecuencias sociales.

Además, Gregory había estudiado ciencias morales en Cambridge. Más tarde describió haber sido enseñado por Bertrand Russell en un momento en que Russell se había aburrido «un poco de la lógica simbólica» y estaba cada vez más interesado en la «ética».Nota³³ Gregory enfatizó que «quizás las cuestiones más importantes aquí se refieren a la ética de la responsabilidad».Nota³⁴ En un ejemplo detallado sobre la perspectiva de un juez automático, Gregory afirmó claramente que las implicaciones sociales no pueden resolverse cuantificando los resultados. En su opinión, no eran cuantificables porque eran morales.Nota³⁵

En contraste con el estatus interno de Michie, el artículo de Gregory fue moldeado por su situación en la periferia de la investigación de la inteligencia artificial. En 1966 se mudó a Edimburgo después de dar clases en el Departamento de Psicología Experimental de la Universidad de Cambridge y en 1970 se había mudado una vez más para convertirse en profesor de neuropsicología en Bristol.Nota³⁶ Tres años en Edimburgo le habían proporcionado una visión privilegiada de la inteligencia artificial, pero sus métodos siguieron siendo los de un relativamente ajeno, continuando posteriormente con la investigación psicológica sobre el ojo humano.Nota³⁷ Más tarde describió su traslado a Edimburgo como «ingenuo», señalando que se había unido a una comunidad de investigación que «apenas conocía» estudiando un tema que todavía no consideraba avanzado.Nota³⁸ Su estatus en la periferia, un paso dentro de la comunidad pero manteniendo opiniones distintas, amplió el alcance de este artículo al reunir estos distintos hilos de la psicología, la ingeniería, la historia social y las ciencias morales.

A pesar de su uso del artículo de Gregory como indicativo de los temas de la conferencia, los planes finales de Michie para la lista de participantes de la conferencia lo ven una vez más insinuar diversos puntos de vista solo para invitar a amigos y colegas investigadores del establishment.Nota³⁹ Los intentos de Michie de conseguir colaboradores multidisciplinarios fueron limitados. Michie enfatizó en su correspondencia que su esposa, Jean Hayes Michie, asistía como «miembro genuino» de la conferencia.Nota⁴⁰ Su perseverancia llevó a William Olson, director de Villa Serbelloni, a concluir que «no había más remedio que aceptar la legitimidad de esto».Nota⁴¹ Esto podría indicar un enfoque multidisciplinario, ya que Jean Hayes Michie era psicólogo en la Universidad de Strathclyde. En años posteriores, escribió con su marido sobre temas como el «diseño centrado en el ser humano» en inteligencia artificial.Nota⁴² Sin embargo, no se le dio un lugar en el panel ni como oradora experta.Nota⁴³ Ella fue agrupada con las esposas de otros participantes, ya que Olson las describió a todas como «no participantes».Nota⁴⁴ Esto resultó en que ella fuera completamente borrada del esquema de la conferencia escrita por Cordell Green y, en consecuencia, no es fácil distinguir cualquier contribución que haya hecho.

Sólo un miembro del panel de Michie carecía de experiencia en inteligencia artificial. Lord Balfour de Burleigh fue invitado específicamente a realizar una contribución no experta, lo que revela la voluntad de Michie de mirar más allá del «establecimiento de la IA». Sin embargo, Balfour no fue seleccionado por liderar otro campo de estudio relevante (en ese momento era director del Banco de Escocia) sino más bien por un «interés personal» en la inteligencia artificial. Michie concedió importancia a la contribución de Balfour como «asesor no profesional».Nota⁴⁵ Michie no invitó a nadie con una formación académica alternativa, a pesar de que antes de este momento habían surgido escritos no técnicos sobre el tema. Olson escribió que «lo que el grupo necesitaba urgentemente, además de informatólogos, eran antropólogos sociales, politólogos y filósofos».Nota⁴⁶

La mayoría del panel de Michie procedía del «sistema de IA» altamente interconectado y estaba adscrito a universidades de primer nivel en los EE. UU. y el Reino Unido. Entre el organizador y los oradores expertos, McCarthy estaba en el MIT, Michie en Edimburgo y Bobrow participando en un programa de conferencias Fulbright que lo había llevado del MIT a Edimburgo.Nota⁴⁷ Otras instituciones representadas en el panel eran de élite. Cordell Green se unió desde Stanford y John Robinson desde Syracuse, y otros invitados fueron nuevamente del MIT, Stanford y Edimburgo respectivamente en los casos de Papert, Nilsson y Meltzer, ninguno de los cuales pudo asistir.Nota⁴⁸

No obstante, la conferencia Serbelloni contó con una variedad de participantes del mundo académico, la industria y el gobierno. Cuando se compara con la lista de participantes del Taller de McCarthy en Dartmouth de 1956, donde se acuñó la IA, por ejemplo, está claro que Michie hizo esfuerzos sustanciales para garantizar que la discusión en Villa Serbelloni no fuera puramente académica.Nota⁴⁹ Michie enfatizó esta variación en las biografías de sus participantes.Nota⁵⁰ A Bobrow se le atribuyó un «grado inusual de eminencia en los mundos académico e industrial», y Peter Will fue descrito como un experto en «electrónica industrial» y «robots industriales». Robert Taylor pasó «cinco años en la Agencia de Proyectos de Investigación Avanzada en la Oficina del Secretario de Defensa» y Cordell Green tenía experiencia militar en «el Departamento de Defensa de Estados Unidos». El profesor Ito tenía experiencia en la industria con motores Mitsubishi y experiencia gubernamental en el «Ministerio japonés de Industria y Comercio Internacional». En lugar de incorporar expertos en psicología, filosofía o sociología, este grupo debía aprovechar la experiencia industrial, académica, gubernamental y militar. La propia opinión de Michie de que este grupo era variado tal vez pueda atribuirse a la estrecha red social que constituía el «sistema» de la IA.Nota⁵¹ Sin embargo, el grupo final ya fijó el curso de la discusión de tal manera que era poco probable que la caracterización del problema por parte de Gregory como ética y por lo tanto no cuantificable informara los procedimientos.

Actas de congresos

El debate en Villa Serbelloni revela que, a pesar de los casos de autocrítica, los participantes en gran medida se negaron a contemplar si las preocupaciones sobre las implicaciones sociales deberían conducir a limitaciones en su investigación. Por un lado, identificaron activamente los riesgos que podrían surgir debido a su investigación. Por otro lado, se concentraron en pronósticos futuros más que en acciones presentes. Al cierre de este evento, firmaron colectivamente una conclusión reservada que evidentemente carece de cualquier compromiso para el trabajo futuro en esta área.

Especulación y previsiones

La retórica del grupo Serbelloni revela preocupaciones entre el grupo sobre si 1972 fue el momento adecuado para considerar las implicaciones sociales de la inteligencia artificial. McCarthy afirmó que era «demasiado pronto para especular».Nota⁵² Balfour admitió que no estaba seguro de que «todavía sea el momento adecuado para embarcarse en tal ejercicio», mientras que Olson describió preocupaciones similares entre el grupo.Nota⁵³ Sin embargo, el discurso que tuvo lugar en el Lago Como revela que una serie de suposiciones y predicciones más complejas llevaron a los investigadores a afirmar que estos problemas éticos podrían retrasarse hasta una fecha futura. Y, si bien tal vez pensaron que era demasiado pronto para actuar, su debate ciertamente sugiere que no lo consideraron «demasiado pronto para especular».

El grupo Serbelloni trabajó cómodamente a través del lente de las predicciones futuras. Michie entregó a los participantes dos copias de una encuesta predictiva, una para el primer día y otra para el último día. Pidió a los participantes que situaran las máquinas con «una inteligencia que se aproximara a la de los humanos adultos» y «una importante repercusión industrial» en una escala de cinco a cincuenta años. Preguntó si la inteligencia artificial daría lugar a una «atrofia» social o, alternativamente, a una vida intelectual y cultural humana «mejorada» o «no afectada», y si el «riesgo de una «toma de control» definitiva» era significativo.Nota⁵⁴

Además, a pesar de que el grupo expresó cautela en torno al tema de este debate, el esquema inédito de la conferencia de Cordell Green demuestra que el grupo Serbelloni no lo consideró demasiado pronto para identificar riesgos específicos. Discutieron la posible «pérdida de libertad por la transferencia de la toma de decisiones de las personas a las máquinas» y «pérdida de control por la incapacidad de comprender sistemas complejos». Los riesgos adicionales previstos incluyen el posible «desprecio de los valores humanos por parte de redes autónomas de control urbano» y la posibilidad de que la inteligencia artificial proporcione «ayudas a los megalómanos políticos» o «facilidades para la tiranía democrática a través de técnicas ampliadas de detección, persuasión y coerción social». Por último, temían una «competencia feroz internacional en inteligencia artificial».Nota⁵⁵ El grupo Serbelloni no sólo se dedicó aquí a la autocrítica, sino que lo hizo con significativa precisión.

Sin embargo, Michie hizo pronósticos y cuantificó sus predicciones de una manera típica de un «sistema de IA» cuyas proyecciones excesivamente optimistas han sido identificadas como una causa de que la financiación se agote periódicamente en lo que desde entonces se ha denominado simplistamente «inviernos de IA».Nota⁵⁶ La publicación de Michie de los resultados de la misma encuesta que utilizó en Villa Serbelloni, distribuida en esta última ocasión a sesenta y siete «científicos informáticos británicos y estadounidenses», revela un deseo de aplicar métodos «objetivos» de predicción a las implicaciones sociales.Nota⁵⁷ Michie cuantificó los resultados y presentó un gráfico que indica las predicciones para los próximos cincuenta años. Michie reconoció las limitaciones de este estudio, pero propuso en el futuro «encontrar alguna base objetiva para predecir la tasa de desarrollo y el impacto social de la inteligencia artificial». Por lo tanto, los participantes de Serbelloni cuestionaron la promesa de su investigación, pero lo hicieron a través del lente de la previsión. Esta preocupación por la predicción cuantificada puede contrastarse con el enfoque que podrían haber adoptado «antropólogos sociales, politólogos y filósofos».Nota⁵⁸ También revela paralelismos con enfoques sobre los riesgos de la IA que se centran en resultados extremos y a menudo utilizan encuestas del futuro como evidencia de que este enfoque en las capacidades avanzadas de la IA está justificado.Nota⁵⁹

Precaución contextualizadora

Hasta cierto punto, el grupo Serbelloni ideó estrategias de mitigación. En el caso del uso de computadoras por parte de megalómanos, Green describió cómo «las contramedidas podrían incluir la supervisión estatal y el control del acceso a grandes sistemas de bases de datos» y la «identificación de vínculos críticos en la sociedad en los que se podría ejercer la supervisión».Nota⁶⁰ En noviembre del mismo año, Michie recomendó una vez más «procedimientos de auditoría para programas informáticos» o «programas para enseñar a los usuarios de sistemas inteligentes».Nota⁶¹ En estos casos, el grupo Serbelloni reconoció un posible papel de la intervención gubernamental en la limitación del alcance de los proyectos de inteligencia artificial.Nota⁶²

Sin embargo, se centraron en gran medida en estrategias tecnológicas más que políticas, una práctica que continúa persistiendo en el campo de la ética de la IA.Nota⁶³ Se propuso más «investigación sobre programas-comprensión-programas» y sobre «sistemas-comprensión-sistemas» para abordar la pérdida de control de la IA. Su inclusión de predicciones tan extremas como la «fusión» de personas con sistemas informáticos inteligentes para formar «sociedades mixtas», no junto con los riesgos, sino tan «controvertidas en cuanto a si son buenas o malas», revela hasta qué punto priorizaron la investigación sin restricciones.Nota⁶⁴ Por lo tanto, la voluntad de este grupo de identificar riesgos puede contrastarse con su falta de voluntad de actuar para cambiar el curso de su investigación.

En el caso de McCarthy, la afirmación de que era «demasiado pronto para especular» estaba fuertemente informada por sus propios puntos de vista optimistas sobre las capacidades técnicas futuras, en sí mismas posiblemente especulativas dada la falta de éxitos claros en las capacidades de inteligencia de las máquinas en este momento. En su discurso previsto para Villa Serbelloni, McCarthy escribió: «con la IA entenderemos las consecuencias de políticas alternativas mucho mejor de lo que las entendemos ahora».Nota⁶⁵ Este es un tema que repitió.Nota⁶⁶ Su voluntad de especular sobre los riesgos, pero no de abogar por soluciones, se basaba en sus propias especulaciones confiadas sobre la investigación de la inteligencia artificial. McCarthy no fue el único que adoptó esta posición. Green incorporó propuestas relacionadas de que la propia inteligencia artificial puede ser capaz de abordar sus propios riesgos mediante el «filtrado impulsado por computadora» y la «validación de nuevas propuestas políticas» cuando redactó el contenido de la conferencia de Serbelloni.Nota⁶⁷

El enfoque cauteloso de Michie ante la acción actual era distinto del de McCarthy y, sostengo, influido más por circunstancias prácticas que por especulaciones ideológicas. En particular, Michie estaba respondiendo a los acontecimientos que precedieron a la publicación de Artificial Intelligence: A General Survey , la evaluación de 1973 respaldada por el gobierno sobre la investigación de la IA en el Reino Unido que desde entonces se ha denominado informe Lighthill. El matemático aplicado y profesor lucasiano de Matemáticas de la Universidad de Cambridge, James Lighthill, pidió que la financiación de la IA se desvíe de la «construcción de robots» y se destine a aplicaciones biomédicas e industriales. La investigación de Michie fue especialmente criticada y este artículo histórico tuvo un impacto en cascada en la financiación de su investigación.Nota⁶⁸ Agar sostiene que esto obligó a Michie «a reflexionar sobre hasta qué punto su ciencia respondía o no, debería o no responder a problemas prácticos».Nota⁶⁹ Si bien el informe final no se publicó hasta el año siguiente a la conferencia de Serbelloni, se presentó en 1972. Cuando Michie estableció la agenda final para la conferencia de Serbelloni, sabía que este informe desviaría inminentemente la financiación de su propia investigación hacia Proyectos más aplicados. Su correspondencia revela que se mostró desafiante contra esto. Escribió en febrero que, «en resumen, James Lighthill debería (1) estar con nosotros o (2) seguir adelante».Nota⁷⁰ Intentó poner a Lighthill en contacto con investigadores estadounidenses de inteligencia artificial y defender el mérito de su propia investigación en Edimburgo.Nota⁷¹ Durante el período previo a la conferencia de Serbelloni, el ambiente de apoyo en Edimburgo se vio sometido a una tensión significativa, lo que desplazó los esfuerzos organizativos de Michie hacia otra prioridad: la defensa de su propia disciplina.

A medida que se desarrollaron los acontecimientos del debate de Lighthill, se puede ver cómo evoluciona el alcance de la conferencia de Michie a través de sus comunicaciones con la Fundación Rockefeller. En abril de 1971, Michie planeó abordar «algunas repercusiones sociales muy sorprendentes» y pretendía titular este retiro como «la responsabilidad social del investigador de inteligencia artificial».Nota⁷² Resumió el alcance del debate: «las posibles amenazas al hombre que podrían surgir: desplazamiento del empleo, socavamiento de la autoimagen intelectual humana, peligros militares, etc.» Dentro de estas primeras comunicaciones, la Conferencia Serbelloni se enmarcó enteramente en torno a los riesgos planteados por la inteligencia artificial, sin ninguna sugerencia de que sería necesario identificar también beneficios prácticos.

Sin embargo, los informes escritos después de la conferencia revelan que el alcance se había ampliado. Además de las amenazas, los ‘términos de referencia’ del panel Serbelloni ahora incluirían beneficios. Debían «determinar algunas categorías relevantes de sistemas de información complejos y sus aplicaciones» y discutir aplicaciones de la inteligencia artificial tanto «buenas» como «malas».Nota⁷³ El informe de Green de 1972 contenía un balance aproximado de beneficios y riesgos. En la lista del grupo Serbelloni se incluía la «ampliación de la vida mental del ciudadano común»; ‘poderosas y perspicaces ayudas informáticas para el artista, compositor y escritor’; y más «educación basada en computadora y entrenamiento en conciencia cultural» y » importante (abrumadora) contribución a la comprensión científica y de otro tipo de nuestro universo».Nota⁷⁴ Este cambio, que se produce en el contexto de importantes amenazas a la financiación de Michie, indica que el informe Lighthill podría haber influido en las prioridades de Michie en torno a esta discusión. Este cambio hacia la identificación de aplicaciones industriales para la inteligencia artificial también puede verse como parte de tendencias más amplias dentro del establishment científico tanto en el Reino Unido como en Estados Unidos, donde la financiación gubernamental para la investigación fundamental se estaba agotando y los académicos recurrían cada vez más al sector privado.Nota⁷⁵

Una conclusión firmada colectivamente por el grupo Serbelloni y compartida con los financiadores de la Fundación Rockefeller revela aún más las contradicciones que abarca su enfoque. Por un lado, destacó que «ahora se puede considerar que una amplia gama de consecuencias sociales cada vez más importantes siguen los avances en el campo de la informática y la automatización». Por otra parte, no abogó por la adopción de medidas. En cambio, articuló que se necesitaba más tiempo para que la inteligencia de las máquinas «se desarrollara en un grado significativo».Nota⁷⁶ Esta conclusión limitada se basó tanto en la fe en que sus propias investigaciones proporcionaban recomendaciones de políticas como en la preocupación de que su propia financiación pudiera verse amenazada. Para los participantes individuales, será necesaria más investigación para examinar exactamente cómo estos dos factores interactuaron para influir en su visión del mundo.

las secuelas

De todos los participantes de Serbelloni, Michie demostró el mayor interés en las implicaciones sociales de su investigación. He descubierto cuatro intentos clave de ampliar el interés en este tema. En primer lugar, propuso un estudio de dos años de duración sobre las implicaciones sociales de la inteligencia artificial en consulta con el grupo Serbelloni.Nota⁷⁷ En segundo lugar, hizo numerosos intentos de organizar una segunda conferencia sobre el impacto social en 1974, 1975 y 1976.Nota⁷⁸ En tercer lugar, en 1977 planteó las implicaciones sociales en un Taller de Inteligencia de Máquinas, esta vez en Leningrado.Nota⁷⁹ Finalmente, antes de 1984, propuso que la Universidad de Edimburgo enseñara a sus estudiantes sobre las implicaciones sociales.Nota⁸⁰ A pesar de la posición de Michie como líder organizacional dentro de la red social de la inteligencia artificial, no pudo asegurar un interés continuo dentro de su comunidad y por eso, en los años posteriores a 1972, su enfoque comenzó a atraer a otros pensadores poderosos y de élite, en particular desde las humanidades.

Donald Michie: una aproximación del descontento al determinismo tecnológico

Después de la conferencia de Serbelloni, Michie intentó volver a reunir al grupo para un estudio más largo. Lo hizo a pesar de la silenciosa conclusión firmada por el grupo de trabajo y en contra del consejo de Balfour, quien escribió que «parecía bastante poco apoyo» a esta idea por parte de otros miembros del grupo de trabajo.Nota⁸¹ Sin embargo, Michie solicitó cuatro mil libras para un «estudio de dos años de duración sobre las implicaciones sociales de la investigación en inteligencia artificial». Planeaba consultar al mismo grupo de trabajo, demostrando un esfuerzo prolongado para involucrar al «establecimiento de la IA» en estas discusiones.Nota⁸² Además, pretendía consultar a «testigos expertos adicionales» para abordar «consideraciones educativas y sociopolíticas».Nota⁸³ Admitió que estos temas sólo fueron tratados «superficialmente» en Villa Serbelloni.

Michie intentó convocar al mismo grupo tres veces más en Spetsai, Grecia. Debido a dificultades para conseguir financiación y participantes, no pudo programar esta conferencia para 1974, 1975 o 1976.Nota⁸⁴ El enfoque de Michie durante estos años marcó una división entre su interés en las implicaciones sociales y su implicación con la comunidad de inteligencia artificial en general. En esta etapa, su corresponsal principal sobre implicaciones sociales era Balfour, el único participante de Serbelloni sin experiencia en IA, y estas cartas muestran la frustración de Michie por la falta de interés prolongado en las implicaciones sociales por parte de los participantes restantes de Serbelloni. Michie escribió sobre la necesidad de «ampliar las influencias» e invitó a expertos en humanidades a Spetsai. No sólo fue invitado a Spetsai Michael Hurst, un investigador de historia y política de St John’s, Oxford, sino que también Michie propuso que si se escribía un libro sobre implicaciones sociales, Hurst sería su candidato a autor.Nota⁸⁵ Michie dio prioridad a los académicos de humanidades sobre la comunidad de inteligencia artificial cuando se adaptó a sus «influencias cada vez más amplias» al separar la conferencia Spetsai planeada del Taller de Inteligencia Artificial más grande. Esto fue indicativo del deseo de Michie de adoptar un enfoque más amplio de las implicaciones sociales a mediados de la década de 1970, pero también fue en parte resultado de la falta de interés expresada en la comunidad de inteligencia artificial, como se indica en la correspondencia de Balfour con Michie.

Otra de las «influencias cada vez mayores» consultadas por Michie durante este período revela una dimensión política de su trabajo sobre las implicaciones sociales. Michie abandonó el Partido Comunista en los años cincuenta. Sin embargo, su compromiso, junto con el de su primera esposa, la bióloga Anne McClaren, con el socialismo y el activismo ha sido descrito como de por vida.Nota⁸⁶ Su yerno escribe: «desde los congresos mundiales por la paz de la década de 1950 hasta las recientes manifestaciones contra la guerra, siempre estuvieron ahí, a menudo juntos».Nota⁸⁷ Su hija, Susan Michie, describe de manera similar un interés de toda la vida por la teoría política y el marxismo en particular.Nota⁸⁸ Michie incorporó con frecuencia esta visión socialista del mundo en sus escritos científicos y pasó años como corresponsal científico del Daily Worker .Nota⁸⁹ Por lo tanto, no sorprende que cuando Michie intentó involucrar a figuras políticas en su trabajo sobre las implicaciones sociales, recurrió al Partido Laborista. Invitó a Shirley Williams, Secretaria de Estado de Precios y Protección del Consumidor de 1974 y Secretaria de Estado de Educación de 1976 a 1979, a la conferencia de Spetsai y continuó involucrándola en su trabajo sobre inteligencia artificial.Nota⁹⁰ Finalmente, la nombró miembro de la junta directiva del Instituto Turing, un laboratorio de inteligencia artificial creado por Michie en Glasgow en 1983.Nota⁹¹ También es notable que en otro intento de discutir las «implicaciones sociales» con la comunidad de inteligencia artificial, Michie no se comprometió con destacados investigadores estadounidenses, sino más bien con la URSS, mientras defendía la «colaboración Este-Oeste» en el Instituto de Inteligencia Artificial de Leningrado. conferencia de 1977 y escribió a Balfour sobre la importancia de colaborar en un «terreno neutral».Nota⁹²

Además de estas iniciativas, entre 1973 y 1984, Michie propuso un curso en la Universidad de Edimburgo sobre «inteligencia artificial: filosofía, implicaciones sociales y práctica».Nota⁹³ Incluyó un segmento dedicado a los «aspectos sociales de la IA». En este curso, Michie planeaba centrarse en predecir «tasas de desarrollo» en inteligencia artificial.Nota⁹⁴ Como lectura preliminar, recomendó solo un texto, ‘Predicción y evaluación del impacto de la inteligencia artificial en la sociedad’, que en sí es un resultado de otra conferencia sobre IA del ‘sistema’: la Conferencia Internacional Conjunta sobre IA.Nota⁹⁵ Esto requirió un enfoque sistemático para encuestar a los investigadores y, en consecuencia, predecir aplicaciones futuras de la inteligencia artificial. Se parecía mucho a la encuesta de 1972 de Michie. El documento también expresó un «fuerte estado de ánimo de optimismo» y la recomendación de Michie revela un enfoque todavía centrado en la previsión y la cuantificación de las cuestiones sociales. En línea con este enfoque de preparación políticamente informada para un futuro inevitablemente tecnológico, Michie se opuso a los argumentos presentados en Computer Power and Human Reason de Weizenbaum , principalmente porque consideraba que la ciencia era, en última instancia, el camino a seguir.Nota⁹⁶ Michie escribió que «el científico comprometido que cree, como yo, que la razón, el aumento general del conocimiento y la extensión tecnológica de los poderes humanos son, en conjunto, fuerzas para el bien, reaccionará contra la demagogia de Weizenbaum».

Después de las consecuencias: aparentes polaridades en medio de los vínculos con el establishment

Si observamos la conferencia de Serbelloni y las iniciativas posteriores de Donald Michie, quedan claras numerosas diferencias dentro del enfoque del «sistema» de la IA respecto de las implicaciones sociales. No estuvieron de acuerdo sobre cómo responder a los riesgos que plantea la inteligencia artificial. Gregory propuso que la «inteligencia» de las máquinas debería ser sustancialmente diferente de la «inteligencia» humana para evitar los peores impactos en la sociedad, mientras que Bobrow propuso el control gubernamental sobre grandes conjuntos de datos para limitar su uso por parte de «megalomaníacos políticos».Nota⁹⁷ McCarthy abogó por esperar, ya que la IA era la mejor esperanza para encontrar soluciones «objetivas» a los problemas sociales, y Michie abogó por una mayor educación y debate en torno a las implicaciones sociales.Nota⁹⁸ Recomendó estrategias de mitigación, incluida la auditoría algorítmica y las obligaciones con los políticos.

Sin embargo, había muchas cosas que vinculaban el enfoque de este grupo con las implicaciones sociales como un «establecimiento» de IA. Los miembros del grupo Serbelloni coincidieron en que la identificación de los riesgos era importante. También hubo un desacuerdo complicado, más que binario, sobre lo que se debería hacer frente a estos riesgos, pero el grupo tenía en común un enfoque centrado en la previsión y en la colaboración internacional en investigación.

De hecho, el grupo Serbelloni y Weizenbaum también tenían mucho en común. En primer lugar, todos pertenecían al grupo social superpuesto basado en establecimientos académicos de élite. En segundo lugar, sus ideas sobre las implicaciones sociales de la inteligencia artificial se superponían. Ambos se centraron en los problemas relacionados con programas incomprensibles, reconocieron la importancia de considerar los efectos secundarios de la inteligencia artificial como el principal sitio de daño social significativo y expresaron una importante preocupación en torno al impacto que su investigación puede tener en la imagen que el hombre tiene de sí mismo, descrita por este grupo usando lenguaje altamente generizado. A pesar de diferencias significativas, en particular en su fe en el programa de investigación de inteligencia artificial, Weizenbaum y Michie no eran polos opuestos, sino más bien importantes contribuyentes al debate de la década de 1970 sobre las implicaciones sociales de la inteligencia artificial, ambos influenciados por la política socialista.

Con el paso del tiempo, muchas de las predicciones hechas por este grupo de investigadores de élite se cumplieron. Desde entonces, la sociedad ha lidiado con los dilemas morales que plantea la IA legal, donde se utilizan algoritmos para predecir tasas de reincidencia, transformando y desplazando el juicio humano demostrado por los jueces.Nota⁹⁹ La competencia feroz en IA ha causado una importante controversia.Nota¹⁰⁰ Y programas informáticos incomprensibles han llevado a iniciativas recientes a priorizar la «explicabilidad» algorítmica.Nota¹⁰¹ Sin embargo, las predicciones exitosas no pueden atribuirse a este «establecimiento de IA» basado en experiencia técnica. Después de la década de 1970, el enfoque de la IA simbólica se abandonó en gran medida en favor de las redes neuronales, y gradualmente los mismos daños predichos por el grupo Serbelloni se produjeron debido a nuevos métodos que no habían considerado.Nota¹⁰² Sin embargo, tal vez la precisión de estas predicciones pueda arrojar luz sobre la continuación de muchas de las estructuras de poder que surgieron como parte del complejo militar-industrial-universitario en ese momento. Como lo analiza Giroux en University in Chains , las influencias gubernamentales y corporativas sobre la investigación científica que surgieron en el siglo XX continúan hasta el día de hoy, por lo que no es sorprendente que, cualquiera que sea la forma de inteligencia artificial que surja, haya una «competencia internacional feroz» junto a ella. riesgos de que se utilice para «detección social, persuasión y coerción».Nota¹⁰³

Conclusión

Durante la década de 1970, los principales investigadores de la IA desempeñaron un papel importante al iniciar el debate sobre las implicaciones sociales de las máquinas inteligentes. Los materiales de archivo que he explorado, que detallan la conferencia de Serbelloni y las iniciativas posteriores de Donald Michie, revelan hasta qué punto este grupo adoptó un enfoque del impacto social que era característico de su «establecimiento». Priorizaron la financiación, utilizaron métodos de predicción cuantitativa y, en última instancia, abrazaron el futuro de la ciencia y la investigación de la inteligencia artificial. Sin embargo, el grupo Serbelloni cuestionó simultáneamente el futuro que anticipaban crear a través de la IA simbólica. Identificaron riesgos sociales específicos de la inteligencia artificial, discutieron sus obligaciones con la sociedad y propusieron estrategias de mitigación.

En este artículo he descubierto variaciones significativas dentro del grupo Serbelloni. Gregory, Michie y McCarthy imaginaron cada uno de ellos las implicaciones sociales que se avecinaban de maneras distintas que no pueden resumirse fácilmente bajo las etiquetas de pionero o descontento . Cada uno de ellos utilizó el estatus que les otorgaron las cátedras universitarias de élite para dar forma a la sociedad. El material que he desenterrado muestra que todos lo hicieron de una manera que reconocía los problemas éticos planteados por su investigación. Como resultado, dieron forma a los debates de la década de 1970 sobre las soluciones a estos problemas e influyeron en las generaciones posteriores. Sin embargo, agrupar a Michie con el resto del grupo Serbelloni sería engañoso y su contribución al discurso sobre las implicaciones sociales de la inteligencia artificial debería reconocerse junto con su papel más citado como defensor acérrimo de la IA.

Traducido del Original en inglés de The Syllabus

Gaceta Crítica, 23 de Octubre de 2023