Conciliar los riesgos y las oportunidades de la IA: una evaluación global para los inversores

408 páginas, en dos columnas: lo que revela el formulario S-1 de Anthropic

Los inversores están analizando minuciosamente el folleto S-1 de Anthropic a la espera de la mayor salida a bolsa de la historia. El documento tiene por objeto sopesar las oportunidades de inversión frente a sus riesgos. Sin embargo, los primeros informes sugieren que los lectores dedican la mayor parte de su tiempo a una de esas columnas. De sus 408 páginas, ninguna sección ocupa más espacio que la dedicada al riesgo. Los lectores del S-1, y de casi todos los comentarios sobre la IA, corren el riesgo de pasar por alto la tarea que resulta a la vez más difícil y más necesaria: evaluar los riesgos y las oportunidades de la IA de forma conjunta, en lugar de hacerlo uno por uno.

Por mucho que el ámbito de la IA se haya ganado una reputación de dramatismo y maniobras políticas, este es un documento de gran importancia, no una entrada de blog ni un ensayo de carácter intelectual. Sirve de base para decisiones que implican miles de millones de dólares. Se trata de una obligación normativa, elaborada con la intención de proporcionar a los inversores información relevante, precisa y transparente para evaluar los riesgos y las oportunidades asociados a una inversión.

La ciencia que consiste en analizar simultáneamente las oportunidades y los riesgos de la IA es una disciplina poco común que a menudo se ve socavada por nuestro sesgo humano hacia los extremos del espectro. Sin embargo, es una ciencia que tanto los inversores como la sociedad en su conjunto deben adoptar, no solo a la hora de evaluar las empresas de IA, sino también para comprender las amplias capacidades que se derivan de sus centros de datos.

El problema de la columna única: por qué los informes sobre IA abordan el riesgo o la oportunidad, pero no ambos

El debate público tiende a centrarse en un solo aspecto: los riesgos o las oportunidades. Son escasos los discursos que dan cabida a ambos. Incluso el más optimista reconocerá que los extremos dan más juego a la hora de crear titulares. Y para complicar aún más las cosas: los billones de dólares que se amontonan sobre la mesa, en sentido figurado, hacen que ninguna de las partes sea indiferente.

Para no caer en la trampa del sesgo de recencia, debemos tener en cuenta que las nuevas tecnologías nunca se presentan con una única faceta. Las tecnologías transformadoras trascienden la clasificación binaria de «buenas» o «malas»; no hace falta esforzarse mucho para encontrar ejemplos históricos.

• La imprenta permitió la producción en masa de la Malleus Maleficarum y alimentó un siglo de guerras religiosas.
  • Además, difundió el conocimiento científico y la alfabetización entre las masas.
• El proceso Haber-Bosch proporcionó a la Alemania de la Primera Guerra Mundial los nitratos necesarios para la fabricación de explosivos.
  • Además, permitió la producción de fertilizantes sintéticos y alimentó a la mitad de la población mundial.
• Internet difunde discursos de odio, estafas a gran escala e información engañosa.
  • Además, conecta a más de seis mil millones de personas con el conjunto del conocimiento humano y entre sí.

Pero hay una diferencia obvia entre este momento y esos ejemplos históricos: el tiempo ha ido completando esos registros. Como dijo Steve Jobs en su famosa frase: «Solo se pueden unir [los puntos] mirando hacia atrás». Gutenberg y sus contemporáneos no podían saber que esa misma máquina difundiría manuales de caza de brujas y guerras religiosas, al tiempo que fomentaba la alfabetización masiva e impulsaba la Revolución Científica. Los inicios de Internet se vendieron como conexión y conocimiento. Las estafas a gran escala y la desinformación no aparecieron en el balance hasta mucho más tarde.

Al ritmo frenético al que avanzamos, nadie puede contabilizar todas las entradas del libro mayor de la IA. Este artículo no pretenderá hacerlo. Lo más útil es comprender cómo se relacionan entre sí las dos columnas: riesgos y oportunidades. Ese análisis revela una verdad fundamental: casi todas las entradas tienen su contrapartida en la otra columna.

Dos flores de la misma rama: cómo se relacionan los riesgos y las oportunidades de la IA

Esa relación no es una coincidencia; las oportunidades y los riesgos de la IA están estrechamente relacionados, ya que surgen de la misma rama de capacidades. Por lo tanto, los riesgos y las oportunidades crecen al unísono.

Si nos fijamos en casi cualquier avance revolucionario, podemos observar el mismo patrón. Los modelos que comprenden las proteínas pueden diseñar vacunas. Ese mismo conocimiento puede ayudar a alguien a crear un patógeno letal. Los modelos que detectan fallos en el software permiten a los defensores corregirlos más rápidamente. Pero también permiten a los atacantes aprovecharlos más rápidamente. Un agente de IA que actúa por su cuenta puede resolver el trabajo administrativo de todo un día. También puede llevar a cabo acciones potencialmente destructivas que tú no hayas aprobado.

No se puede reducir el riesgo sin reducir las oportunidades. Eso nos convierte en jardineros de una sola rama, y el primer instinto de un jardinero es podar. La poda elimina el riesgo, pero, como consecuencia, también elimina el beneficio. Conciliar las oportunidades y los riesgos de la IA significa cuidar la rama de tal manera que el beneficio supere al riesgo.

Hay dos factores que lo hacen posible. En primer lugar, la atención tanto al interior como al exterior del modelo: la selección, los entornos de prueba, la intervención humana en el proceso y las limitaciones físicas del sistema (hablaremos de ello más adelante). En segundo lugar, la capacidad que genera un riesgo suele ser la mejor herramienta para mitigarlo.

La biología, una de las capacidades de la IA más citadas en los debates sobre P(doom) (la probabilidad de que la IA provoque una catástrofe) debido a la magnitud potencial del desastre asociado, plantea lo que podría ser el mayor desafío de todas las parejas riesgo-oportunidad mencionadas anteriormente. OpenAI, Anthropic, xAI y Google DeepMind han abordado los posibles aspectos negativos de la inclinación de la IA por la investigación biológica mediante la integración de medidas de seguridad en sus sistemas, algunas más sólidas que otras. De hecho, durante la investigación para este artículo, el clasificador de Claude me bajó de Opus 5,5 a Opus 4,8 en tres ocasiones. 

He cambiado a Opus 4.8 Edita y vuelve a intentarlo con Opus 5.5

Los mecanismos de protección de Opus 5.5 han marcado este mensaje. Es posible que sea la primera vez que veas esto en un modelo de Opus: Opus 5.5 tiene más capacidades y, por lo tanto, cuenta con mecanismos de protección más estrictos, lo que en ocasiones puede provocar que se marquen trabajos relacionados con la investigación biológica. Estamos mejorando estos mecanismos de protección para reducir el número de mensajes marcados erróneamente. Envíanos tus comentarios u obtén más información.

Detalles: [biografía]

Esto resulta útil en la medida en que genera dificultades para los posibles actores malintencionados, pero es insuficiente, ya que servirá de poco para desviar a cualquier atacante con un mínimo de perseverancia. Tal y como sostienen O.H. Scharfman y Will Bellamy, los modelos de peso abierto se quedan atrás respecto a la vanguardia en menos de un año y pueden ejecutarse de forma privada, sin verse limitados por las restricciones impuestas por las medidas de seguridad de los laboratorios de vanguardia. Por lo tanto, la mayor capacidad de influencia reside fuera de los modelos, en puntos de control físicos como la verificación de identidad (KYC) en los proveedores de síntesis de ADN y los sistemas de alerta temprana que analizan las aguas residuales y las muestras clínicas en busca de amenazas antes de que se propaguen. La IA hace posibles ambos enfoques y se ve reforzada por el hecho de que los defensores, en palabras de Bellamy y Scharfman, «por lo general tienen más acceso al capital, la investigación, la infraestructura y el personal cualificado».

Si aplicamos este enfoque a la interpretación unidimensional del riesgo, queda claro lo que está en juego. Si nos limitamos a considerar únicamente el riesgo, nuestra respuesta será desmantelar el modelo. Al hacerlo, renunciamos a los avances biológicos asociados a proyectos como AlphaFold (utilizado por más de tres millones de investigadores para acortar en años el trabajo de laboratorio) y a las vacunas potenciadas por IA que ya están superando los ensayos en humanos. Y todo ello sin conseguir, además, protegernos de los atacantes que utilizan modelos de peso abierto.

La respuesta cambia cuando se evalúan ambas columnas al mismo tiempo. En lugar de un modelo más débil, hay que reforzar las defensas en torno a uno que sea eficaz. En lugar de podar la rama, hay que dedicar más tiempo y recursos a cuidarla. Se trata de una elección, y alguien tiene que tomarla.

El sector financiero como gestor: cómo los inversores influyen en el desarrollo de la IA

El departamento financiero se encuentra en una posición única para influir en esa decisión. El formulario S-1 de Anthropic es una rareza porque la ley obliga a que así sea. La normativa obliga a los emisores a exponer ambos lados de la balanza —riesgos y oportunidades— en un mismo documento, auditado y firmado. Casi nada más en esta saga de la IA se presenta de esa manera. Los éxitos se acompañan de comunicados de prensa y brillantes vídeos de demostración; los fracasos, de titulares en negrita y lamentaciones. Cada uno nos llega en una sola columna.

Eso deja la ardua tarea de la reconciliación en manos del lector. Afortunadamente, en el ámbito financiero, el lector tiene el control. Al decidir a dónde se destina el capital, cómo se ejercen los derechos de voto y qué información revelan las empresas, los inversores pueden determinar qué ocurre con estas ramas retorcidas y sus flores enfrentadas.

Esos primeros registros de tecnologías revolucionarias tardaron siglos en completarse. En medio del rápido avance de la inteligencia artificial y de nuestro inmenso acceso a la información, no podemos permitirnos ese lujo, ni tenemos esa excusa. Las inversiones, los votos y el activismo de hoy son la historia de mañana. Los inversores no pueden esperar a que se unan los puntos. Deben ser ellos quienes los unan.

El mandato de reconciliación: evaluar conjuntamente los riesgos y las oportunidades de la IA

Aún no podemos examinar a fondo el historial completo de la IA. A menos que la IA acelere los avances en la ciencia de la longevidad, es probable que no tengamos esa oportunidad en lo que nos queda de vida. Pero la historia nos enseña cómo deben interpretarse esos historiales. La imprenta trajo consigo la revolución científica y los juicios a las brujas; el proceso Haber-Bosch alimentó al mundo y armó al káiser. Nuestra visión retrospectiva no borra ninguna de esas dos columnas del registro. Nos enseña a aceptar ambas al mismo tiempo.

La IA no esperará a que se vea con perspectiva. Por eso, la disciplina que el formulario S-1 de Anthropic impone por ley, debemos imponerla por costumbre. Esa es la valoración global. No se trata de un veredicto que emitimos una vez que se calma la situación, sino más bien de un equilibrio que logramos mientras aún hay tensión en el aire. Hay que estar atentos a los riesgos y responder a ellos, pero también cuidar lo que crece a su lado.