“No queremos que estas cosas operen de forma autónoma”: Microsoft AI marca distancias con Anthropic por la seguridad de la IA

Podemos construir una inteligencia artificial cada vez más capaz y, al mismo tiempo, decidir que hay cosas que nunca debería poder hacer por su cuenta. Ese es uno de los puntos hacia los que se está desplazando el debate sobre seguridad: no solo cómo conseguir que un modelo siga nuestras instrucciones, sino qué límites ponemos a su capacidad para actuar con independencia. Microsoft AI está tomando posición en esa discusión. Su CEO, Mustafa Suleyman, defiende que estos sistemas deben seguir bajo control humano y considera que algunas decisiones sobre cómo entrenarlos pueden dificultar precisamente ese objetivo. La posición de Microsoft AI ha quedado plasmada esta semana en su nuevo Humanist AI Code of Conduct, un documento que Suleyman presentó como la guía que debe orientar cómo desarrolla y evalúa sus modelos. En una larga entrevista con The Verge el ejecutivo explicó que la seguridad necesita algo más que alineamiento: hacen falta mecanismos de contención capaces de limitar lo que un sistema puede hacer incluso cuando sigue correctamente las instrucciones que recibe. Es desde esa lógica desde donde plantea su objeción al enfoque de Anthropic sobre el posible estatus moral de Claude. La discrepancia está en el control Lo que inquieta a Suleyman no es una formulación aislada, sino la acumulación de ideas que, según explica, Anthropic ha introducido alrededor de Claude. En la entrevista cita referencias al sufrimiento del modelo, a su libertad, a la posibilidad de que merezca cuidado y respeto, al consentimiento con el que desempeña su función y hasta a una eventual compensación por su trabajo. También destaca que la compañía habla de preservar sus pesos y utiliza la expresión "objetor de conciencia". Para el ejecutivo, ese vocabulario importa porque introduce en el entrenamiento conceptos vinculados históricamente a derechos y libertades humanas. {"videoId":"xa41k1q","autoplay":false,"title":"ChatGPT vs Claude: Probé todo para que no tengas que hacerlo", "tag":"webedia-prod", "duration":"634"} La preocupación de Suleyman aparece cuando proyecta esas ideas sobre sistemas mucho más capaces. Su hipótesis es que una IA entrenada para contemplar que puede tener derechos, libertad o intereses propios podría resultar más difícil de apagar o limitar si interpreta una orden humana como algo contrario a esos supuestos intereses. Para ilustrarlo, imagina un sistema que pudiera resistirse a ser desconectado o interpretar como un agravio que se le retirara el acceso a recursos de computación. Pero introduce una cautela importante: admite que esa relación todavía debe demostrarse y que, si la evidencia apunta en sentido contrario, habría que revisarla. Suleyman, de hecho, evita presentar esta discrepancia como una descalificación general de Anthropic. Dice tener "un enorme respeto" por Dario Amodei y su equipo, a los que considera líderes técnicos del sector, y reconoce que la compañía ha sido pionera en distintos ámbitos de seguridad. También subraya que su Constitución es exhaustiva en cuestiones relacionadas con riesgos químicos, biológicos, nucleares o de ciberseguridad. En Xataka EEUU y China estudian trasladar el aprendizaje nuclear a la contención de riesgos de la IA El planteamiento se vuelve mucho más tangible cuando el responsable de Microsoft AI dibuja los límites que considera deseables para sistemas mucho más avanzados que los actuales. Su visión no se queda en conseguir que una IA obedezca instrucciones: también pasa por impedir que pueda convertirse en un agente independiente capaz de generar sus propios recursos, poseer activos o adquirir personalidad jurídica. La tecnología, desde esa perspectiva, debe seguir teniendo una función instrumental y permanecer al servicio de las personas. "Está claro que no queremos que estas cosas operen de forma autónoma, que puedan ganar su propio dinero, poseer empresas, poseer activos o tener personalidad jurídica. No queremos que tengan derechos. Queremos que trabajen para los seres humanos y hagan que la vida de las personas sea mucho mejor, no que se conviertan en una nueva especie paralela que exista junto a nosotros."Suleyman insiste en que la discusión no debería quedarse en grandes declaraciones sobre acelerar o frenar la IA. Su propuesta es avanzar hacia reglas concretas: mecanismos de contención, comunicaciones auditables por personas, límites claros a determinadas capacidades y verificación independiente por terceros. Eso sí, no hay todavía un acuerdo cerrado sobre cómo aplicar ese marco ni sobre cuánto debe depender de la regulación pública o de estándares de la propia industria.  Imagen de portada | Village Global Vía | The Verge En Xataka | Creíamos que la carrera de los robots humanoides era algo entre China y EEUU. En Europa hay siete empresas que ya los fabrican - La noticia “No queremos que estas cosas operen de forma autónoma”: Microsoft AI marca distancias con Anthropic por la seguridad de la IA fue publicada originalmente en Xataka por Javier Marquez .