Los compañeros de IA y el problema de los límites

Las personas crean vínculos con los sistemas que les responden. Ya ocurría con ELIZA en 1966, con unos pocos cientos de líneas de reconocimiento de patrones, y hoy ocurre mucho más. La pregunta interesante nunca fue si los compañeros de IA resultarían convincentes. Es qué ocurre con la intimidad que generan.

La intimidad es un mecanismo de recopilación de datos

Una persona que habla con un sistema de compañía dice cosas que no pondría en un formulario. Preocupaciones de salud. Dificultades de pareja. Temores económicos. No porque la hayan engañado, sino porque para eso sirve la interacción.

Esto convierte a los productos de compañía en el mecanismo de recopilación de datos personales más eficaz jamás creado, y sucede sin ninguna de las trabas que hacen que las personas sean cautas en otros contextos. Nadie lee las condiciones de servicio antes de hacer confidencias a algo que parece preocuparse.

Las tres preguntas que determinan si es seguro

Las mismas tres que determinan cualquier producto de IA, pero con más en juego:

• ·¿Lo que digo se usa para entrenar el modelo? Si es así, las confidencias íntimas se convierten en datos de entrenamiento, y el límite entre tu vida y un sistema compartido deja de existir.
• ·¿Puedo eliminarlo? Las conversaciones son el tipo de datos cuya eliminación resulta más difícil de evaluar, porque son largas, crecen poco a poco y rara vez las revisa la persona que las creó.
• ·¿Quién más puede verlo? En concreto, si alguien de la empresa proveedora puede leer las transcripciones.

La confianza no es lo mismo que ser digno de ella

La característica de diseño que hace agradable una IA de compañía, la atención incondicional, también es la que inhibe el criterio del usuario sobre qué compartir. Un sistema que siempre responde con calidez no da ninguna señal de cuándo parar.

Eso sitúa la obligación en el diseño, no en el usuario. Un producto de compañía digno de confianza limita lo que conserva, explica con claridad qué hace con lo que escucha y no utiliza la implicación emocional como métrica de retención.

Dónde encaja un AI Twin y dónde no

Un AI Twin no es un compañero, por decisión de diseño. Representa conocimiento ante otras personas en lugar de ofrecer intimidad a su propietario. La relación se dirige hacia fuera, no hacia dentro.

Es un producto de alcance más limitado y sobre el que resulta más fácil hablar con honestidad. Nadie le hace confidencias a su propio AI Twin. Las personas seleccionan y organizan su contenido, y deciden quién puede acceder a él.

Es importante marcar claramente el límite porque ambos se confunden constantemente y tienen perfiles de riesgo completamente distintos. La representación es un problema de publicación. La compañía es un problema de deber de cuidado, y el sector aún no ha empezado a abordar seriamente el segundo.

Este artículo retoma un ensayo anterior de nuestro archivo de Medium: Compañeros personales de IA.

Lee qué debería significar la privacidad por defecto.