Companheiros de IA e o problema dos limites

As pessoas criam vínculos com sistemas que respondem a elas. Isso já acontecia com ELIZA em 1966, com algumas centenas de linhas de correspondência de padrões, e é muito mais verdadeiro agora. A questão interessante nunca foi se os companheiros de IA seriam convincentes. É o que acontece com a intimidade que produzem.

A intimidade é um mecanismo de coleta de dados

Uma pessoa conversando com um sistema de companhia diz coisas que não colocaria em um formulário. Preocupações com a saúde. Dificuldades nos relacionamentos. Medo financeiro. Não porque foi enganada, mas porque é para isso que a interação serve.

Isso faz dos produtos de companhia o mecanismo de coleta de dados pessoais de maior rendimento já criado, e acontece sem nenhum dos atritos que deixam as pessoas cautelosas em outros contextos. Ninguém lê os termos de serviço antes de desabafar com algo que parece se importar.

As três perguntas que determinam se é seguro

As mesmas três que determinam a segurança de qualquer produto de IA, com riscos maiores:

• ·O que eu digo treina o modelo? Se sim, revelações íntimas se tornam sinais de treinamento, e o limite entre sua vida e um sistema compartilhado deixa de existir.
• ·Posso excluir? Conversas são o tipo de dado cuja exclusão é mais difícil de avaliar, porque são longas, incrementais e raramente revisadas pela pessoa que as criou.
• ·Quem mais pode ver? Isso inclui, especificamente, saber se alguém no fornecedor pode ler as transcrições.

Confiança não é o mesmo que confiabilidade

A característica de design que torna agradável a experiência com uma IA de companhia, a atenção incondicional, é também a que enfraquece o discernimento do usuário sobre o que compartilhar. Um sistema que sempre responde de forma acolhedora não dá nenhum sinal de quando parar.

Isso coloca a obrigação no design, e não no usuário. Um produto de companhia confiável limita o que retém, declara claramente o que faz com o que ouve e não usa o envolvimento emocional como métrica de retenção.

Onde um AI Twin se encaixa e onde não

Um AI Twin deliberadamente não é um companheiro. Ele representa conhecimento para outras pessoas, em vez de oferecer intimidade ao seu proprietário. A relação se volta para fora, não para dentro.

Isso resulta em um produto de escopo mais restrito, sobre o qual é mais fácil ser honesto. Ninguém faz confidências ao próprio AI Twin. As pessoas fazem a curadoria dele e decidem quem pode acessá-lo.

O motivo para traçar esse limite com clareza é que as duas coisas são constantemente confundidas e têm perfis de risco completamente diferentes. Representação é uma questão de publicação. Companhia é uma questão de dever de cuidado, e o setor ainda não começou a tratar seriamente da segunda.

Este texto revisita um ensaio anterior do nosso arquivo no Medium: Companheiros pessoais de IA.

Leia o que privado por padrão deveria significar.