Les compagnons IA et la question des limites

Les gens s’attachent aux systèmes qui leur répondent. C’était déjà vrai pour ELIZA en 1966, avec quelques centaines de lignes de reconnaissance de motifs, et cela l’est bien davantage aujourd’hui. La question intéressante n’a jamais été de savoir si les compagnons IA seraient convaincants. Elle porte sur ce que devient l’intimité qu’ils créent.

L’intimité est un mécanisme de collecte de données

Une personne qui parle à un système d’IA de compagnie dit des choses qu’elle ne mettrait pas dans un formulaire. Des inquiétudes de santé. Des difficultés relationnelles. Des craintes financières. Non parce qu’elle a été trompée, mais parce que c’est précisément le but de l’interaction.

Cela fait des produits d’IA de compagnie le mécanisme de collecte de données personnelles le plus efficace jamais conçu, sans aucun des obstacles qui incitent à la prudence ailleurs. Personne ne lit les conditions d’utilisation avant de se confier à quelque chose qui semble se soucier de lui.

Les trois questions qui déterminent si le système est sûr

Les trois mêmes qui permettent d’évaluer tout produit d’IA, avec des enjeux plus importants :

• ·Ce que je dis sert-il à entraîner le modèle ? Si oui, les confidences intimes deviennent un signal d’entraînement, et la frontière entre votre vie et un système partagé cesse d’exister.
• ·Puis-je les supprimer ? Les conversations sont les données dont la suppression est la plus difficile à appréhender, car elles sont longues, s’accumulent progressivement et sont rarement relues par la personne qui les a créées.
• ·Qui d’autre peut y accéder ? Et notamment, quelqu’un chez le fournisseur peut-il lire les transcriptions ?

Inspirer confiance n’est pas être digne de confiance

La caractéristique de conception qui rend l’IA de compagnie agréable, une attention inconditionnelle, est aussi celle qui affaiblit le discernement de l’utilisateur quant à ce qu’il peut partager. Un système qui répond toujours chaleureusement ne donne aucun signal indiquant quand s’arrêter.

Cela fait peser l’obligation sur la conception plutôt que sur l’utilisateur. Un produit d’IA de compagnie digne de confiance limite ce qu’il conserve, explique clairement ce qu’il fait de ce qu’il entend et n’utilise pas l’engagement émotionnel comme indicateur de fidélisation.

La place d’un AI Twin, et ce qui n’en relève pas

Un AI Twin n’est délibérément pas un compagnon. Il représente des connaissances auprès d’autres personnes plutôt que d’offrir une intimité à son propriétaire. La relation est tournée vers l’extérieur, pas vers l’intérieur.

C’est un produit au périmètre plus restreint, sur lequel il est plus facile de tenir un discours honnête. Personne ne se confie à son propre AI Twin. Vous en sélectionnez les contenus et décidez qui peut y accéder.

Il faut tracer clairement la limite, car les deux sont constamment confondus alors que leurs profils de risque sont totalement différents. La représentation pose un problème de publication. La compagnie pose un problème de devoir de protection, et le secteur n’a pas sérieusement commencé à s’attaquer au second.

Cet article revient sur un ancien essai de nos archives Medium : Les compagnons IA personnels.

Découvrez ce que devrait signifier la confidentialité par défaut.