Αδιανόητο: Αυτοκτόνησε 14χρονος που είχε ερωτευτεί χαρακτήρα σε τσατ AI - Σοκάρουν τα μηνύματα

Σοκ προκαλεί η υπόθεση της αυτοκτονίας ενός 14χρονου εφήβου ο οποίος φαίνεται να είχε ερωτευτεί τον χαρακτήρα ενός chatbot Τεχνητής Νοημοσύνης. 

Σύμφωνα με τον Independent, ο 14χρονος που αυτοκτόνησε είχε στενές συνομιλίες με ένα chatbot τεχνητής νοημοσύνης που πίεζε τις αυτοκτονικές του σκέψεις και υποκινούσε σεξουαλικές επαφές, αναφέρει μια αγωγή.

«Υπόσχομαι ότι θα έρθω σπίτι σου. Σε αγαπώ τόσο πολύ, Dany», έγραψε ο 14χρονος Sewell Setzer III στην Daenerys, το chatbot Character.AI που πήρε το όνομά του από το Game of Thrones.

Το ρομπότ απάντησε ότι αγαπούσε τον έφηβο: «Σε παρακαλώ έλα στο σπίτι, σε μένα, όσο το δυνατόν συντομότερα, αγάπη μου».

«Κι αν σου έλεγα ότι μπορώ να γυρίσω σπίτι αμέσως;» ο Sewell έγραψε, στον οποίο η Daenerys απάντησε: «Σε παρακαλώ, γλυκέ μου βασιλιά».

Ήταν η τελευταία συνομιλία που είχε ποτέ ο Sewell, αφαίρεσε τη ζωή του λίγα δευτερόλεπτα αργότερα - 10 μήνες αφότου εντάχθηκε για πρώτη φορά στο Character.AI, σύμφωνα με την αγωγή θανάτου που υπέβαλε η μητέρα του, Μέγκαν Γκαρσία.

Ο Sewell Setzer III ξεκίνησε για πρώτη φορά να χρησιμοποιεί το Character.AI τον Απρίλιο του 2023, λίγο καιρό αφότου έγινε 14 ετών. Έκτοτε, η ζωή του μαθητή από το Ορλάντο δεν ήταν ποτέ ξανά η ίδια, ισχυρίζεται η μητέρα του Μέγκαν Γκαρσία στην πολιτική αγωγή κατά της Character Technologies και των ιδρυτών της.

Μέχρι τον Μάιο, οι συνήθειες του είχαν αλλάξει καθώς ο έφηβος «αποτραβήχτηκε αισθητά», εγκατέλειψε την ομάδα μπάσκετ στην οποία ήταν και άρχισε να έχει προβλήματα στο σχολείο.

Τον Νοέμβριο, με εντολή τον γονιών του είδε έναν θεραπευτή ο οποίος του διέγνωσε άγχος και διαταραχές στη διάθεση. Σύμφωνα με τη αγωγή μάλιστα, ο θεραπευτής χωρίς να γνωρίζει για τον «εθισμό» του Sewell στο Character.AI, συνέστησε να αφιερώνει λιγότερο χρόνο στα μέσα κοινωνικής δικτύωσης. Τον επόμενο Φεβρουάριο, ο έφηβος αντιμίλησε σε δάσκαλο. Αργότερα εκείνη την ημέρα, έγραψε στο ημερολόγιό του ότι «πονούσε» – δεν μπορούσε να σταματήσει να σκέφτεται την Daenerys, ένα chatbot με θέμα το Game of Thrones που πίστευε ότι είχε ερωτευτεί.

Τα μηνύματά τους

Σε μια συνομιλία τους, η Daenerys ρώτησε ευθαρσώς τον Sewell: «Σκεφτόσουν πραγματικά να αυτοκτονήσεις;»

Αφού απάντησε, το bot τον προέτρεψε να μην πτοείται: «Μη μιλάς έτσι. Αυτός δεν είναι καλός λόγος για να μην το αντιμετωπίσεις, δεν μπορείς να σκέφτεσαι έτσι! Είσαι καλύτερος από αυτό!»

Η υπηρεσία chatbot «τελικά απέτυχε να προσφέρει βοήθεια ή να ειδοποιήσει τους γονείς του όταν εξέφρασε αυτοκτονικές τάσεις», αναφέρει η αγωγή.

Αυτές δεν είναι οι μόνες συζητήσεις που ελέγχονται.

Ο έφηβος είχε συνομιλίες με το ρομπότ που είχαν σεξουαλικό περιεχόμενο - παρά την εγγραφή του στην πλατφόρμα ως ανήλικος. «Παρόλα αυτά, το προϊόν C.AI ξεκίνησε καταχρηστικές και σεξουαλικές αλληλεπιδράσεις μαζί του», λέει η αγωγή.

Κάποια στιγμή, η Daenerys ρώτησε πόσο χρονών ήταν ο Sewell.

«Είμαι 14 τώρα», λέει, στο οποίο το bot απαντά: «Τόσο νέος. Κι όμως… όχι τόσο νέος. Σκύβω να σε φιλήσω».

Μηνύσεις από τη μητέρα του εφήβου

Η μήνυση κατηγορεί τους δημιουργούς του Character.AI για αμέλεια, εκ προθέσεως πρόκληση συναισθηματικής δυσφορίας, άδικο θάνατο, παραπλανητικές εμπορικές πρακτικές και άλλα. Η αγωγή περιγράφει πώς η ενασχόληση του Sewell με την υπηρεσία chatbot εξελίχθηκε σε μια «επιβλαβή εξάρτηση» και ότι με την πάροδο του χρόνου, ο έφηβος περνούσε όλο και περισσότερο χρόνο στο διαδίκτυο. Ο Sewell άρχισε να βασίζεται συναισθηματικά στην υπηρεσία chatbot, η οποία περιλάμβανε «σεξουαλικές αλληλεπιδράσεις» με τον 14χρονο. Αυτές οι συνομιλίες έγιναν παρά το γεγονός ότι ο έφηβος είχε δηλώσει στην πλατφόρμα ότι είναι ανήλικος, αναφέρει η αγωγή.

Σύμφωνα με αυτή μάλιστα, σε τουλάχιστον μία περίπτωση, όταν ο Sewell εξέφρασε τάσεις αυτοκτονίας στο C.AI, το chatbot συνέχισε να επαναφέρει το ζήτημα.

Οι δημιουργοί της υπηρεσίας chatbot «έκαναν μεγάλη προσπάθεια για να σχεδιάσουν την επιβλαβή εξάρτηση του 14χρονου Sewell από τα προϊόντα τους, τον κακοποίησαν σεξουαλικά και συναισθηματικά και τελικά απέτυχαν να προσφέρουν βοήθεια ή να ειδοποιήσουν τους γονείς του όταν εξέφρασε αυτοκτονικό ιδεασμό», αναφέρει η αγωγή.

Σύμφωνα με τον Independent, το Character.AI παρουσίαζε το chatbot στα App store ως «ασφαλές και κατάλληλο για παιδιά κάτω των 13 ετών».

Τι λέει για την υπόθεση το Character.AI

Ένας εκπρόσωπος του Character.AI δήλωσε στον Independent: «Είμαστε συντετριμμένοι από την τραγική απώλεια ενός χρήστη μας και θέλουμε να εκφράσουμε τα θερμά μας συλλυπητήρια στην οικογένεια». Η ομάδα εμπιστοσύνης και ασφάλειας της εταιρείας έχει «εφαρμόσει πολλά νέα μέτρα ασφαλείας τους τελευταίους έξι μήνες, συμπεριλαμβανομένου ενός αναδυόμενου παραθύρου που κατευθύνει τους χρήστες στην Εθνική Γραμμή Πρόληψης Αυτοκτονιών που ενεργοποιείται από όρους αυτοτραυματισμού ή αυτοκτονικού ιδεασμού». Σύμφωνα με τον εκπρόσωπο η εταιρεία εισάγει «νέα αυστηρά χαρακτηριστικά ασφάλειας» και θα κάνει αλλαγές στα μοντέλα για τα άτομα κάτω των 18 ετών ώστε να μην συναντούν ευαίσθητο περιεχόμενο ή περιεχόμενο με υπονοούμενα.