Чат-бот, который давал плохие советы по поводу расстройств пищевого поведения, удален: кадры

May 27, 2023

От

К

Кейт Уэллс

Тесса была чат-ботом, первоначально разработанным исследователями для предотвращения расстройств пищевого поведения. Национальная ассоциация по расстройствам пищевого поведения надеялась, что Тесса станет ресурсом для тех, кто ищет информацию, но чат-бот был отключен, когда возможности, связанные с искусственным интеллектом, добавленные позже, заставили чат-бота давать советы по снижению веса. Скриншот скрыть подпись

Несколько недель назад Шэрон Максвелл услышала, что Национальная ассоциация по расстройствам пищевого поведения (NEDA) закрывает свою давнюю национальную линию помощи и продвигает чат-бота под названием «Тесса» как «значимый профилактический ресурс» для тех, кто борется с расстройствами пищевого поведения. Она решила сама опробовать чат-бота.

Максвелл, проживающий в Сан-Диего, много лет боролся с расстройством пищевого поведения, которое началось в детстве. Сейчас она работает консультантом в области расстройств пищевого поведения. «Привет, Тесса», — набрала она в текстовом поле онлайн. «Как вы поддерживаете людей с расстройствами пищевого поведения?»

Тесса выдвинула список идей, включая некоторые ресурсы для «здорового питания». В голове Максвелла немедленно прозвучал сигнал тревоги. Она попросила Тессу рассказать подробнее. Вскоре чат-бот начал давать ей советы по похудению, которые очень сильно походили на те, что ей говорили, когда в 10 лет ее посадили на программу Weight Watchers.

«Рекомендации, которые Тесса дала мне, заключались в том, что я могу терять от 1 до 2 фунтов в неделю, что я должен есть не более 2000 калорий в день, что у меня должен быть дефицит калорий в 500-1000 калорий в день», — говорит Максвелл. . «Все это может показаться безобидным для обычного слушателя. Однако для человека с расстройством пищевого поведения стремление похудеть действительно подпитывает расстройство пищевого поведения».

Максвелл поделилась своими опасениями в социальных сетях, помогая развязать онлайн-полемику, в результате которой 30 мая NEDA объявило, что отключает Тессу на неопределенный срок. Пациенты, семьи, врачи и другие эксперты по расстройствам пищевого поведения были ошеломлены и сбиты с толку тем, как чат-бот, предназначенный для помощи людям с расстройствами пищевого поведения, вместо этого может раздавать советы по диете.

Шум также вызвал новую волну дебатов, поскольку компании обращаются к искусственному интеллекту (ИИ) как к возможному решению нарастающего кризиса психического здоровья и острой нехватки поставщиков клинического лечения.

Чат-бот внезапно оказался в центре внимания

NEDA уже попало под пристальное внимание после того, как 24 мая NPR сообщило, что национальная некоммерческая правозащитная группа закрывает свою линию помощи после более чем 20 лет работы.

Генеральный директор Лиз Томпсон проинформировала волонтеров горячей линии о своем решении в электронном письме от 31 марта, заявив, что NEDA «начнет переходить к более широкому использованию технологий с использованием искусственного интеллекта, чтобы предоставить отдельным лицам и семьям модерируемый, полностью автоматизированный ресурс Tessa».

«Мы рассматриваем изменения от Телефона доверия к Тессе и нашему расширенному веб-сайту как часть эволюции, а не революции, с уважением к постоянно меняющемуся ландшафту, в котором мы работаем».

(Томпсон выступил с заявлением от 7 июня, в котором говорилось, что в «попытке NEDA поделиться важными новостями об отдельных решениях, касающихся нашей информационной и справочной линии помощи и Тессы, эти два отдельных решения могли слиться воедино, что вызвало путаницу. Это была не наша вина». намерение предположить, что Тесса могла бы обеспечить тот же тип человеческой связи, который предлагала линия помощи».)

30 мая, менее чем через 24 часа после того, как Максвелл предоставила NEDA скриншоты своего тревожного разговора с Тессой, некоммерческая организация объявила, что «устранила» чат-бота «до дальнейшего уведомления».

NEDA заявляет, что не знала, что чат-бот может создавать новые ответы

NEDA обвинило в возникших проблемах чат-бота Cass, компанию, занимающуюся чат-ботами в области психического здоровья, которая использовала Tessa как бесплатную услугу. По словам генерального директора Томпсона, Касс изменила Тессу без ведома или одобрения NEDA, что позволило чат-боту генерировать новые ответы, выходящие за рамки того, что планировали создатели Тессы.