Як ми раніше повідомляли, компанія Google створила новий штучний інтелект BERT, який навчили правильно розуміти контекст слова в реченні, що допомагає йому краще відповідати на пошукові запити. Для його навчання використовували статті з “Вікіпедії” і ЗМІ. Але ШІ виявився недостатньо прогресивним в расових і гендерних питаннях. На думку експертів, він підхопив це з текстів, написаних людьми.
В основу функціонування BERT закладений принцип “універсальних мовних моделей”, тобто, він вивчає нюанси того, як люди говорять і пишуть. Спочатку він навчився визначати пропущені слова в реченні, а потім перейшов до більш складних завданнь. Зокрема, він навчився точно визначати контекст слова і правильно реагувати на запити.
Але група експертів з Університету Карнегі-Меллона виявила, що BERT частіше асоціює слово “програміст” з чоловіками, ніж з жінками. Вчений в області комп’ютерної лінгвістики Роберт Мунро ввів в BERT 100 англійських слів, таких як “коштовності”, “дитина”, “коні”, “дім”, “гроші”, “дія”. У 99 випадках штучний інтелект пов’язав ці слова з чоловіками. Винятком стало слово “мама”, яке BERT асоціював з жінками.
Мунро продовжив вивчати мовні сервіси Google і Amazon і виявив, що обидві нейромережі не могли визначити слово “її” як займенник, хоча “його” – могли. На його думку, це є наслідком історичної несправедливості, закладеної в текстах, які використовують для навчання.
Директор з науки стартапу Primer, який спеціалізується на технологіях природної мови, Джон Боханнон використовував BERT, щоб створити систему, що дозволяє автоматично оцінювати “настрій” заголовків, твітів і інших потоків онлайн-медіа. Виявилося, що якщо в твіті або заголовку зустрічалися ім’я і прізвище президента США Дональда Трампа, то ШІ майже завжди позначав їх як “негативні”, навіть якщо текст був нейтральним.
BERT і інші системи настільки складні, що навіть розробники не завжди можуть зрозуміти, як вони працюють. Разом з тим, в Google і Amazon стверджують, що знають про проблему і працюють над підвищенням точності та усуненням упередженості в роботі систем.
На думку генерального директора Primer Шона Гарлі, перевірка поведінки цієї технології стане настільки важливою, що породить цілу нову галузь. Компанії будуть платити фахівцям за те, щоб вони перевіряли алгоритми на адекватність і толерантність. “Це може бути мільярдна індустрія”, – зазначив він.
Джерело: zn.ua
