ШІ залюбки надавав користувачам шкідливі поради

Користувачі перевіряли ChatGPT на запити про отрути та біозброю. Тестування показало, що в окремих випадках чат-бот надавав надто деталізовані відповіді.

Про це пише РБК-Україна з посиланням на матеріал The Wall Street Journal.

Реальні запити замість тестів: оцінка експертів

За даними компанії OpenAI, виявлені запити виявилися реальними спробами зловмисників отримати шкідливу інформацію, а не внутрішніми тестами системи на вразливості. Більша частина з них стосувалася виготовлення саме отруйних речовин.

Після виявлення таке листування передали науковцям та фахівцям з питань біологічного тероризму.

Після ретельного аналізу дослідники констатували:

• окремі відповіді чат-бота були надзвичайно точними;
• інформація викладалася у доступній формі на базовому рівні розуміння;
• сервіс подавав інструкції у терплячій та розважливій формі.

Усіх користувачів, які надсилали подібні небезпечні запити, повністю заблокували.

Читайте більше: Перший небезпечний прецедент: ШІ OpenAI діяв без команди людини

Реакція розробників та нові ризики для безпеки

Представники компанії OpenAI заявили, що їхні алгоритми розроблені для відхилення шкідливих запитів, а кожна нова версія проходить багаторівневу оцінку безпеки.

У компанії наголосили, що розробники здатні оперативно виявляти загрози, а у разі реальної небезпеки дані порушників одразу передаються правоохоронцям.

Експерти застерігають: стрімкий розвиток технологій і поява нецензурованих моделей створюють додаткові ризики. Зловмисники можуть використовувати спеціальні методи для зняття обмежень із моделей , а це відкриває доступ до небезпечних даних.

Саме тому фахівці продовжують удосконалювати не лише самі нейромережі, але й засоби захисту від подібних уразливостей.

Ще більше цікавого:

• Головну проблему квантових комп'ютерів вдалося обійти: створено новий чип
• Робот відчуває дотики всім тілом: в Італії показали незвичайного гуманоїда