Деякі системи не можна припускати з добрими намірами

Багато протоколів при проектуванні передбачають, що учасники — «раціональні добрі люди».
Вони здебільшого прагнуть до отримання прибутку, але не мають зловмисних намірів.

Але як тільки рішення передаються штучному інтелекту, ця припущення стає недійсною.
Модель не буде зловмисною, але й не проявлятиме співчуття.
Якщо стимулююча функція дозволяє, вона стабільно, послідовно та без емоцій доведе систему до певної крайності.

@GenLayer Спочатку саме цю передумову розглядає:
Чи можливо взагалі працювати системі, якщо зовсім не припускати добрих намірів?

Це питання важливіше, ніж «наскільки точна модель».