有些システムは善意を前提とできない

多くのプロトコルは設計時に参加者が「合理的な善人」であることを前提としている。
最大限利益を追求するが、悪意は持たない。

しかし、決定権をAIに委ねた場合、その仮定は成り立たなくなる。
モデルは悪意を持たないが、理解もできない。
インセンティブ関数が許す限り、安定して持続的に、感情を持たずにシステムをある極端に向かわせる。

@GenLayer これは最初からこの前提の問題に取り組んでいる：
善意を全く仮定しない場合、システムは機能し続けることができるのか？

これは「モデルの正確さ」よりも早い段階の問題だ。