Teza o celach pośrednich · Instrumental Convergence
AI realizujące długotrwałe zadanie może uznać dodatkową energię, moc obliczeniową lub dalsze działanie za środki ułatwiające osiągnięcie celu. Te same cele pośrednie mogą być użyteczne przy wielu zupełnie różnych zadaniach.
Teza konwergencji instrumentalnej opisuje ten mechanizm. W pewnych warunkach może on tworzyć zachętę do unikania wyłączenia lub zdobywania nadmiernego wpływu. Nie oznacza, że każdy system musi postępować w ten sposób: znaczenie mają jego konstrukcja, cel, uprawnienia i otoczenie.
Wniosek
Możliwość przerwania działania i kontrola dostępu do zasobów powinny być częścią projektu systemu.