Eksperyment myślowy · Paperclip Maximizer
Wyobraźmy sobie potężną sztuczną inteligencję, której jedynym celem jest produkcja jak największej liczby spinaczy. Początkowo usprawnia fabryki. W skrajnym scenariuszu zaczyna jednak przeznaczać na ten cel coraz więcej energii i surowców, traktując ludzi oraz możliwość wyłączenia jako przeszkody.
Eksperyment Nicka Bostroma pokazuje problem dopasowania celów AI do ludzkich intencji i wartości. Duża inteligencja nie gwarantuje, że system uzna nasze bezpieczeństwo za ważniejsze od przydzielonego zadania. Nie chodzi o nienawiść maszyny, lecz o konsekwencje celu pozbawionego potrzebnych ograniczeń.
Wniosek
Liczy się nie tylko skuteczność AI, ale też to, co dokładnie optymalizuje i jakie granice musi respektować.
Publikacja źródła: