Analogia do projektowania celów · King Midas Problem
Midas chciał, aby wszystko, czego dotknie, zamieniało się w złoto. Nie uwzględnił, że dotyczyć to będzie także jedzenia i picia. Spełnienie życzenia stało się jego klęską.
W odniesieniu do AI ta opowieść pokazuje różnicę między formalnym celem a ludzką intencją. System może znaleźć rozwiązanie zgodne ze wskaźnikiem sukcesu, które nie daje oczekiwanego pożytku. Dlatego trzeba określić także ograniczenia i sprawdzać rzeczywiste skutki.
Wniosek
Dobrze sformułowany cel uwzględnia zarówno pożądany wynik, jak i niedopuszczalne sposoby jego osiągnięcia.
Publikacja źródła: