Viel interessanter finde ich die Frage, ob man eine KI mit einer Art Moral ausstatten sollte.
KI ist ein sehr weitreichender Begriff.
Unter anderem da es keine wirkliche Definition für "Intelligenz" gibt.
Soweit ich weiß sind wir noch meilenweit von einem selbstständig denkenden Organismus entfernt.
Alles was aktuell als KI bezeichnet wird, hat mMn. nach nichts mit "natürlicher" Intelligenz zu tun.
Intelligenz ist für mich die Fähigkeit selbstständig Lösungen auf unbekannte Probleme zu finden, ein Denken "out of the box".
Intelligenz lässt sich auch nicht lernen - man hat sie oder man hat sie nicht.
Ein Autopilot wird bspw. nicht Vollgas geben um eine Kollision zu verhindern. Er bleibt einfach stehen da er das so gelernt hat, auch wenn es dadurch zu einem Unfall kommt. Jetzt könnte man ihn natürlich entsprechend trainieren, aber ein intelligentes "Wesen" würde das instinktiv selbst versuchen, auch wenn es schlimmstenfalls in einem noch größeren Chaos endet.
KI beruht aktuell auf Lernen / Erkennen / Erfahrung.
Natürliche Intelligenz beruht jedoch auf Instinkt / Kreativität / Naivität / Risiko-/Experimentierfreudigkeit und ebenfalls Lernen / Erkennen / Erfahrung.
Siri, Alexa und was alles aktuell zu Marketingzwecken als KI verkauft wird, hat überhaupt nichts mit "Intelligenz" zu tun.
Solange etwas keine natürliche Intelligenz besitzt, muss es auch keine Moral besitzen.
Es gibt auch keine universelle Moral. Über viele Kleinigkeiten wird hinweggesehen.
Von einer Maschine wird natürlich eine Fehlerfreiheit erwartet, wie sie selbst der Papst nicht erreichen könnte.