Kötü niyetli bir yapay zekâ sistemi hayal etmek oldukça kolay. Biraz tasarımsal oynamalar, kasıtlı önyargı, hatalı sonuç vereceği bilinen verinin seçilmesi gibi.
Ve bu kötü niyetli çabaları tespit etmek çok da zor değil.
Asıl tehlikeli olan başka bir senaryo var:
İyi niyetle kurulan, iyi niyetle kullanılan ve iyi niyetle geliştirilen bir yapay zekâ sisteminin vereceği zararlar.
İyi Niyet, Sorumluluktan Muafiyet Değildir
Tıp tarihine baktığımızda böyle çokça örnek görebiliriz. Hastalara zarar veren doktorların çoğu kötü doktor değildi.
Ya Bilgileri yetersizdi,
Ya yöntemleri hatalıydı,
Ya da sistemleri onları yanlış yönlendirmişti.
Niyetleri tertemizdi, ama sonuçları öyle değildi.
Yapay zekâ dünyasında da benzer bir tablo var:
-Ekip yetenekli, dürüst, ilkeli.
-Amaç meşru.
-Motivasyon çok yüksek.
Ama veri önyargılı, model kör noktalara sahip, değerlendirme mekanizması eksik ise! Niyet, sonuçları otomatik olarak temizlemez.
Zararın Kaynağı Her Zaman Kötülük Değildir
Yapay zekâ sistemlerindeki zararın büyük kısmı şu üç kaynaktan gelir:
1-Körlük: Sistemi tasarlayanlar, etkilenecek kesimi yeterince tanımıyor. Gözlemleyemediklerini göremiyorlar.
2-Özgüven: “Biz iyi yapıyoruz” inancı, dışarıdan bakışı engelliyor. Hata arama isteği azalıyor.
3-Acele: “Hız önemli, iyileştiririz” mantığı. Sistem önce çalışsın, sorunlar çıkınca bakılır.
Bu üçü bir araya geldiğinde iyi niyetli bir sistem, sistematik zarar üretebilir hale gelir.
Gerçek Örnekler, Gerçek Dersler
Bir sağlık sisteminin yapay zekâ modeli düşünün. Hastaları risk gruplarına göre önceliklendiriyor. Amaç açık: kısıtlı kaynakları en çok ihtiyacı olanlara yönlendirmek.
İyi niyet var. Peki sonuç?
Model, geçmiş sağlık harcamalarını vekil gösterge olarak kullanıyor. Daha az harcama yapmış gruplar, daha az risk puanı alıyor. Bu gruplar tarihsel olarak sağlık sistemine daha az erişebildiği için daha az harcamıştı.
Sonuç: Zaten dezavantajlı gruplar, sistemin gözünde “düşük riskli” görünüyor ve öncelik sıralamasının gerisine düşüyor.
Kötü niyet yok. Sistem tasarımcıları bu sonucu istemiyor. Ama veri, tarihsel eşitsizliği içinde taşıyor ve model bunu öğreniyor, çoğaltıyor.
ISO 42001 Tam Burada Devreye Giriyor
ISO/IEC 42001 Yapay Zekâ Yönetim Sistemi, iyi niyete güvenmez.
Bu bir suçlama değil. Olgunluk işaretidir.
Standart şunu söyler: “Amacınız ne kadar iyi olursa olsun, sisteminizin etkisini kanıtla, riskini ölç, zararı önlemek için yapıyı kur.”
Bunun için kurumlardan somut şeyler istenir;
– Etkilenen grupları tanımlayın ve değerlendirin
– Veri kalitesini ve temsiliyetini sorgulayın
– Modelin öngörülemeyen etkilerini izleyin
– Geri bildirim mekanizmaları kurun
– İnsan gözetimini sembolik değil, işlevsel kılın
Yani standart şunu güvence altına almaya çalışıyor: İyi niyet, iyi süreçlerle desteklenmedikçe yetmez.
Hesap Verebilirlik, Suçlamak Değildir
“Biz zarar vermek istemedik” cümlesi, zarar görene bir şey kazandırmaz.
Hesap verebilirlik, kötü insanları bulmak için değil, sistemleri daha az zararlı hale getirmek için gereklidir.
Bu ayrım önemli:
Suçlamak geriye bakar. Hesap verebilirlik ileriye bakar.
ISO 42001’in kurumlardan istediği şey suçu kabul ettirmek değil, sistemi sorgulatmak, izletmek ve geliştirmektir.
Sonuç: İyi Niyet Başlangıçtır, Yeterlilik Değil
Cehenneme giden yol iyi niyet taşlarıyla döşelidir.
Bu söz, iyi niyeti küçümsemek için değil; iyi niyetin tek başına yeterli olmadığını hatırlatmak için vardır.
Yapay zekâ sistemleri söz konusu olduğunda bu hatırlatma daha da kritiktir. Çünkü bu sistemler ölçekle çalışır. Bir insanın verdiği hatalı karar belki birkaç kişiyi etkiler. İyi niyetle kurulmuş ama kör noktaları olan bir yapay zekâ sistemi, milyonlara aynı hatayı aynı anda verebilir.
Ölçek, iyi niyeti zarar riskine karşı daha da savunmasız kılar.
O yüzden sorulması gereken soru şu değil:
“Niyetimiz iyi miydi?”
Sorulması gereken soru:
“Niyetimizi kanıtlayan bir sistemimiz var mı?”
