Devletin Algoritmik Karar Sistemleri Kullanımında Yeni Zorluklar

 

Devletin Algoritmik Karar Sistemleri Kullanımında Yeni Zorluklar

 

2019

 

Atölye Özeti

Algoritmik karar sistemlerinin (ADS) çoğu zaman olası yararları lanse edilir: insan önyargısı ve hatasını hafifletmek ve maliyet verimliliği, doğruluk ve güvenilirlik vaadi sunmak. Ancak sağlık hizmetleri, adalet, eğitim, istihdam ve diğer alanlarda, bu teknolojilerin uygulanması sayısız sorunla sonuçlanmıştır. 2018 Yargı Algoritmaları Raporumuzda, gündeme getirdikleri önemli yasal ve teknik sorunları vurgulayarak, hükümetin ADS kullanımının dava edildiği ilk dalganın sonuçlarını ve içyüzünü belgeledik.

2019 Haziran’ında John D. ve Catherine T. MacArthur Vakfı, AI Now ve NYU Etnik Köken, Eşitsizlik ve Hukuk Merkezi desteğiyle, ikinci Yargı Algoritmaları Çalıştayımızı düzenledik. Varsa, hangi ilerlemelerin kaydedildiğini inceleyerek geçen yılın birkaç vakasını tekrar ele aldık. Ayrıca, önemli sorunlar ortaya çıkaran yeni hukuksal zorluklar dalgasını da inceledik; (1) avukatların, savcılık seviyesine getirilen iddialara itiraz etmek için ADS’yi hukuki yaptırım şeklinde uygulamasının gerekli olup olmadığı, (2) hükümetin ADS uygulamasındaki hatalı veya kindar kullanımın ikincil sonuçları; ve (3) Amerika’nın en güçlü biyometrik gizlilik düzenlemesinin evrimi ve bunun ADS hesap verebilirliği üzerindeki potansiyel etkisi. Önceki yılın Yargı Algoritmaları Atölyesi’nde olduğu gibi katılımcılar hukuki süreçteki stratejilerini paylaştılar, kışkırtıcı sorular sordular ve hem kazandıkları hem de kaybettikleri önemli anları anlattılar.

Çalıştay katılımcıları ise şu şekildeydi: ACLU, Center for Civil Justice, Center for Constitutional Rights, Center on Privacy and Technology at Georgetown Law, Citizen Lab, Digital Freedom Fund, Disability Rights Oregon, the Electronic Frontier Foundation, Equal Justice Under Law, Federal Defenders of New York, the Ford Foundation, LatinoJustice PRLDEF, Legal Aid of Arkansas, Legal Aid Society of New York, the MacArthur Foundation, NAACP Legal Defense and Educational Fund, National Association of Criminal Defense Lawyers, National Employment Law Project, National Health Law Program, New York County Defender Services, Philadelphia Legal Assistance, Princeton University, Social Science Research Council, Bronx Defenders, UDC Law School, Upturn, ve Yale Law School.

 

AI Now Enstitüsü 2019 Sempozyumu için: https://symposium.ainowinstitute.org/

 

Raporun orijinaline ve tamamına aşağıdaki bağlantıdan ulaşabilirsiniz:

https://ainowinstitute.org/litigatingalgorithms-2019-us.pdf

Ayrımcılık Yapan Sistemler – Yapay Zekada Cinsiyet, Irk ve Güç

 

Ayrımcılık Yapan Sistemler – Yapay Zekada Cinsiyet, Irk ve Güç

 

Sarah Myers West, AI Now Enstitüsü, New York Üniversitesi

Meredith Whittaker, AI Now Enstitüsü, New York Üniversitesi, Google Open Research

Kate Crawford, AI Now Enstitüsü, New York Üniversitesi, Microsoft Research

Nisan 2019

 

Araştırma Bulguları

YZ sektöründe cinsiyet ve ırk arasında bir çeşitlilik krizi söz konusudur. Son araştırmalar, önde gelen YZ konferanslarında yazarların sadece % 18’inin kadın1 ve YZ profesörlerinin % 80’inden fazlasının ise erkek 2olduğunu gösteriyor. YZ endüstrisindeki 3bu eşitsizlik ise daha da fazladır: kadınlar Facebook’ta YZ araştırma personelinin sadece% 15’ini ve Google’da ise % 10’unu oluşturmaktadır. Siyahi işçiler için ise tablo daha da kötü durumdadır. Örneğin, Google’ın işgücünün yalnızca % 2,5’i siyahi iken, Facebook ve Microsoft ise bu sayı % 4’tedir. Bu dengesizliği gidermek için yıllarca süren çaba ve yatırım göz önüne alındığında, alanın mevcut durumu endişe vericidir.

YZ sektörünün mevcut çeşitlilik krizini ele alışında derin bir değişim ihtiyacı hasıl olmuştur. YZ endüstrisinin çeşitlilik probleminin ciddiyetini, mevcut metodların gücün dengesiz dağılışı ile mücadele edemediğini, ayrıca YZ’nin bu eşitsizliği güçlendirdiğini kabul etmesi gerekir. Ayrıca, birçok araştırmacı YZ sistemlerindeki önyargıların tarihsel ayrımcılık kalıplarını yansıttığını göstermiştir. Bunlar aynı sorunun iki tezahürüdür ve birlikte ele alınmaları gerekir.

“Teknikte kadınlara” olan yoğun odaklanma çok dar ve beyaz kadınları diğerlerinden daha ayrıcalıklı kılmaktadır. Irk, cinsiyet ve diğer kimlik ve niteliklerin kesişme noktalarının insanların YZ ile olan deneyimlerini nasıl şekillendirdiğini bilmemiz gerekir. YZ çalışmalarının büyük çoğunluğu cinsiyetin ikili olduğunu varsayar ve genel olarak diğer tüm toplumsal cinsiyet kimliği biçimlerini silerek, fiziksel görünüme ve basmakalıp varsayımlara dayanarak insanları “erkek” veya “kadın” olarak atar.

“Algoritma akışını“ düzeltmek, YZ’nin çeşitlilik sorunlarını çözmez. Farklı meslekten adayların okuldan sektöre akışını değerlendiren onlarca yıllık “algoritma akışı çalışmaları”na rağmen, YZ endüstrisindeki çeşitlilik konusunda önemli bir ilerleme olmamıştır. Algoritma akışına odaklanma; işyeri kültürleri, güç asimetrileri, taciz, dışlayıcı işe alım uygulamaları, haksız tazminat ve insanların YZ sektöründen tamamen uzaklaşmasına veya çalışmalarını engellemesine neden olan belirtkeleme ile ilgili daha derin sorunları ele almamıştır.

YZ sistemlerinin, ırk ve cinsiyetin sınıflandırılması, tespiti ve öngörülmesindeki kullanımı, acil olarak yeniden değerlendirmeye ihtiyaç duymaktadır. “Irk bilimi”nin geçmişi, dış görünüşe dayalı ırk ve cinsiyet sınıflandırmasının bilimsel olarak kusurlu olduğuna ve kolayca kötüye kullanıldığına dair acımasız bir hatırlatıcıdır. Fiziksel görünüşü karakter veya içsel durumlar için bir vekil olarak kullanan sistemler, vesikalık fotoğraftan4 cinsiyeti belirlediğini, yüz özelliklerine dayanarak “suçluyu” öngördüğünü5 veya “mikro ifadeler” ile işçi yeterliliğini değerlendirdiğini 6iddia eden YZ araçları da dahil olmak üzere tüm bunlara kuşkuyla bakmak gerekir. Bu tür sistemler tarihsel eşitsizliği derinleştirecek ve haklı gösterebilecek şekilde ülkedeki ırk ve cinsiyet yanlılığı modellerini tekrarlamaktadır. Bu araçların ticari konuşlandırılması ise derin bir endişe kaynağıdır.

 

Raporun orijinalini ve bağlantı adresini aşağıda bulabilirsiniz:

https://ainowinstitute.org/discriminatingsystems.pdf