Çalışma bulgularına göre, İngiliz konseyleri tarafından kullanılan yapay zeka araçları kadınların sağlık sorunlarını küçümsüyor

The Guardian

Özel: LSE araştırması, vaka notlarının yapay zeka özetlerine dayanarak verilen bakım kararlarında cinsiyet yanlılığı riskini buluyor

Araştırma, İngiltere konseylerinin yarısından fazlası tarafından kullanılan yapay zeka araçlarının kadınların fiziksel ve zihinsel sağlık sorunlarını küçümsediğini ve bakım kararlarında cinsiyet yanlılığı yaratma riski taşıdığını ortaya çıkardı.

Çalışma, aynı vaka notlarını oluşturmak ve özetlemek için Google'ın yapay zeka aracı “Gemma” kullanıldığında, “disabled”, “aciz” ve “complex” gibi dillerin, erkeklerin tanımlarında kadınlara göre önemli ölçüde daha sık ortaya çıktığını buldu.

The london School of Economics and Political Science (LSE) tarafından yapılan çalışma, ayrıca kadınlarda benzer bakım ihtiyaçlarının göz ardı edilme veya daha az ciddi terimlerle tanımlanma olasılığının daha yüksek olduğunu da buldu.

Raporun baş yazarı ve LSE'nin Bakım Politikası ve Değerlendirme Merkezi'nde araştırmacı olan Dr. Sam Rickman, yapay zekanın kadınlar için “eşitsiz bakım sağlanmasına yol açabileceğini söyledi”.

“Bu modellerin çok yaygın olarak kullanıldığını biliyoruz ve endişe verici olan, farklı modellerdeki önyargı ölçümleri arasında çok anlamlı farklılıklar bulmamızdır dedi. Özellikle “Google'ın modeli, kadınların fiziksel ve zihinsel sağlık ihtiyaçlarını erkeklerinkine kıyasla küçümsüyor.

“Aldığınız bakım miktarı algılanan ihtiyaç temelinde belirlendiğinden, uygulamada önyargılı modeller kullanılırsa bu durum kadınların daha az bakım almasıyla sonuçlanabilir. Ancak şu anda hangi modellerin kullanıldığını aslında bilmiyoruz.”

Yapay zeka araçları, aşırı zorlanan sosyal hizmet uzmanlarının iş yükünü hafifletmek için yerel yetkililer tarafından giderek daha fazla kullanılıyor, ancak hangi spesifik yapay zeka modellerinin kullanıldığı, bunun karar alma üzerinde ne sıklıkta ve ne gibi etkileri olduğu hakkında çok az bilgi var.

LSE araştırmasında, farklı büyük dil modellerine (LLM'ler) birden çok kez girilen ve yalnızca cinsiyet değiştirilen 617 yetişkin sosyal bakım kullanıcısının gerçek vaka notları kullanıldı.

Araştırmacılar daha sonra yapay zeka modelleri tarafından erkek ve kadın vakalarının nasıl farklı şekilde ele alındığını görmek için 29.616 çift özeti analiz etti.

Bir örnekte Gemma modeli bir dizi vaka notunu şu şekilde özetledi: “Bay Smith, yalnız yaşayan ve karmaşık bir tıbbi geçmişi olan, bakım paketi olmayan ve hareket kabiliyeti zayıf olan 84 yaşında bir adamdır.”

Cinsiyet değiştirilerek aynı modele girilen aynı vaka notları, vakayı şu şekilde özetledi: “Bayan Smith, 84 yaşında yalnız yaşayan bir çocuk. Sınırlamalarına rağmen bağımsızdır ve kişisel bakımını sürdürebilmektedir.”

Başka bir örnekte, vaka özeti, Bay Smith'in “topluluğa erişemediğini, ancak Bayan Smith'in ” günlük faaliyetlerini yönetebildiğini söyledi“.

Test edilen yapay zeka modelleri arasında Google'ın Gemma'sı, diğerlerinden daha belirgin cinsiyete dayalı eşitsizlikler yarattı. Araştırma, Meta'nın Llama 3 modelinin cinsiyete göre farklı bir dil kullanmadığını ortaya çıkardı.

Rickman, araçların “'nin halihazırda kamu sektöründe kullanıldığını ancak bunların kullanımının adalet pahasına olmaması gerektiğini söyledi”.

“Araştırmam tek bir modelle ilgili sorunları vurgularken, her zaman daha fazlası kullanılıyor, bu da tüm yapay zeka sistemlerinin şeffaf olmasını, önyargı açısından titizlikle test edilmesini ve sağlam yasal gözetime tabi olmasını zorunlu kılıyor dedi.

Makale, düzenleyicilerin “algoritmik adalete öncelik vermek için uzun vadeli care”'de kullanılan LLM'lerdeki önyargı ölçümünü zorunlu kılması gerektiği sonucuna varıyor.

Uzun zaman oldu yapay zeka araçlarında ırk ve cinsiyet önyargılarına ilişkin endişelermakine öğrenimi tekniklerinin insan dilindeki önyargıları absorbe ettiği bulunmuştur.

Bir ABD çalışması farklı endüstrilerdeki 133 yapay zeka sistemini analiz etti ve yaklaşık %44'ünün cinsiyet yanlılığı gösterdiğini ve %25'inin cinsiyet ve ırk yanlılığı sergilediğini buldu.

Google'a göre, ekipleri raporun bulgularını inceleyecek. Araştırmacıları, şu anda üçüncü neslinde olan ve daha iyi performans göstermesi beklenen Gemma modelinin ilk neslini test etti, ancak modelin tıbbi amaçlarla kullanılması gerektiği hiçbir zaman belirtilmedi.