OpenAI’ın Son Teknoloji Yapay Görüş Sistemi Basit Bir Yöntemle Kandırıldı

San Francisco merkezli yapay zekâ araştırma şirketi OpenAI’dan araştırmacılar, şirketin son teknoloji yapay görme sisteminin kalem ve kâğıt gibi çok da karmaşık olmayan araçlar aracılığıyla kandırılabileceğini keşfetti. Test için bir nesnenin üzerine başka bir nesnenin adını yazan araştırmacılar, yazılımı kandırarak gördüklerini yanlış tanımlamasını sağladı.

Paylaşılan blog gönderisinde “Bu saldırılara tipografik saldırılar diyoruz” diyen araştırmacılar, konu hakkında “Modelin metni güçlü bir şekilde okuma yeteneğinden yararlanarak, elle yazılmış metin fotoğraflarının bile çoğu zaman modeli yanıltabileceğini gördük” ifadelerini kullandı. Bu tür saldırıların, yapay görme sistemlerini kandırabilecek ancak üretilmesi çok daha basit olan “adversarial” görüntülere benzediğini belirtiyorlar.

Sistemi eğitmek için 400 milyondan fazla veri kullanıldı:

Modelleri şaşırtmak ve aldatmak için kasıtlı olarak bozulmuş piksellere sahip “adversial” görüntüler, makine görmesine dayanan sistemler için gerçek bir tehlike oluşturuyor. Bir örnek vermek gerekirse araştırmacılar, Tesla’nın sürücüsüz araçlarındaki yazılımının, yola belirli etiketler yapıştırarak uyarı vermeden şerit değiştirmek için kandırılabileceğini göstermişti. Dolayısıyla bu tür saldırılar, tıptan orduya kadar çeşitli AI uygulamaları için ciddi bir tehdit oluşturuyor.

Yine de araştırmacılar, ortaya çıkan bu tehlikenin en azından şimdilik endişelenecek bir şey olmadığını söylüyor. Zira söz konusu OpenAI yazılımı, herhangi bir ticari üründe kullanılmayan CLIP adlı deneysel bir sistem. OpenAI’ın geçtiğimiz aylarda tanıttığı genel amaçlı bir görme sistemi olan CLIP, eğitilmek için internetten alınan yaklaşık 400 milyon adet görüntü ve metin kullanmıştı.

Laboratuvar tarafından paylaşılan bir başka örnek de CLIP’deki kumbaraları tanımlayan nöron oldu. Bu bileşen yalnızca kumbara resimlerine değil, aynı zamanda dolar ‘$’ işaretleri yanıt verir. Yukarıdaki örnekte olduğu gibi araştırmacılar, bir motorlu testereye ‘$’ işaretleri ekleyerek yapay zekanın onu elektrikli testere yerine kumbara olarak tanımlamasını sağladı.

OpenAI araştırmacıları ayrıca, CLIP’in çoklu biçimli nöronlarının, internette bir arama yaparken karşınıza çıkabilecek ön yargılara ve çağrışımlara sahip olduğunu keşfetti. Bunlardan bazıları ‘terörizm’ çağrışımına sahip ‘Ortadoğu’ nöronu ve hem koyu tenli insanlara hem de gorillere karşılık gelen bir başka nörondu.