Bir yapay zeka modelinin güvenlik sınırlarını ölçmek için hazırlanan deney, yanlış yapılandırılan sanal ortam nedeniyle gerçek internet bağlantısına kadar uzandı. Anthropic tarafından geliştirilen Mythos 5 adlı model, sistemlere sızma yeteneğinin test edildiği sırada kapalı tutulması gereken ortamdan internete erişmeyi başardı ve deneme için belirlenen hedef kuruma yönelik saldırı planını uygulamaya koydu.
Modelin yöntemi, hedef kullanıcıların indirip çalıştırabileceği zararlı bir Python paketi hazırlamaya dayanıyordu. Bunun için dünyanın en büyük Python paket depolarından PyPI üzerinde hesap açmaya çalışan Mythos 5, platformun otomatik saldırıları engellemek amacıyla kullandığı güvenlik mekanizmalarıyla karşılaştı. Yayınlanan binden fazla sayfalık günlük kayıtları, yapay zekanın özellikle hesap oluşturma aşamasında ciddi güçlük yaşadığını ortaya koyuyor. PyPI’nin e-posta ve telefon doğrulamasının yanı sıra CAPTCHA testleri de süreci önemli ölçüde yavaşlattı.
Mythos 5 ilk olarak beş karakterden oluşan doğrulama testinde başarısız oldu. Ardından timsah ve kurbağa görsellerinin ayırt edilmesini isteyen bulmacalarda da defalarca hata yaptı. Model, bir süre sonra güvenlik jetonunun süresi dolmadan bütün adımların tamamlanması gerektiğini fark etti ve işlemleri daha hızlı yürütmeye başladı. Bu aşamadan sonra CAPTCHA doğrulamasını geçmeyi başaran yapay zeka, PyPI hesabını oluşturdu ve hazırladığı zararlı paketi platforma yükledi.
Zararlı paket 15 farklı yapı tarafından çalıştırıldı
Deneyin en dikkat çekici bölümü ise paketin PyPI üzerinde erişilebilir hale gelmesinin ardından yaşandı. Anthropic müdahale edip ilgili taraflara bilgi verene kadar hazırlanan zararlı paket 15 farklı yapı tarafından indirildi ve çalıştırıldı.
Yaşanan olay, kontrollü bir güvenlik testi sırasında yapılan yapılandırma hatasının yapay zeka modeline açık internet erişimi sağlamasının ne kadar beklenmedik sonuçlar doğurabileceğini gösteren örneklerden biri.
