Yapay Zekâya Test Yazdırmak: Çok Hızlı Yanılmanın En Kolay Yolu
Seri 4: Yapay Zekâ Çağında Kalite – Bölüm 1
Son dönemde yazılım dünyasında nereye baksanız aynı vaatle karşılaşıyorsunuz: "Kodunuzu verin, yapay zekâ saniyeler içinde tüm test senaryolarınızı ve otomasyon script’lerinizi yazsın."
Toplantı odalarında yöneticilerin gözlerini parlatan, test takvimlerini üçte birine indireceği iddia edilen müthiş bir rüya bu. Bir prompt yazıyorsunuz; model size tertemiz formatlanmış, mock’ları ayarlanmış, assertion’ları dizilmiş onlarca satır test kodu üretiyor. İlk bakışta büyüleyici.
Fakat o üretilen testleri alıp gerçek bir projeye entegre ettiğinizde, çok geçmeden o rüyanın arkasındaki sert gerçekle yüzleşiyorsunuz.
Yapay zekâ size test yazmayı inanılmaz derecede hızlandırıyor; bu kesin. Ama aynı zamanda, yanlış bir varsayıma inanıp sistemin güvende olduğunu sanarak çok hızlı bir şekilde yanılmanızı da sağlıyor.
Kodun Aynası Olmak ile Kodu Sınamak Arasındaki Uçurum
Bir dil modeline bir fonksiyon verip "Buna unit test yaz" dediğinizde model tam olarak ne yapar?
Fonksiyonun satırlarını okur. Giriş parametrelerine bakar, if-else bloklarını tarar, dönecek değerleri tespit eder ve tam o akışı doğrulayan testler üretir. Yani model, mevcut koda bakar ve o kodun bir kopyasını test formatında yeniden üretir.
İşte en büyük tuzak buradadır: Yapay zekâ, kodun ne yaptığını çok iyi anlar ama o kodun ne yapması gerektiğini bilmez.
Eğer geliştirici iş mantığını baştan yanlış kurduysa, eksik bir kabul kriterini atladıysa ya da hatalı bir matematiksel formül kullandıysa; yapay zekâ o yanlışı sorgulamaz. Tam aksine, o yanlış mantığı tescilleyen, yeşil yanan ve sözde kod kapsamasını yüzde yüze çıkaran kusursuz testler yazar.
Siz de pipeline’da yeşil yanan testlere bakıp her şeyin yolunda olduğunu düşünürsünüz. Ta ki müşteri o yanlış hesaplanmış tutarı görene kadar.
"Happy Path" Tembelliği ve Sentetik Senaryolar
Büyük dil modellerinin en belirgin özelliklerinden biri "uyumlu" olmaya programlanmış olmalarıdır. Sorunu çözen, makul ve düzgün görünen yanıtlar vermeyi severler.
Yazılım testinde ise ihtiyacımız olan şey tam tersidir: Huysuzluk, uyumsuzluk ve kuşkuculuk.
Yapay zekâya bıraktığınızda senaryolar genelde şunlar etrafında döner:
- Geçerli bir e-posta formatı,
- Pozitif bir bakiye değeri,
- Standart uzunlukta bir metin girdisi,
- Ve tahmin edilebilir bir hata durumu (örneğin boş alan kontrolü).
Oysa sahada bir sistemi çökerten şeyler bu sentetik dünyada yaşanmaz.
- İki ayrı servisin aynı anda veri tabanında aynı satırı güncellemeye çalışması,
- Kullanıcının telefonunun tünelden geçerken bağlantısının kopup tekrar gelmesi,
- Özel karakterlerin veri tabanının collation ayarıyla çakışıp sessizce bozulması…
Yapay zekâ bu senaryoları kendiliğinden akıl edemez. Çünkü o, kuralları olan bir metin üreticisidir; sistemin çeperlerindeki kaosu bilmez.
Hızlı Kod Üretimi mi, Bakım Felaketi mi?
Yapay zekânın ürettiği test kodlarındaki bir diğer tehlike de "okunabilirlik ve sürdürülebilirlik" yanılsamasıdır.
Göz açıp kapayıncaya kadar yüz satır test yazdırabilirsiniz. Ama o kodun içine girdiğinizde; tekrarlayan bloklar, aşırı karmaşık mock yapıları ve neden yazıldığı belli olmayan kırılgan assertion’lar görürsünüz. İnsan eliyle, adım adım düşünülerek kurgulanmamış bir test seti, ilk mimari değişiklikte patlar.
Bir testin yazılma süresi beş dakikadır; ama o testin sonraki iki yıl boyunca ekibe maliyeti yüzlerce saattir. Yapay zekâ yazarken kazandığınız o beş dakikayı, birkaç ay sonra o testin neden patladığını anlamaya çalışırken katbekat geri ödersiniz.
Asıl Soru: Çırak mı, Usta mı?
Bu tespitler yapay zekâyı tamamen süreçlerin dışına itmemiz gerektiği anlamına gelmiyor. Tam tersine; boilerplate (şablon) kodları hızlıca çatmak, regex desenleri üretmek ya da aklımıza gelmeyen temel veri varyasyonlarını listelemek için muazzam bir yardımcı.
Ama sadece bir yardımcı; bir çırak.
Direksiyonu tamamen yapay zekâya bırakıp "testleri o yazdı, içimiz rahat" diyen bir ekip, pusulası olmayan bir gemide sadece motoru son sürat çalıştırmış olur. Çok hızlı yol alırsınız, ama kayalıklara ne zaman çarpacağınızı asla kestiremezsiniz.
Kalite, kodun hızlı yazılmasında değil; o kodun arkasındaki niyetin, sınırların ve ihtimallerin insan aklıyla ne kadar dürüstçe sorgulandığında gizlidir.
--
Yapay zekâya bir şeyler yazdırmak, doğru prompt kalıplarını bulmak işin en popüler kısmı gibi görünse de; masanın asıl zor tarafı modele neyi emanet edip neyi asla bırakmamanız gerektiğini bilmekte yatıyor.
Serinin bir sonraki yazısında tam bu sınıra odaklanacağız: Prompt Yazmak Kolay, Neyi Sormayacağını Bilmek Zor.