Yazma ve konuşmayı nasıl kontrol ediyoruz

Alıştırmadaki yazılı kompozisyonları ve sözlü cevapları yapay zekâ kontrol eder — B2 seviyesi uluslararası sınavlarda dilin değerlendirildiği kriterlerin aynısıyla. Aşağıda — değerlendirmenin nelerden oluştuğu, sonuçta neyin görüldüğü ve böyle bir kontrolün sınırlarının nerede olduğu.

Önce en önemlisi: Promovat'ın değerlendirmesi bir antrenman göstergesidir, resmi ANCE puanı değil. Neyin zaten iyi olduğunu ve neyin üzerinde çalışman gerektiğini gösterir. Sınavdaki gerçek sonuç farklı olabilir — değerlendirme onu öngörmeye kalkışmaz.

Neye dayanıyor

ANCE, yazma ve konuşma için kendi değerlendirme ölçeğini yayımlamıyor — çoğu vatandaşlık sınavı gibi, sınav da CEFR (Rumence CECRL) tanımlayıcılarına dayanır: kişinin her seviyede neyi yapabildiğinin açıklamaları. Hedef seviye — B2. Bizim değerlendirmemizin temelinde de aynı tanımlayıcılar var.

Değerlendirme öngörülebilir ve savunulabilir olsun diye, onu B2 seviyesi uluslararası dil sınavlarının üzerinde uzlaştığı şeylerden derledik: benzer bir kriter seti, referans açıklamalı ölçekler ve «B2'de konuşmanın kusursuz hatasız olmasından çok anlaşılır olması önemlidir» kuralı. Örnek olarak Cambridge B2 First ve Goethe-Zertifikat B2'nin açık rubriklerini aldık.

Promovat, Cambridge, Goethe-Institut, Avrupa Konseyi ya da ANCE ile bağlantılı değildir ve onlar tarafından onaylanmamıştır. Onların kamuya açık materyallerine sınav pratiğinin bir örneği olarak atıf yapıyoruz — o kadar.

• CEFR — sözlü konuşmanın niteliksel yönleri (Avrupa Konseyi, tablo 3) — B2 dahil seviyelerin resmi tanımlayıcıları
• Cambridge B2 First — yazma değerlendirme ölçekleri — Cambridge English kamuya açık rubriği
• Goethe-Zertifikat B2 — sınav yönetmeliği — Goethe-Institut değerlendirme kriterleri
• ANCE — vatandaşlık sınavı — sınavın resmi sayfası ve CECRL tanımlayıcılarına bağlantı

Hangi kriterlere göre

Değerlendirme birkaç kriterden oluşur — her biri kendi ölçeğinde. Yazmanın dört, sözlü cevabın beş kriteri var (akıcılık ve telaffuz eklenir). Sonuç puanı «göz kararı» değil, kriterlere göre hesaplanır.

Yazılı kompozisyon — 4 kriter

Sözlü cevap — 5 kriter

B2 seviyesinde tekil hatalar normaldir, anlamı anlamayı engellemedikleri sürece. Bu yüzden kontrol, hata sayısına değil, anlamayı etkileyip etkilemediklerine bakar.

Sonuç nasıl görünüyor

Kontrolden sonra yalnızca puanı değil, onu oluşturan her şeyi görürsün:

• 0 ile 10 arası bir puan ve her kritere göre profil — neyin zaten iyi olduğu, neyin çalışılması gerektiği.
• Hata analizi: her biri cevaptan birebir alıntı, düzeltme ve kısa bir açıklamayla.
• Sözlü görev için — deşifre: sistemin cevabı nasıl duyduğu.
• Kısa bir özet ve bir sonraki denemeden önce nelerin üzerinde çalışılacağına dair somut tavsiyeler.

Bir kuralı katı tutuyoruz: bir uyarı yalnızca cevaptan birebir alıntıyla birlikte belirir. Alıntı yoksa — uyarı yok. Böylece kontrolün kendisini denetlemek daha kolay olur ve «izlenim üzerine değerlendirme» ile tartışmak gerekmez.

Dürüst sınırlar

Yapay zekâ kontrolü güçlü bir antrenman aracı, ama sınırları var ve biz onları saklamıyoruz:

• Yapay zekâ bir hatayı atlayabilir ya da sınırdaki bir durumu tartışmalı değerlendirebilir — özellikle dilbilgisi ve telaffuzda. Bu yüzden puan bir iki bulguya asılı kalmaz.
• Değerlendirme yaklaşıktır. Bu, antrenman için bir gösterge, sınavdaki puanın tahmini değil.
• Değerlendirme haksız görünüyorsa — üründe «kontrole katılmıyorum» butonu gelecek. Bu tür sinyaller onu ayarlamamıza yardımcı olur.

Bilerek yalnızca puanı değil, dayandığı her şeyi gösteriyoruz — alıntılar, deşifre, kriterler. Kendin kontrol edebileceğin bir değerlendirmeye, yoktan gelen bir sayıdan daha çok güvenilir.