Akademik Veri Yönetim Sistemi
II. Ulusal Çeviri Teknolojileri Kongresi, Manisa, Türkiye, 20 - 21 Kasım 2025, ss.22, (Özet Bildiri)
Bu çalışma, farklı metin türlerinde nöral makine çevirisi (NMÇ) araçlarının performansını, makine-destekli çeviri kalite tahmini modelleri aracılığıyla değerlendirmeyi ve karşılaştırmayı amaçlamaktadır. Günümüzde NMÇ sistemleri, çeviri süreçlerini hızlandırma, çeviri maliyetlerini düşürme ve daha erişilebilir hâle getirme açısından önemli bir rol oynamaktadır. Ancak bu sistemlerin ürettiği çevirilerin kalitesi, kullanılan algoritmaların yapısına, dil çiftine ve özellikle de çevrilen metnin türüne bağlı olarak önemli ölçüde değişkenlik gösterebilmektedir. Bilgilendirici metinlerde doğru terminoloji kullanımının ön planda olması, işlevsel metinlerde hedef kültüre uygunluk ve anlatımcı metinlerde ise biçemsel özelliklerin korunması gibi türsel gereklilikler, NMÇ sistemlerinin başarısını doğrudan etkileyen faktörlerdendir. Bu doğrultuda, çalışmada Reiss’in (1971/2000) metin türleri sınıflandırmasına dayalı olarak üç temel türü temsil eden (bilgilendirici, işlevsel ve anlatımcı) metinlerden oluşan dengeli bir veri seti kullanılacaktır. Her bir metin (Türkçe), alanında deneyimli üç profesyonel çevirmen tarafından elle çevrilecek (İngilizce) ve aynı zamanda NMÇ ve üretken yapay zeka (Google Translate, DeepL ve ChatGPT) sistemleriyle otomatik olarak çevrilecektir. Elde edilen çeviri çıktıları, Crosslingual Optimized Metric for Evaluation of Translation (COMET; COMETKIWI, xCOMET ve COMET-QE) isimli büyük dil modeli destekli kalite tahmini metriğiyle değerlendirilecektir. COMET, insan yargılarıyla yüksek korelasyon gösteren anlam odaklı bir otomatik metrik sistemidir (Rei et al., 2020). COMET, geleneksel metriklerden farklı olarak sadece yüzeysel benzerliğe değil, anlam derinliğine dayalı bir değerlendirme yaklaşımı benimsemektedir. COMET, önceden eğitilmiş çok dilli bir dil modeli (örn. XLM-R) üzerine kuruludur ve hem kaynak (source), hem hedef (hypothesis), hem de referans (reference, xCOMET) cümleleri üçlü olarak işleyerek çeviri kalitesi üzerine tek bir sayısal skor üretmektedir. COMET modelleri, insan yargılarına dayalı doğrudan değerlendirme skorlarıyla eğitilmiş olup (Rei et al., 2020), referanssız kalite tahmini (COMET-QE), hata analizi (COMETKIWI) ve açıklanabilirlik sağlayan ayrıntılı değerlendirme yetenekleri (xCOMET) gibi farklı işlevlere sahip sürümleriyle çeviri kalitesini çok boyutlu olarak ölçebilmektedir (Rei et al., 2021; Guerreiro et al., 2023). Ardından, bu otomatik değerlendirme sonuçları uzman çevirmenlerin yaptığı elle kalite analizleriyle karşılaştırılarak kalite tahmini araçlarının doğruluğu, tutarlılığı ve metin türlerine duyarlılığı çok boyutlu biçimde analiz edilecektir. Anahtar Sözcükler: Çeviri kalite tahmini, Nöral makine çevirisi, Üretken yapay zekâ, Metin türü COMET