До питання про основні критерії оцінки машинного перекладу

Abstract

Оцінювання якості машинного перекладу – складне завдання, яке вимагає уваги до деталей та комплексного підходу. Використання різних метрик оцінювання та їх комбінація дають змогу отримати більш точне та об’єктивне уявлення про якість автоматичного перекладу. Практичний підхід до оцінювання якості допомагає покращити результати та забезпечити користувачам найкращий досвід його використання. У статті досліджено аспект нормативності критеріїв, використаних в оцінюванні перекладів, виконаних за допомогою систем машинного перекладу (МП). Проблема, порушена у статті, – це важливий етап у систематизації підходів до оцінювання МП, з одного боку, людиною в контексті застосовуваних нею методів і критеріїв, а з іншого – автоматизованою системою та її метриками. У статті наголошено на необхідності розмежування критеріїв оцінювання машинного перекладу автоматизованою системою та традиційного, виконаного людиною. Окрему увагу приділено описові методів оцінювання перекладу, як-от: метод зворотного перекладу, метод оцінювання якості перекладу з визначенням ступеня сприйнятливості для споживача. Підкреслено, що вимоги до оцінювання якості традиційного перекладу та перекладу, виконаного системами МП, не тотожні в аспекті норми. Стаття містить дослідження метрик автоматичного оцінювання. Наголошено на можливості застосування або якоїсь однієї з метрик, або елементів кількох метрик, оскільки кожна з них має як переваги, так і недоліки. Вибір правильної метрики може суттєво вплинути на результати оцінки. Наприклад, метрика BLEU може бути корисною для загальної оцінки точності перекладу, проте вона не враховує порядку слів та контексту, що може призвести до прорахунків у визначенні якості перекладу. З іншого боку, METEOR враховує порядок слів, але може бути менш чутливим до деяких типів помилок. TER дає змогу встановити кількість помилок у перекладеному тексті та визначити його якість, але менш чутлива до точності перекладу, як і WER, що допомагає визначити точність автоматичного перекладу та кількість помилок у ньому, але не враховує порядку слів та окремих типів помилок. CER же допомагає оцінити точність перекладу лише на рівні окремих символів.