Mind vs. machine: Comparative analysis of metaphor-related word translation by human and AI systems

ZHENGJIAN LI and LANG CHEN

The present study presents a comparative analysis of the translation processes and outcomes of human translators, Neural Machine Translation (NMT) systems and Large Language Models (LLMs) focusing on the translation of Metaphor-related Words (MRW). The study employs various research methodologies, including product analysis, think-aloud protocols, subsequent interviews, and translation quality assessments to uncover the choice of strategies in translating MRWs by different subject groups as well as its relation with quality criterion. Human translators and LLMs tend to favour strategies such as metaphor into different metaphor (M-M2) and metaphor reduction (M→Non), while NMT systems prefer the reproduction of metaphors (M→M). LLMs demonstrate translation patterns which are more aligned with human translators, helping them achieve higher evaluation scores, though their performance remains inconsistent, particularly with novel metaphors. Additionally, human translators process metaphors by incorporating conceptual, cultural, and contextual factors, whereas LLMs tend to rely on paraphrastic approaches. Evaluation results indicate that LLMs exhibit proficiency on par with novice translators in terms of accuracy, idiomatic expression, and vividness in metaphor translation, while NMT systems fall slightly short. The study highlights the influence of translation strategies on the quality of metaphor translation and concludes that, while NMT systems and LLMs can achieve performance comparable to human translators, much larger metaphor-specific datasets supported studies are expected to validate its consistency.

Разум против машины: сравнительный анализ перевода слов, связанных с метафорами, человеком и системами искусственного интеллекта

В исследовании проводится сравнительный анализ процессов и результатов перевода, выполняемого профессиональными переводчиками, системами нейронного машинного перевода (NMT) и большими языковыми моделями (LLM), с фокусом на перевод слов, связанных с метафорами (MRW). В работе используются различные методологические подходы, включая анализ переведённых текстов, протоколы вербализации мыслей, интервью и оценку качества перевода, что позволяет выявить выбор стратегий при переводе MRW различными группами и их влияние на конечный результат. Анализ показал, что люди и LLM чаще используют стратегии перевода метафоры в другую метафору (M-M2) и редукции метафоры (M→Non), тогда как NMT-системы предпочитают сохранять метафорическую форму оригинала (M→M). LLM демонстрируют переводческие модели, схожие с подходами, характерными для людей, что позволяет им получать более высокие оценки, хотя их результаты остаются нестабильными, особенно при обработке новых метафор. В то же время люди при работе с метафорами учитывают концептуальные, культурные и контекстуальные факторы, тогда как LLM преимущественно опираются на методы перефразирования. Оценка качества перевода показала, что LLM по точности, идиоматичности и выразительности перевода метафор сопоставимы с уровнем начинающих переводчиков, тогда как NMT-системы демонстрируют несколько более слабые результаты. Исследование подчеркивает влияние выбора переводческих стратегий на качество передачи метафорического значения и делает вывод, что, несмотря на способность NMT-систем и LLM достигать уровня человеческого перевода, для подтверждения стабильности их работы необходимы дальнейшие исследования, основанные на значительно более крупных корпусах данных, специально разработанных для обработки метафор.




TRAINING, LANGUAGE AND CULTURE

More articles in this issue

Volume 9 Issue 1