Evaluierung der linguistischen Leistungsfähigkeit von Translation Memory-Systemen – ein Erfahrungsbericht

Abstract

1 Abgrenzung von TM-, M�- und IR-Systemen Eines der wichtigsten Ergebnisse des Treffens des GLDV-Arbeitskreises �Maschinelle �bersetzung� im Februar 1999 war m.E. die Feststellung, da� sich Kriterien zur Evaluierung von Systemen zur maschinellen �bersetzung kaum f�r die Untersuchung von Translation Memory-Systemen eignen. Diese Erkenntnis ist zwar durchaus nicht neu [Rei94], wurde aber m.W. von Vertretern der M� bisher nicht in dieser Deutlichkeit formuliert. Die Notwendigkeit eigener Evaluierungskriterien wird insbesondere dann offensichtlich, wenn es um die linguistische Performanz der Systeme geht. Im Gegensatz zu M�-Systemen ist eine Untersuchung der linguistischen Leistungsf�higkeit von TM-Systemen zun�chst einzelsprachspezifisch, da diese keine eigenen �bersetzungen erstellen und in erster Linie als Retrieval-Programme zu verstehen sind. Wie Tab. 1 verdeutlicht, sind die Verarbeitungsprozesse von TM-Systemen den Verarbeitungsprozessen von Information Retrieval-Systemen (IR) weitaus �hnlicher als denen von M�-Systemen. Entsprechend ergeben sich Parallelen und Unterschiede bei den Anforderungen an eine Evaluierung der linguistischen Performanz der verschiedenen Systemtypen. 5 Fazit und Ausblick Zusammenfassend l��t sich feststellen, da� eine blo�e �quantitative Evaluierung� unter Verwendung g�ngiger informationswissenschaftlicher Kenngr��en wie Recall und Precision allein nicht sehr aussagekr�ftig ist. Eine �qualitative Evaluierung� erfordert andererseits eine Typologie von ��hnlichkeitsmerkmalen�, um z.B. geeignete Test Suites aufbauen zu k�nnen. Orientiert man sich bei der Erstellung einer solchen Typologie an authentischen Texten, so mu� ber�cksichtigt werden, da� nicht alle Ver�nderungen, die zwischen �Original� und �Update� vorgenommen wurden, unbedingt f�r die Untersuchung von TM-Systemen relevant sein m�ssen. So k�nnten TM-Systeme sicherlich bereits heute effizienter eingesetzt werden, wenn die Modifikationen in AS-Texten auf ein inhaltlich und stilistisch n�tiges Minimum beschr�nkt w�rden. Entsprechende kontrastive Untersuchungen verschiedener Versionen authentischer Texte w�ren daher vermutlich auch im Hinblick auf die Entwicklung und Anwendung kontrollierter Sprachen von Interesse. Eine genauere Betrachtung der aus dem Textkorpus extrahierten Segmentpaare (ASOrg,ASUpd) zeigt, da� Retrieval-Probleme bei TM-Systemen vor allem bei einer H�ufung verschiedener Modifikationen (z.B. auch bei mehrfachen morphosyntaktischen Modifikationen) sowie bei stark variierenden Segmentl�ngen auftreten. �Oberfl�chenunterschiede�, die auf Aspekte der Formen- und Wortbildung zur�ckzuf�hren sind, k�nnten vermutlich bereits durch vergleichsweise einfache Mittel (Lemmatisierung, Einbeziehung morphologischer Strukturen (Derivationsmuster)) ausgeglichen werden. Dies gilt ebenso f�r einfachere syntaktische Ph�nomene. Die Beispiele in Tab. 7 stellen den Oberfl�chenformen von �Original� und �Update� jeweils die durch eine morphologische Analyse �normalisierten� Zeichenketten gegen�ber. Bei stark variierenden Satzl�ngen von �Original� und �Update� sind jedoch in jedem Fall aufwendigere Verfahren erforderlich, die eine Extraktion von Teilsegmenten (Satzfragmenten) erm�glichen (s. hierzu [Rei99]).