Technologie en ethiek

Geplaatst op: 01 november 2022

Nauwelijks zichtbaar en toch explosief. Ethische aspecten van (ver)taaltechnologie en ethische kwesties rond het gebruik ervan zijn een mijnenveld.

Foto van een lichtgevend toetsenbord bij het artikel Technologie en ethiek

De wereld van taal en vertalen is onnoemelijk rijk. Verschillende vormen van automatisering kennen daarbij vele ethische dimensies. Concepten als automatische spraakherkenning (automated speech recognition, ASR), computerondersteund vertalen (CAT, voornamelijk vertaalgeheugens en termenbeheer) en automatische vertaling (machine translation, MT) mogen dan wel puur technologische omkadering lijken voor inhoudelijke denk- en werkprocessen, als ze ook gebruikt worden om tot een eindresultaat te komen dat functioneert als nieuwe tekstuele realiteit spelen er vele ethische kwesties.

Het eigendom van de inhoud van vertaalgeheugens en termenbanken, de vertalingen op respectievelijk zinsniveau of woordniveau die worden bewaard om – hopelijk/allicht – ooit te worden hergebruikt, is al jaren een probleem.1 Deze applicaties verhogen niet alleen de vertaalproductiviteit – bijna uitsluitend bij teksten met een zekere mate van herhaling, ofwel tekstinterne repetitie ofwel herhaling tussen verschillende bronteksten – maar zouden ook moeten zorgen voor betere vertaalkwaliteit (want de voorgaande vertaling die grotendeels of volledig kan worden hergebruikt, is immers al eens goed bevonden door de vorige opdrachtgever). Alleen, wie is eigenaar van de inhoud van een vertaalgeheugen: de opdrachtgever of de vertaler? Of mogen beide het vertaalgeheugen gebruiken nadat de vertaalopdracht werd afgerond? Vaak worden de bepalingen hiervoor gestipuleerd in overeenkomsten per vertaalopdracht of per klant, waarbij expliciet verbod om de vertaling te hergebruiken in eender welke vorm – dus ook als deel van een vertaalgeheugen – vaker wordt uitgesproken dan dat eventueel impliciet toekomstig gebruik wordt toegestaan. Hergebruik van vertalingen in/uit een vertaalgeheugen blijft een kant van vertaaltechnologie die niet goed geregeld blijft. Omdat vertaalgeheugens vooral worden gebruikt bij teksten met veel herhaling op zinsniveau (vertaalgeheugen) of woordniveau (termenbank) – de technologie is erg veel gebruikt bij technische teksten maar is voor hergebruik niet erg geschikt voor literaire teksten – lijkt de vraagstelling minder relevant voor literaire vertalers, maar toch.

Als literaire vertalers een vertaalgeheugen delen omdat ze aan een duo- of teamvertaling werken, of een vertaler krijgt voortdurend aangepaste bronversies van een poëziebundel omdat de auteur tot het laatste moment blijft schaven aan de gedichten, dan zou een vertaalgeheugen erg van pas kunnen komen. Je kan dan makkelijk elke status van de vertaling bijhouden – een eerste versie, vertaald door een vertaler en nagekeken door een andere, aanpassingen in de brontekst. Je zit dan nog wel met een vormelijk gegeven dat het eigendomsrecht mee aandrijft: mogen die vertalers dat geheugen dan opnieuw gebruiken voor eventuele latere vertalingen en mag de opdrachtgever alle vertaalgeheugens bijvoorbeeld bij elkaar gooien om zo tot een master memory te komen van alles wat reeds in hun opdracht werd vertaald?2 Kan een vertaler een nieuwe vertaling produceren op basis van hergebruik van een vorige vertaling die niet door hen werd gemaakt? Uiteindelijk zijn de vertalingen zelf creaties van de vertaler, maar die zijn in het vertaalgeheugen gekoppeld aan de bronteksten, die vaak eigendom zijn van de opdrachtgever.

Eigendom, een huis met twee meesters

Dan is er nog de gegevensbescherming bij het gebruik van CAT-tools. Terms and conditions bij gebruik van applicaties moet je immers altijd uitpluizen. De door (niet-literair) vertalers vaak gebruikte CAT-tool memoQ bijvoorbeeld stipuleert duidelijk dat alle gegevensverzameling conform de Europese wetgeving gebeurt (GDPR), dat alle gegevens over het gebruik worden geanonimiseerd, maar dat alle data die de gebruiker ingeeft in de toepassing exclusief eigendom blijven van die gebruiker (memoQ 2020, memoQ 2021).

Bovenstaande paragraaf draait rond het concept vertaalgeheugen. Bij automatische vertaling komen er nog aardig wat ethische dimensies bij.3 Bij vroege versies van Wordfast Anywhere, een gratis vertaalgeheugen ontwikkeld door Yves Champollion en zijn team, kon je niet alleen vertalingen  uit een vertaalgeheugen hergebruiken, je kon ook een instelling kiezen waardoor je een Google Translate-vertaling kreeg voor segmenten waarvoor het vertaalgeheugen geen content kon opvissen uit de eigen databank. De lnk met Google Translate was wel eenrichtingverkeer: na aanpassing van een Google Translate-suggestie in Wordfast Anywhere werd die aanpassing niet teruggekoppeld aan diezelfde Google Translate. De terms and conditions van Wordfast waren daar erg duidelijk over, maar de praktijk was de uitzondering op de regel. Als je aanpassingen doorvoert in DeepL, onthoudt het systeem die veranderingen.

Fastforward vijftien jaar en als je gaat kijken naar de permissies in jouw eigen Android-smartphone of Apple-mobiel, dan heb je al snel een handvol screenshots nodig als je daar een overzicht van zou willen hebben: allemaal data-uitwisselingen in de achtergrond tussen applicaties onderling, tussen applicaties en operating system, tussen applicaties en bijkomend online gedrag. Een prima voorbeeld vind je bij Van Dale (online): als je daar jouw privacy-instellingen wilt wijzigen, kom je aan 783 afzonderlijke vendors, ‘leveranciers’ van cookies, die op z’n minst data over jouw websitegebruik ‘oogsten’ (harvest) (cijfers op 15 oktober 2022). Welke houding je ook hebt ten opzichte van de honger naar data en het gebrek aan data privacy in onze hypergelinkte tijd, onze data voeden ook datasets die uiteindelijk vele applicaties en technologieën aandrijven, niet in het minst de neurale machinevertaling.

De terms and conditions bij gebruik van gratis online automatische vertaling zoals Google Translate zijn niet eenvoudig terug te vinden, of erg, erg omvangrijk. Het komt er op neer dat je altijd eigenaar blijft van alle inhoud die je door Google Translate gooit, maar dat jouw gebruik van Google die laatste ook automatisch de toelating verschaft om diezelfde inhoud te gebruiken, verspreiden en zelfs te publiceren, en dit eigenlijk in eender welke vorm en op eender welk moment. Bij andere spelers op de markt van automatische vertaling is de situatie vergelijkbaar, alleen is er niet altijd het soortelijk gewicht van Google (of in mindere mate Microsoft).

Het gebruik van gratis online automatische vertaling zorgt dus niet alleen voor mogelijke kwaliteitsproblemen; bij machinevertaling van officiële documenten bijvoorbeeld is er eigenlijk per definitie sprake van schending van geheimhouding of vertrouwen (violation of non-disclosure agreements of confidentiality clauses).4 Bij DeepL daarentegen wordt er toch schijnbaar al iets meer rekening gehouden met gevoelige informatie: niet alleen is het vage, mogelijk ‘tot in de eeuwigheid’, zoals Google het stelt, bronteksten en aanpassingen in de machinevertaling worden slechts tijdelijk bijgehouden (evenwel zonder specificatie van de periode ).

De honger naar data

Ook bij DeepL wordt het erg duidelijk dat er een verschil is tussen gratis gebruikmaken van de online vertaalmotor of van een betaalde versie: “…you may not use DeepL Translator for the translation of texts containing personal data of any kind. The translation of personal data is only possible as part of a DeepL Pro subscription”.5 Als de gebruiker geld op tafel legt, worden onze data anders gebruikt, in principe meer beveiligd. Dat principe is een winstmodel voor vele taaltechnologiebedrijven die customised training van automatische vertaalsystemen aanbieden, waarbij eerder beperkte maar domeinspecifieke datasets moeten zorgen voor in-domain machinevertalingen die bruikbaar genoeg zijn om er tijdswinst mee te boeken alsook geld te besparen op vertaalkosten.

De – al dan niet relatieve – kwaliteit en accuraatheid van machinevertaling hangt sterk af van datasets met gecontroleerde ‘menselijke’ vertalingen. Paracrawl is de naam van een project – mede gefinancierd door de Europese Unie in het kader van Connecting Europe Facility – waarbij bestaande datasets worden aangevuld door corpora die quasi automatisch worden ‘geoogst’. Voor Nederlands bevat het onderliggende TMX-bestand ruim 1,3 miljard woorden, allemaal erg nuttig om een domeinspecifieke training verder te onderbouwen. De 21e eeuw is dan ook steeds meer een fanfare van honger naar data en dorst naar meer.

Wie Linguee gebruikt, krijgt ook gelijkaardige parallelle presentaties van online-inhoud, maar wel met bronvermelding. Bij Reverso Context krijg je die bron ook, daar krijg je al eens makkelijker data uit Paracrawl te zien trouwens. Alleen: wie is er finaal verantwoordelijk voor de kwaliteit van het gebodene op dergelijke dataportals? Je lijkt voorgestelde inhoud wel vrij te mogen gebruiken, al ligt de catch hier bij data-uitwisselingen via cookies aan de ene kant en het reeds platgetreden pad van de kwaliteit van de data aan de andere kant.

Discriminerend taalgebruik

Dat de kwaliteit van de data die gebruikt wordt om machinevertaling te trainen en van de kwaliteit van de vertalingen zelf vaak te wensen overlaat, mag ook blijken uit de controverse rond mogelijk discriminerend taalgebruik ten aanzien van etnische achtergrond en gender. In maart 2021 publiceerde The Conversation een stuk met de weinig aan verbeelding overlatende kop ‘Online translators are sexist’. Online machinevertaling mag ons dan wel hebben geholpen nieuwe talen te leren, over taalgrenzen heen te communiceren en buitenlandse websites te bekijken in een taal die wij als bezoekers eigenlijk niet begrijpen, de kunstmatige intelligentie (neurale netwerken) erachter reproduceert vaak de vooroordelen die binnen die taal of samenleving bestaan, in plaats van die juist te elimineren, of op zijn minst te voorkomen. Online machinevertaling is inderdaad erg vatbaar voor genderstereotypering, en dat begint al bij verschillen tussen talen als het over geslachtsaanduidingen gaat. Bij vertaling van het Engels in (naar?)6 het Duits beslist machinevertaling of de Engelse ‘doctor’ of ‘cleaner’ een geslacht krijgt toegekend, meestal respectievelijk mannelijk en vrouwelijk.7 (Saunders en Byrne 2020, 7725-7726; Ullmann en Saunders 2021).

Maar er is meer dan op z’n minst knullig omspringen met gender over taalbarrières heen. Algoritmes die hergebruik van content uit datasets organiseren alsook de neurale netwerken die beslissingen nemen om tot een finale machinevertaling te komen, zijn perfect in staat om genderstereotypering te produceren, waarbij alle geneesheren mannelijk zijn en verpleegsters vrouwelijk.8 De inhoud van datasets van instellingen zoals de vertaaldienst van de Europese Commissie kan misschien wel wat stoffig of ‘Eurojargonnig’ lijken, maar veel stereotypering zal er niet te vinden zijn. Zoals reeds aangehaald worden die data echter aangevuld met content die online wordt geoogst en die data weerspiegelen stereotypering zoals die zich ook in de werkelijke wereld voordoet. Cloudapplicaties zoals fairslator kunnen dan wel ambiguïteiten aantonen, in vergelijking met het massale gebruik van machinevertaling is het niet eens een druppel op de spreekwoordelijke hete plaat.

Om discriminerend taalgebruik tegen te gaan, heeft het Europees Agentschap voor Fundamentele Mensenrechten in december 2020 resultaten uit een onderzoek gepubliceerd: iedereen moet over het recht kunnen beschikken om de ontwikkelaars van een algoritme dat discrimineert voor de rechter aan te vechten. Alleen, hoe pak je een gigant als Google aan? Dat die inderdaad een probleem hebben met discriminerend en racistisch taalgebruik is de voorbije jaren gebleken. In maart 2022 werd een rechtszaak aangespannen tegen Google.9 De klacht betreft systematische discriminatie ten opzichte van Zwarte werknemers.10 Het bedrijf zou hen automatisch naar minder betaalde banen sturen en hen omwille van hun etniciteit of huidskleur kansen ontzeggen om hogerop te komen.11 Tijdens de zomer probeerde Google tot een vergelijk te komen voor 22 miljoen dollar: de advocaten van de tegenpartij weigerden het aanbod.

Wie zit er aan de knoppen?

Gelijkheid inzake gender, etnische achtergrond en huidskleur is zeer moeilijk te bereiken bij machinevertaling. De systemen worden immers getraind op reeds bestaande (door mensen aangemaakte) inhoud, soms ook wat oudere teksten en vertalingen, en het taalgebruik in die data laat vaak te wensen over in verband met gelijkheid.12 Meer nog, discussies over machinevertaling en de datasets zijn een voornamelijk westerse aangelegenheid: talen die niet meteen geassocieerd worden met de verondersteld meest gangbare Westerse talenpaarcombinaties (zowat elke twee talen uit Duits, Engels, Frans, Italiaans, Spaans) worden vaak de ‘lesser-resourced languages’ genoemd, talen waar de technologie niet zo goed werkt omdat die niet over kwaliteitsvolle data voldoende beschikken om systemen mee te trainen. Nu ja, wie eventueel bruikbare machinevertaling verwacht binnen talrijke talenpaarcombinaties (zelfs in the Global North) komt sowieso bedrogen uit bij combinaties zoals Baskisch-Litouws of Maltees-IJslands. Om de verhoudingen beter te schetsen: in Paracrawl is het Italiaans maar een kwart groter dan het Nederlands, en het Nederlands is er even omvangrijk als het Pools, Roemeens, Sloveens, Kroatisch en IJslands samen. Strikt genomen bepalen de wetten van machinelearning dan dat voor die laatste talen de omvang van de dataset evenredig is met de kwaliteit van de output van het automatische vertaalsysteem dat hierop werd getraind.

Ter voorbereiding van een boekpublicatie toonde een recent informeel overlegmoment aan KULeuven Campus Brussel met verschillende onderzoekers die bezig zijn met taal en technologie aan dat het belang van taaltechnologie, de mogelijkheden en ook de gevaren ervan ernstig worden onderschat door beleidsmakers; wetgeving inzake data, privacy en eigendom worden voortdurend voorbij gehold door nieuwe technologie maar vooral ook door het gebruik van data die de technologie voortstuwt, laat staan regelgeving met betrekking tot controle van die data en het gebruik ervan. Als AI-systemen zelfstandig krantenartikelen kunnen produceren met racistische ondertoon en register, dan heb je echt niet veel verbeelding nodig om in te zien dat technologie en data verder moeten worden geoptimaliseerd om discriminatie uit te sluiten en dat aan die knoppen zitten – om het even simplistisch voor te stellen – een uitdaging zal blijken, want wie de data beheert en dus ook de output beheerst zal uiteindelijk ook de taalkundige realiteit van de machinevertalingen mee helpen vormgeven volgens eigen inzichten en ideologie.

Het scenario hierboven, waarbij er een vergaande mate van controle is, bij beheer van data en beheersing van de output, is ook een westers dingetje. Automatische vertaling is vaak een van de weinige communicatiemogelijkheden waarover slachtoffers van een crisis of conflict alsook hun hulpverleners beschikken. In gebieden die vaak worden getroffen door crisis en conflict zijn de talen die spelen de vaak voornoemde lesser-resourced languages.13 Hoogdringendheid van de crisissituatie kan er immers voor zorgen dat zowel de vertaalsystemen in automatiseringsprocessen bij hulpverlening als het gebruik van de machinevertaling ingeburgerd geraken, zonder verdere ingebouwde kwaliteitsgarantie of rijke datasets. Door de initiële focus op high-resource languages en de relatieve successen ermee zijn onderzoekers immers voornamelijk prioriteit blijven geven aan methoden die beter werken met goede en grote datasets, iets waar populaties in crisis- en conflictsituaties vaak niet over beschikken.14 Machinelearning staat immers nog steeds in de kinderschoenen voor de vele honderden talen in Afrika en Azië. En je zal in crisissituaties maar machinevertaling te lezen krijgen of erger nog verspreiden waarbij alle mogelijke bias erg contraproductief werkt. Gebruik van minder geslaagde machinevertaling kan de problematische vertrouwensrelaties tussen verschillende van de Global South-populaties en hun overheden verder uithollen, omdat de geleverde output elementen bevat van démodé discours of omdat er cultureel gevoelige informatie is/wordt weggelaten of niet accuraat vertaald.

Verdere averij bij democratisering door automatisering

Verdere ontwikkelingen en gebruik van meer accurate – of nog beter: voor steeds meer talenpaarcombinaties steeds minder slechte – vertaalmachines roepen veel ethische kwesties op. Schijnbaar kant-en-klare machinevertaling die wordt gebruikt om de inhoud uit een andere taal (groten)deels te assimileren is al een dubbeltje op zijn kant, het wordt helemaal luguber als output wordt gebruikt voor meer dan gisting, voor meer dan een globaal idee te krijgen waarover de brontekst gaat. Alleen kan je stellen dat net die manier van machinevertalingconsumptie voor verdere democratisering kan zorgen, van literatuur – door machinevertaalde versies van anderstalig werk als smaakmakers te laten functioneren in de hoop dat het oorspronkelijk werk wordt opgepikt voor echte vertaling en ook publicatie – maar ook van toegang tot informatie in het algemeen.15 Maar dan zitten we weer op dat moeilijke evenwicht tussen toegankelijkheid en privacy. Toegankelijkheid kan heel goed de motor zijn voor sociale inclusie en voor het bevorderen van interculturele dialoog. Toch is het onderliggende risico dat dergelijke inclusie en dialoog in de handen liggen van grote technologiebedrijven die op hun beurt dan weer toegang krijgen tot persoonsgegevens en andere bruikbare data zoals tekstinput.16

Eerder in dit overzicht spraken we over hergebruik uit vertaalgeheugens, een praktijk die al enkele decennia meegaat en die redelijk vaste tarieven kent, afhankelijk weliswaar van verschillende variabelen zoals talenpaarcombinatie en betaling per karakter, woord, regel of pagina. Zodra machinevertaling echter moet worden geverifieerd, zoals in het geval van post-editing, treden andere rekenmodellen in actie. Verloningen die nog verder bouwen op bestaande eenheden zoals karakter en woord, maar die ook de editing distance mee in rekening brengt, de afstand tussen de voorgestelde machinevertaling en de aangepaste versie.17 Of gewoon verloning per uur: ‘hier heb je een machinevertaalde tekst van 2500 woorden, je mag het verbeteren en aanpassen gedurende twee uur’. I think not! Financiële aspecten bij vertalen werden door technologie zoals vertaalgeheugens vergemakkelijkt: afhankelijk van de graad van hergebruik – uitgedrukt in matching percentage – wordt de prijs per aantal karakters/woorden/regels verhoogd of verlaagd. Bij herwerken van machinevertaling is dat niet meer zo en ontstaat er de indruk van een race to the bottom met betrekking tot verloning alsook de uiteindelijke kwaliteit.18 Om deze financiële bottom feeding tegen te gaan is er een stevige golf van machine translation literacy nodig, vertaalmachinegeletterdheid binnen de vertaalwereld, maar ook – en vooral – daarbuiten.

Die geletterdheid is ook nodig om een op dit moment niet meteen populair gevolg van al dat automatisch vertalen en trainen van systemen aan te kaarten: al deze technologie verbruikt veel processorruimte en energie voor individuele standalonesystemen bij vertalers en op bedrijven; maar vooral: machinelearning en training van systemen hebben extra veel netwerkcapaciteit en energie nodig om die servers draaiende te houden – en dit zorgt voor meer uitstoot en vervuiling.19 Het trainen van een talenpaarcombinatie met domeinspecifieke data en een algemenere dataset zoals Paracrawl benadert de uitstoot van een auto tijdens diens hele bestaan. In 2019 werd er zelfs gewag gemaakt van een vijfvoud!

Het is een flauw einde, maar een volgende keer dat u een tekst in een gratis online vertaalmachine gooit of dat u een gesprek aangaat over ‘de druk op de vertaalknop en hoppa, het is er’ of ‘waarom vertalen, er is toch Google Translate?’ zal er toch iets meer reflectie en discussie (moeten) zijn.

 

Voetnoten en leestips

1 Het gaat hier voornamelijk over niet-literaire teksten, al zouden we moeten kunnen stellen dat als bij literaire teksten en vertalingen in Nederland auteursrecht pas vervallen 70 jaar net het overlijden van de schrijver, dat eigenlijk ook zo zou moeten zijn voor niet-literaire teksten.

2 Voor een discussie over het praktische vertaalgeheugen en het collectieve vertaalgeheugen, wat de vertalersgemeenschap gezamenlijk tot stand heeft gebracht en wat daarmee een wezenlijk onderdeel vormt van het collectieve geheugen van deze gemeenschap, zie Chris Bakker en Pauline De Bok (2021). ‘Een tweede leven voor vertalingen. Over de ontwikkeling en het gebruik van literaire vertaalgeheugens.’ Webfilter. Online

3 Voor een uitvoerige academische analyse rond copyright bij zowel taaltechnologie (MT) als vertaaltechnologie (CAT), zie Joss Moorkens en Dave Lewis ‘Copyright and the Reuse of Translation as Data’, een hoofdstuk in The Routledge Handbook of Translation and Technology (2019).

4 Zie bijvoorbeeld Ellen Göppl (2020), Free online translation – too good to be true? (vertaling Mari Smith) en Alex Gheorghe (2019). Google Translate: Privacy and Confidentiality concerns.

5 Privacy Policy DeepL (2022). Geraadpleegd van https://www.deepl.com/en/privacy (op 30 oktober 22).

6 Een mens vertaalt in een taal, een machine naar een taal.

7 Voor een uitgebreide bespreking, zie: Saunders, Danielle en Bill Byrne (2020). ‘Reducing Gender Bias in Neural Machine Translation as a Domain Adaptation Problem’. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Geraadpleegd van https://aclanthology.org/2020.acl-main.690v1.pdf(30 oktober 2022). Zie ook: Ullmann, Stefanie en Danielle Saunders (2021). ‘Online translators are sexist – here’s how we gave them a little gender sensitivity training’. The Conversation online [30 maart 2012]. Geraadpleegd van https://theconversation.com/online-translators-are-sexist-heres-how-we-gave-them-a-little-gender-sensitivity-training-157846 (17 oktober 2022).

8 Voor meer over gender bias bij machinevertaling zie Beatrice Savoldi e.a. (2021). Gender Bias in Machine Translation, alsook Anna Farkas en Renáta Németh (2022). How to measure gender bias in machine translation: Real-world oriented machine translators, multiple reference points.

9 Het gaat om de volgende zaak: Curley v Google LLC, U.S. District Court, Northern District of California, No. 22-01735.

10 Zie Jonathan Stempel (2022). Google is accused in lawsuit of systemic bias against Black employees, Reuters online.

11 Zie punten 24.a tot 24.k van de klacht.

12 Zie Tira Nur Fitria (2021) Gender Bias in Translation Using Google Translate: Problems and Solution.

13 Voor meer over ethiek bij crisis translation zie Donal O’Mathúna et al. (2020) Engaging citizen translators in disasters: Virtue ethics in response to ethical challenges. Voor machinevertaling als democratische tool voor toegang tot informatie zie Mary Nurminen & Maarit Koponen (2020) Machine translation and fair access to information.

14 Zie Federici, Federici M., Christophe Declercq, Jorge Díaz Cintas en Rocío Baños Piñero (2022) ‘Ethics, Automated Processes, Machine Translation, and Crises’. Helena Moniz and Carla Parra Escartín (eds), Towards Responsible Machine Translation: Ethical and Legal Considerations in Machine Translation (Machine Translation Technologies and Applications, Vol. 4). Springer Cham.

15 Zie Gys-Walt van Egdom (2022) Machinevertaling als Cultuurpolitiek Instrument.

16 Zie Gys-Walt van Egdom (2022) Machinevertaling als Cultuurpolitiek Instrument.

17 Editing distance is een makkelijker te berekenen factor en meer betrouwbaar dan editing time. Bij die laatste – de totale tijd besteed aan editing en aanpassen van suggesties van machinevertaling en/of uit het vertaalgeheugen – kan je nooit variabelen juist peilen zoals wegdromen, sanitaire pauzes, koffiezetten…

18. Voor een recente take over de precaire financiële situatie waarin literair vertalers zich bevinden, zie Annemart Pilon (2020). Als je geen geld hebt om te vertalen’, Filter 27:4. Geraadpleegd van https://www.tijdschrift-filter.nl/jaargangen/2020/274/als-je-geen-geld-hebt-om-te-vertalen-21-16/ (30 oktober 2022).

19 Voor impact van machinelearning om het milieu zie Andrew Joscelyne (2021) How does AI ethics impact translation? en Will Knight (2020). AI can do great things—if it doesn't burn the planet.