A word embedding trained on South African news data

Abstract

This article presents results from a study that developed and tested a word embedding trained on a dataset of South African news articles. A word embedding is an algorithm-generated word representation that can be used to analyse the corpus of words that the embedding is trained on. The embedding on which this article is based was generated using the Word2Vec algorithm, which was trained on a dataset of 1.3 million African news articles published between January 2018 and March 2021, containing a vocabulary of approximately 124,000 unique words. The efficacy of this Word2Vec South African news embedding was then tested, and compared to the efficacy provided by the globally used GloVe algorithm. The testing of the local Word2Vec embedding showed that it performed well, with similar efficacy to that provided by GloVe. The South African news word embedding generated by this study is freely available for public use.Cet article présente les résultats d'une étude qui a développé et testé un plongement lexical (word embedding) entraîné à partir d'un ensemble de données de la presse sud-africaine. Un plongement lexical est une représentation de mots générée par un algorithme, qui peut être utilisée pour analyser le corpus de mots sur lequel l'encodage est entraîné. Le ‘word embedding’ sur lequel s’appuie cet article a été généré à l'aide de l'algorithme Word2Vec, entraîné sur un ensemble de données de 1,3 million d'articles de presse africaine publiés entre janvier 2018 et mars 2021, contenant un vocabulaire d'environ 124 000 mots uniques. L'efficacité de cet encodage des actualités sud-africaines par le biais de Word2Vec a ensuite été testée et comparée à celle de l'algorithme GloVe, utilisé à l'échelle mondiale. Les tests de l'encodage Word2Vec local ont montré qu'il fonctionnait bien, avec une efficacité similaire à celle de GloVe. Le plongement lexical des données de la presse sud-africaines généré par cette étude est librement accessible au public.