Procesamiento de Lenguaje Natural, los Transformers y los Bots Conversacionales

Abstract

En el presente análisis se realiza una descripción de la arquitectura Transformer, haciendo énfasis en los bloques funcionales más importantes con los cuales estos modelos pasaron de utilizar un procesamiento y entrenamiento en serie de las redes neuronales recurrentes a un procesamiento en paralelo, con lo que mejoraron notoriamente los tiempos de respuesta y aumentaron la capacidad de procesamiento; es decir los Transformer significaron una evolución notable en el Procesamiento de Lenguaje Natural PLN. Estos logros fueron obtenidos a través del uso de mecanismos de atención y referenciando las posiciones de las palabras de las entradas, aspecto que facilitó que los modelos manejaran una ‘memoria’ a largo plazo; característica, que era una limitante de los antiguos modelos. Se resaltan, además, los usos que en la actualidad se le está dando a esta arquitectura y que no están ligados al procesamiento del lenguaje natural (Chatbots), como es el caso del área de la ciberseguridad con el uso del Bot SecGPT, ente otras áreas de desarrollo y aplicación.