Manifestos and ideology: methodological issues and applications to Latin America

Abstract

Abstract: In this paper we compare the recent dataset of Latin American country party manifestos as coded by the Manifest Project database to other estimations of position on the left-right scale and to another coding of the same documents, discussing their limits and potentialities. The differences found between results offer an interesting opportunity to discuss the method, its reliability, and the validity of the coding scheme and the scales. Our findings suggest that the fragile reliability of the hand-coded content analysis could be circumvented by employing intercoder reliability tests and that users must be cautious when basing conclusions on this project’s results.Resumen: La reciente publicación por parte del Manifesto Project de una base de datos de manifiestos partidarios de América del Sur, además de propiciar una vasta gama de investigaciones, es una valiosa oportunidad de evaluar la confiabilidad del método de análisis manual de contenido. Este artículo compara las codificaciones y medidas producidas por el Manifesto Project con otras codificaciones manuales de los mismos documentos y con otras medidas de posición en la escala izquierda-derecha. Esta comparación nos permite discutir los límites y potencialidades del método y las implicaciones de la utilización de sus resultados como medida de ideología. Los resultados encontrados sugieren que la debilidad del análisis manual de contenido respecto de los sesgos de los codificadores podría eludirse empleando pruebas de confiabilidad entre codificadores y que los usuarios deben tener cuidado al basar las conclusiones en sus resultados.Resumo: Este artigo compara a recente base de dados do Manifesto Project de documentos partidários de países latino-americanos a outras medidas de posicionamento na escala esquerda-direita e a outra codificação dos mesmos documentos, discutindo seus limites e potencialidades. As diferenças encontradas entre os resultados oferecem uma ótima oportunidade para discutir o método, sua confiabilidade e a validade do esquema de codificação e das escalas. Nossos achados sugerem que a frágil confiabilidade da análise de conteúdo manual pode ser contornada com testes de confiabilidade entre codificadores e que os usuários dos dados devem ser cautelosos ao basear conclusões sobre seus resultados.