Lessons from an escalation prediction competition

Abstract

Recent research on the forecasting of violence has mostly focused on predicting the presence or absence of conflict in a given location, while much less attention has been paid to predicting changes in violence. We organized a prediction competition to forecast changes in state-based violence both for the true future and for a test partition. We received contributions from 15 international teams. The models leverage new insight on the targeted problem, insisting on methodological advances, new data and features, and innovative frameworks which contribute to the research frontiers from various perspectives. This article introduces the competition, presents the main innovations fostered by the teams and discusses ways to further expand and improve upon this wisdom of the crowd. We show that an optimal modeling approach builds on a good number of the presented contributions and new evaluation metrics are needed to capture substantial models’ improvements and reward unique insights. La investigación reciente sobre la previsión de la violencia se ha centrado principalmente en predecir la presencia o ausencia de conflictos en un determinado lugar, mientras que se ha prestado mucha menos atención a predecir los cambios en la violencia. Organizamos una competencia de predicción para predecir los cambios en la violencia estatal tanto para el futuro cierto como para una división del análisis. Recibimos aportes de quince equipos internacionales. Los modelos aprovechan las nuevas ideas sobre el problema específico insistiendo en los avances metodológicos, los nuevos datos y características, así como en los marcos innovadores que contribuyen a las fronteras de la investigación desde diversas perspectivas. Este artículo presenta la competencia y las principales innovaciones que los equipos fomentan, y analiza maneras de expandirse y mejorar aún más a partir de esta sabiduría del público. Mostramos que un enfoque de modelación óptimo se crea a partir de un buen número de aportes presentados y que se necesitan nuevas métricas de evaluación para capturar las mejoras considerables de los modelos y para premiar las ideas únicas. Les recherches récentes sur la prévision de la violence se sont principalement concentrées sur la prédiction de la présence ou de l’absence de conflit dans un lieu donné, alors que beaucoup moins d’attention a été accordée à la prédiction des évolutions de la violence. Nous avons organisé un concours de prédictions dont l’objectif était de prévoir les évolutions de la violence étatique à la fois pour le futur réel et pour une partition test. Nous avons reçu des contributions de 15 équipes internationales. Les modèles concernés tirent profit de nouveaux renseignements sur le problème ciblé en insistant sur les progrès méthodologiques, sur de nouvelles données et caractéristiques et sur des cadres innovants contribuant à élargir les frontières des recherches de divers points de vue. Cet article présente le concours et les principales innovations proposées par les équipes et aborde les moyens d’étendre et d’améliorer cette sagesse de la foule. Nous montrons qu’une approche optimale de la modélisation repose sur bon nombre des contributions présentées et que de nouvelles métriques d’évaluation sont nécessaires pour saisir les améliorations substantielles des modèles et récompenser les idées uniques.