Assessing the Effectiveness of AI Tools (Elicit, SciSpace, and Consensus) in Literature Review and Research [Retracted]

Abstract

The authors share the sentiments of other researchers that conducting a literature review and creating a matrix is a cumbersome task. The development of research tools that benefit researchers in their study conduct is always interesting and welcome. Thus, the objectives of this study are: (1) To evaluate the features and functionalities of Elicit, SciSpace, and Consensus in facilitating literature review and research and recommend the applicability of each tool for a type of research; (2) Assess and identify the strengths of these tools and align the impact with research workflows and efficiency; and (3) Utilize documented user feedback and opinions to ensure the appropriate AI tool is available for the researchers. This study adopts a mixed-methods approach. Firstly, a systematic literature review is conducted to gather relevant studies, user feedback, and expert opinions on the AI tools. These same studies will be used as the sample variables for this study. Secondly, a comparative evaluation of each AI tool against the original document and each other is conducted to assess each tool against the established evaluation criteria, which include search capabilities, document retrieval, summarization accuracy, citation analysis, and integration with existing research workflows. Lastly, the strengths and weaknesses of each tool are identified in relation to the criteria, and the effectiveness of the AI tool is determined based on the original content of the sample material. The findings of this study include (a) identified AI tools, such as Elicit, SciSpace, and Consensus, which offer valuable contributions to the research community through productivity-boosting features. (b) Each tool has strengths and weaknesses in search capabilities, document retrieval, summarization accuracy, citation analysis, and integration with existing research workflows; and (c) Documented user feedback indicates positive experiences with the usability and effectiveness of the tools, highlighting their potential to enhance research workflows. This study acknowledges potential limitations, including the reliance on user feedback and the subjective nature of user experiences. The evaluation is based on a specific set of criteria, and the results may vary depending on individual research needs and preferences. This study offers practical implications for researchers, students, and professionals seeking efficient and effective tools for conducting literature reviews. Elicit, SciSpace, and Consensus offer insights into their strengths, weaknesses, and potential applications. The findings contribute to informed decision-making regarding the adoption and utilization of these AI tools in research. This study examines AI tools designed explicitly for conducting literature reviews, distinguishing itself from existing research that predominantly emphasizes the application of AI in academic research settings. It offers an analysis of how various AI features can enhance the literature review process, thereby contributing a unique perspective to the ongoing discourse on the integration of AI in research methodologies.Les auteurs partagent l’avis d’autres chercheurs selon lequel réaliser une revue de littérature et créer une matrice constitue une tâche laborieuse. Le développement d’outils de recherche qui facilitent le travail des chercheurs est donc toujours intéressant et bienvenu. Ainsi, les objectifs de cette étude sont les suivants : (1) Évaluer les fonctionnalités d’Elicit, SciSpace et Consensus pour faciliter la revue de littérature et la recherche, et recommander l’applicabilité de chaque outil selon le type de recherche ; (2) Examiner et identifier les forces de ces outils et aligner leur impact sur les flux de travail et l’efficacité de la recherche ; (3) Utiliser les retours et avis documentés des utilisateurs afin de garantir que l’outil d’IA approprié soit disponible pour les chercheurs. Cette étude adopte une approche méthodologique mixte. Premièrement, une revue systématique de la littérature est menée afin de recueillir des études pertinentes, des retours d’utilisateurs et des avis d’experts sur ces outils d’IA. Ces mêmes études serviront de variables d’échantillonnage pour cette recherche. Deuxièmement, une évaluation comparative de chaque outil d’IA, à la fois par rapport au document original et entre eux, est réalisée afin de les analyser selon des critères d’évaluation établis, incluant les capacités de recherche, la récupération de documents, la précision des résumés, l’analyse des citations et l’intégration aux flux de travail existants. Enfin, les forces et faiblesses de chaque outil sont identifiées au regard de ces critères, et l’efficacité de l’outil d’IA est déterminée à partir du contenu original du matériel étudié. Les résultats de cette étude montrent : (a) l’identification d’outils d’IA tels qu’Elicit, SciSpace et Consensus, qui apportent des contributions précieuses à la communauté scientifique grâce à des fonctionnalités améliorant la productivité ; (b) chaque outil présente des forces et des faiblesses en matière de capacités de recherche, de récupération de documents, de précision des résumés, d’analyse des citations et d’intégration aux flux de travail existants ; (c) les retours documentés des utilisateurs indiquent des expériences positives concernant l’utilisabilité et l’efficacité de ces outils, soulignant leur potentiel à améliorer les processus de recherche. Cette étude reconnaît certaines limites potentielles, notamment la dépendance aux retours des utilisateurs et la nature subjective de leurs expériences. L’évaluation repose sur un ensemble spécifique de critères, et les résultats peuvent varier selon les besoins et préférences de chaque chercheur. Cette étude a des implications pratiques pour les chercheurs, étudiants et professionnels à la recherche d’outils efficaces pour mener des revues de littérature. Elicit, SciSpace et Consensus fournissent un aperçu de leurs forces, faiblesses et applications potentielles. Les résultats contribuent à éclairer la prise de décision concernant l’adoption et l’utilisation de ces outils d’IA dans la recherche. Enfin, cette étude examine des outils d’IA conçus explicitement pour la réalisation de revues de littérature, se distinguant ainsi des travaux existants qui se concentrent principalement sur l’application de l’IA dans les environnements de recherche académique. Elle propose une analyse de la manière dont diverses fonctionnalités d’IA peuvent améliorer le processus de revue de littérature, apportant ainsi une perspective unique au débat actuel sur l’intégration de l’IA dans les méthodologies de recherche.