Revisiones sistemáticas
Razones para realizar revisiones sistemáticas
- Resumir la evidencia existente sobre un tratamiento o tecnología, por ejemplo para resumir la evidencia empírica de los beneficios y limitaciones de un método ágil específico.
- Identificar las lagunas en la investigación actual para sugerir áreas para futuras investigaciones.
- Proporcionar un marco / antecedentes para posicionar adecuadamente nuevas actividades de investigación.
La importancia de las revisiones sistemáticas
Ventajas y desventajas
Características de las revisiones sistemáticas
Algunas de las características que diferencian una revisión sistemática de una revisión de literatura convencional son:
• Las revisiones sistemáticas comienzan definiendo un protocolo de revisión que especifica la pregunta de investigación que se está abordando y los métodos que se utilizarán para realizar la revisión.
• Las revisiones sistemáticas se basan en una estrategia de búsqueda definida que tiene como objetivo detectar la mayor cantidad de literatura relevante posible.
• Las revisiones sistemáticas documentan su estrategia de búsqueda para que los lectores puedan acceder a su rigor e integridad.
• Las revisiones sistemáticas requieren criterios de inclusión y exclusión explícitos para evaluar cada posible estudio primario.
• Las revisiones sistemáticas especifican la información que se obtendrá de cada estudio primario, incluidos los criterios de calidad para evaluar cada estudio primario.
• Una revisión sistemática es un requisito previo para el metanálisis cuantitativo.
El proceso de revisión
Una revisión sistemática involucra varias actividades discretas. Las pautas existentes para las revisiones sistemáticas tienen diferentes sugerencias sobre el número y el orden de las actividades (ver Apéndie 1). Este documento resume las etapas de una revisión sistemática en tres fases principales: planificación de la revisión, realización de la revisión, informe de la revisión.
Las etapas asociadas con la planificación de la revisión son:
- Identificación de la necesidad de una revisión.
- Desarrollo de un protocolo de revisión.
Las etapas asociadas con la realización de la revisión son:
- Identificación de la investigación.
- Selección de estudios primarios.
- Estudio de evaluación de calidad
- Extracción y monitoreo de datos.
- Síntesis de datos.
Informar la revisión es una fase de una sola etapa.
Cada fase se analiza en detalle en las siguientes secciones. Otras actividades identificadas en las pautas discutidas en el Apéndice 1 están fuera del alcance de este documento.
Las etapas enumeradas anteriormente pueden parecer secuenciales, pero es importante reconocer que muchas de las etapas involucran iteración. En particular, muchas actividades se inician durante la etapa de desarrollo del protocolo y se refinan cuando tiene lugar la revisión adecuada. Por ejemplo:
- La selección de los estudios primarios se rige por los criterios de inclusión y exclusión. Estos criterios se especifican inicialmente cuando se define el protocolo, pero se pueden refinar después de definir los criterios de calidad
- Los formularios de extracción de datos preparados inicialmente durante la construcción del protocolo se modificarán cuando se acuerden los criterios de calidad.
- Los métodos de síntesis de datos definidos en el protocolo pueden modificarse una vez que se hayan recopilado los datos.
La hoja de ruta de revisiones sistemáticas preparada por el Grupo de Revisiones Sistemáticas en Berkley demuestra la naturaleza iterativa del proceso de revisión sistemática muy claramente
Planificación
La necesidad de una revisión sistemática
La necesidad de una revisión sistemática surge del requisito de los investigadores de resumir toda la información existente sobre algún fenómeno de manera exhaustiva e imparcial. Esto puede ser para sacar una conclusión más general sobre algún fenómeno de lo que es posible a partir de estudios individuales, o como un preludio para futuras actividades de investigación.
Antes de emprender una revisión sistemática, los investigadores deben asegurarse de que sea necesaria una revisión sistemática. En particular, los investigadores deben identificar y revisar cualquier revisión sistemática existente del fenómeno de interés contra los criterios de evaluación apropiados. CRC [12] sugiere la siguiente lista de verificación:
- ¿Cuáles son los objetivos de la revisión?
- ¿Qué fuentes se buscaron para identificar estudios primarios? ¿Hubo alguna restricción?
- ¿Cuáles fueron los criterios de inclusión / exclusión y cómo se aplicaron?
- ¿Qué criterios se usaron para evaluar la calidad de los estudios primarios y cómo se aplicaron?
- ¿Cómo se extrajeron los datos de los estudios primarios
- ¿Cómo se sintetizaron los datos?
- ¿Cómo se investigaron las diferencias entre los estudios? ¿Cómo se combinaron los datos?
- ¿Fue razonable combinar los estudios?
- ¿Las conclusiones fluyen de la evidencia?
Desde un punto de vista más general, Greenlaugh [9] sugiere las siguientes preguntas:
- ¿Puede encontrar una pregunta clínica importante, que la revisión abordó? (Claramente, en ingeniería de software, esto debería adaptarse para referirse a una pregunta importante de ingeniería de software).
- ¿Se realizó una búsqueda exhaustiva de las bases de datos apropiadas y se exploraron otras fuentes potencialmente importantes?
- ¿Se evaluó la calidad metodológica y los ensayos se ponderaron en consecuencia?
- ¿Cuán sensibles son los resultados a la forma en que se realizó la revisión?
- ¿Se han interpretado los resultados numéricos con sentido común y con la debida consideración a los aspectos más amplios del problema?
Desarrollo de un protocolo de revisión
Un protocolo de revisión especifica los métodos que se utilizarán para llevar a cabo una revisión sistemática específica. Es necesario un protocolo predefinido para reducir la posibilidad de sesgo del investigador. Por ejemplo, sin un protocolo, es posible que la selección de los estudios individuales o el análisis puedan estar impulsados por las expectativas del investigador. En medicina, los protocolos de revisión generalmente se someten a una revisión por pares.
Los componentes de un protocolo incluyen todos los elementos de la revisión más información adicional de planificación:
- Antecedentes. La justificación de la encuesta.
- Las preguntas de investigación que la revisión pretende responder.La estrategia que se utilizará para buscar estudios primarios, incluidos los términos de búsqueda y los recursos a buscar, los recursos incluyen bases de datos, revistas específicas y actas de congresos. Un estudio de alcance inicial puede ayudar a determinar una estrategia adecuada.
- Estudiar criterios y procedimientos de selección. Los criterios de selección de estudios determinan los criterios para incluir o excluir un estudio de la revisión sistemática. Por lo general, es útil probar los criterios de selección en un subconjunto de estudios primarios. El protocolo debe describir cómo se aplicarán los criterios, por ejemplo, cuántos evaluadores evaluarán cada estudio primario prospectivo y cómo se resolverán los desacuerdos entre los evaluadores.
- Estudie las listas de verificación y los procedimientos de evaluación de calidad. Los investigadores deben desarrollar listas de verificación de calidad para evaluar los estudios individuales. El propósito de la evaluación de calidad guiará el desarrollo de listas de verificación.
- Estrategia de extracción de datos. Esto debería definir cómo se obtendría la información requerida de cada estudio primario. Si los datos requieren manipulación o se deben hacer suposiciones e inferencias, el protocolo debe especificar un proceso de validación apropiado
- Síntesis de los datos extraídos. Esto debería definir la estrategia de síntesis. Esto debería aclarar si se pretende o no un metanálisis formal y, de ser así, qué técnicas se utilizarán
- Calendario del proyecto. Esto debería definir el plan de revisión.
La pregunta de investigación
Tipos de preguntas
La actividad más importante durante el protocolo es formular la pregunta de investigación. Las Directrices australianas de NHMR [1] identifican seis tipos de preguntas de atención médica que pueden abordarse mediante revisiones sistemáticas:
- Evaluar el efecto de la intervención.
- Evaluar la frecuencia o tasa de una afección o enfermedad.
- Determinación del desempeño de una prueba de diagnóstico.
- Identificar la etiología y los factores de riesgo.
- Identificar si una condición puede predecirse.
- Evaluar el valor económico de una intervención o procedimiento
En ingeniería de software, no está claro cuál sería el equivalente de una prueba de diagnóstico, pero las otras preguntas se pueden adaptar a los problemas de ingeniería de software de la siguiente manera:
- Evaluar el efecto de una tecnología de ingeniería de software.
- Evaluar la frecuencia o tasa de un factor de desarrollo del proyecto, como la adopción de una tecnología, o la frecuencia o tasa de éxito o fracaso del proyecto.
- Identificar los costos y los factores de riesgo asociados con una tecnología.
- Identificar el impacto de las tecnologías en los modelos de confiabilidad, rendimiento y costo.
- Análisis de costo beneficio de las tecnologías de software.
Las pautas médicas a menudo proporcionan diferentes pautas y procedimientos para diferentes tipos de preguntas. Este documento no llega a este nivel de detalle. El tema crítico en cualquier revisión sistemática es hacer la pregunta correcta. En este contexto, la pregunta correcta suele ser una que:
- Sea significativo e importante tanto para los profesionales como para los investigadores. Por ejemplo, los investigadores podrían estar interesados en saber si una técnica de análisis específica conduce a una estimación significativamente más precisa de los defectos restantes después de las inspecciones de diseño.
Sin embargo, un profesional puede querer saber si la adopción de una técnica de análisis específica para predecir defectos restantes es más efectiva que la opinión de expertos para identificar documentos de diseño que requieren una nueva inspección. - Conduzca a cambios en la práctica actual de ingeniería de software o a una mayor confianza en el valor de la práctica actual. Por ejemplo, los investigadores y los profesionales desearían saber en qué condiciones un proyecto puede adoptar con seguridad tecnologías ágiles y en qué condiciones no debería.
- Identificar discrepancias entre las creencias comunes y la realidad.
Sin embargo, hay revisiones sistemáticas que hacen preguntas que son principalmente de interés para los investigadores. Dichas revisiones hacen preguntas que identifican y/o abarcan futuras actividades de investigación. Por ejemplo, una revisión sistemática en una tesis de doctorado debe identificar la base existente para el trabajo del estudiante de investigación y dejar en claro dónde encaja la investigación propuesta en el cuerpo de conocimiento actual.
Estructura de preguntas
Las pautas médicas recomiendan considerar una pregunta de tres puntos de vista:
- La población, es decir, las personas afectadas por la intervención.
- Las intervenciones suelen ser una comparación entre dos o más tratamientos alternativos.
- Los resultados, es decir, los factores clínicos y económicos que se utilizarán para comparar las intervenciones.
Además, se pueden identificar los diseños de estudio apropiados para responder las preguntas de revisión.
Población
En experimentos de ingeniería de software, las poblaciones pueden ser cualquiera de los siguientes:
- Una función específica de ingeniería de software, p. probadores, gerentes.
- Un tipo de ingeniero de software, p. Un ingeniero novato o experimentado.
- Un área de aplicación, p. Sistemas informáticos, sistemas de mando y control.
Una pregunta puede referirse a grupos de población muy específicos, por ejemplo, evaluadores novatos o arquitectos de software con experiencia que trabajan en sistemas de TI. En medicina, las poblaciones se definen para reducir el número de estudios primarios prospectivos. En ingeniería de software, se realizan estudios mucho menos primarios, por lo tanto, es posible que debamos evitar cualquier restricción en la población hasta que lleguemos a considerar las implicaciones prácticas de la revisión sistemática.
Intervención
Las intervenciones serán tecnologías de software que aborden problemas específicos, por ejemplo, tecnologías para realizar tareas específicas, como la especificación de requisitos, las pruebas del sistema o la estimación de costos de software.
Resultados
Los resultados deben relacionarse con factores de importancia para los profesionales, como una mayor confiabilidad, menores costos de producción y menor tiempo de comercialización. Se deben especificar todos los resultados relevantes. Por ejemplo, en algunos casos requerimos intervenciones que mejoren algún aspecto de la producción de software sin afectar a otro, por ejemplo, mayor confiabilidad sin aumento en el costo.
Un problema particular para los experimentos de ingeniería de software es el uso de medidas sustitutas, por ejemplo, defectos encontrados durante las pruebas del sistema como un sustituto de la calidad,
