Evaluación de artículos científicos sobre efectos perjudiciales de intervenciones y/o exposiciones

Cuando el objetivo de un estudio es investigar los posibles efectos perjudiciales de un tratamiento o los riesgos de determinadas exposiciones, la pregunta sobre relación causa-efecto que se evalúa puede haberse abordado con diferentes tipos de diseño: ensayo clínico aleatorizado (ECA), estudio de cohortes, estudio de caso-control, casos clínicos aislados, revisión sistemática, etc.¹. Según el tipo de estudio elegido para averiguar si un tratamiento causa en ocasiones un daño, variará el nivel de evidencia científica según las "amenazas a la validez" de cada tipo de diseño²; los principales tipos de estudio puede ser descritos a través de la siguiente tabla 1.

Dado que este análisis puede considerarse equivalente a la cuestión general de la causalidad, se beneficia del planteamiento adquirido en la epidemiología clínica.

Evaluación de publicaciones sobre efectos perjudiciales

Siguiendo las recomendaciones del Evidence-Based Medicine Working Group^3-6 analizaremos los pasos a seguir para analizar la VALIDEZ, la IMPORTANCIA y la APLICABILIDAD (Tabla 2) de los artículos sobre efectos perjudiciales de intervenciones y/o exposiciones, planteando diversas cuestiones:

• ¿Son válidos los resultados?
• ¿Cuáles son los resultados?
• ¿Son aplicables en tu medio?

1.- ¿Son válidos los resultados del estudio?

Se debe responder a la siguiente cuestión: ¿causó esta intervención terapéutica este efecto adverso en algunos pacientes? Y para ello cabe contestar a una serie de preguntas para identificar los artículos que merecen ser leídos con más detalle, dependiendo del nivel calidad de la evidencia que proporcionan. Estas preguntas se clasifican en criterios primarios (son preguntas de eliminación: si no se cumplen estos criterios primarios quizá no valga la pena continuar con la lectura) y secundarios (son preguntas más detalladas, que cabe realizar si se continúa con la lectura del artículo tras cumplir con los criterios primarios), en el que se aceptan tres posibilidades de respuesta a cada pregunta: si, no, no se puede saber.

1. Criterios primarios: 
   • ¿Se han utilizado grupos de comparación similares en cuanto a otros factores determinantes del efecto diferentes a la exposición? : si bien el ECA es el diseño que proporciona la evidencia de mayor calidad sobre una relación causa - efecto, rara vez puede utilizarse para evaluar una posible exposición perjudicial por los problemas éticos que comportaría (sin embargo, si un EC observa una asociación entre una exposición y un efecto adverso, el resultado tiene una gran credibilidad).
     Como alternativa suelen utilizarse los estudios de cohortes, en los que es de la máxima importancia que se haya evaluado la comparabilidad de las cohortes, para que los sujetos que están expuestos al factor presuntamente perjudicial sean similares a los sujetos no expuestos; si se detectan diferencias en variables relacionadas con el pronóstico se deberá realizar un análisis estratificado o multivariante para controlar el posible fenómeno de confusión debido a la influencia de dichas variables; pero no debe olvidarse que pese a este ajuste puede existir un fenómeno de confusión debido a algún factor desconocido o no controlado, por lo que siempre hay que ser prudente al interpretar los resultados de los estudios de cohorte. Cuando el efecto perjudicial es muy raro o tarda mucho en producirse se puede recurrir a los estudios de casos y controles, que son más sensibles a la introducción de sesgos y a la presencia de factores de confusión, por lo que sus resultados deben ser interpretados todavía con mayor cautela. También se puede informar de efectos perjudiciales a partir de casos aislados o series de casos, cuya evidencia es muy débil. Al igual que en otros aspectos de la asistencia sanitaria, las mejores evidencias sobre los efectos adversos se obtendrán mediante una revisión sistemática de todos los estudios pertinentes.
   • ¿Se han valorado de la misma forma en todos los grupos de comparación las exposiciones y los efectos?: en los estudios de casos y controles la valoración de la exposición previa es clave, por lo que el lector debe buscar si se ha utilizado alguna estrategia destinada a evitar los sesgos de memoria o los sesgos asociados al entrevistador. En cambio, en los estudios de cohortes y en los ECA debe prestarse atención a las estrategias seguidas para asegurar que su aparición se ha medido de la misma forma y con la misma probabilidad en ambos grupos.
   • ¿El seguimiento ha sido suficientemente largo y completo?: en los ECA y en los estudios de cohortes el seguimiento debe ser lo suficientemente prolongado para permitir que se desarrolle y detecte el efecto; y también debe ser un seguimiento exhaustivo, ya que la pérdida de pacientes por cualquier motivo puede afectar a la validez del estudio y conducir a una estimación sesgada del riesgo.
2. Criterios secundarios
   • ¿Satisfacen los resultados algunas preguntas diagnósticas de causalidad?: es deseable que el clínico determine si la asociación entre exposición y efectos adversos supera al menos alguna de las pruebas de causalidad razonables, y que exponemos a continuación.
     • ¿Precede la exposición al efecto?: debe asegurarse de que la exposición realmente precede a la aparición del efecto adverso.
     • ¿Existe gradiente dosis-respuesta?: es decir, a mayor intensidad o duración de la exposición se produce un incremento del riesgo del efecto adverso.
     • ¿Existen evidencias claras procedentes de estudios de retirada-reinstauración del tratamiento?: la evidencia también aumenta si existe documentación según la cual el efecto adverso desaparece o disminuye si se retira la exposición, y reaparece o se incrementa cuando se reinstaura.
     • ¿Es coherente la asociación entre los distintos estudios?: cuando se dispone de diferentes estudios, la causalidad también se refuerza si los resultados son coherentes entre ellos, a pesar de haberse realizado en lugares y con poblaciones diferentes.
     • ¿Tiene sentido la asociación desde el punto de vista biológico?: crece la confianza en la fuerza de la asociación cuando existe una explicación biológicamente plausible de la relación observada, compatible con los conocimientos existentes sobre los efectos biológicos del factor exposición.
   • ¿Se ha tratado de forma idéntica a los grupos de pacientes, aparte de la intervención experimental?: las intervenciones distintas del tratamiento en estudio, cuando se aplican de manera distinta a los grupos de tratamiento y de control, se denominan cointervenciones; las cointervenciones constituyen un problema más grave cuando no se utiliza un diseño a doble ciego o cuando se autoriza el uso de tratamientos muy eficaces que no son los investigados.

2- ¿Cuáles son los resultados del estudio?

Las preguntas del apartado anterior se utilizan para analizar la validez interna de una investigación y decidir si un artículo merece una lectura más detallada. El siguiente paso es proceder a una evaluación de los resultados, en relación a la importancia clínica potencial de los hallazgos del estudio: aquí se considera la magnitud y la precisión del efecto de la intervención y/o exposición.

1. - ¿Cuál es la fuerza de la asociación exposición - resultado?: la principal medida que indica si las evidencias válidas de que un tratamiento cause un efecto adverso son también importantes (y potencialmente útiles en la clínica) es la fuerza de la asociación entre la aplicación del tratamiento y la aparición de un efecto adverso.
   En los distintos tipos de estudio utilizados (ECA, estudio de cohortes, estudio de casos y controles, etc [tabla 1]) se utilizan tácticas diferentes para estimar la fuerza de la asociación, tal como analizaremos a continuación.
   La medida de asociación más utilizada es el riesgo relativo (RR), que indica el número de veces que es más probable que el resultado adverso se desarrolle en el grupo expuesto en relación al grupo no expuesto. Un RR de 1 indica que no existe asociación entre la exposición y el resultado adverso; si es >1 indica que existe asociación positiva (aumento del riesgo) y si es <1 indica una asociación negativa (disminución del riesgo). En los estudios de cohortes y en los EC el RR se estima directamente, ya que se conocen las incidencias del resultado adverso en los grupos: [a/(a+b)] / [c(c+d)]. En cambio, en los estudios de casos y controles no se pueden calcular las incidencias porque los sujetos se han seleccionado cuando ya se ha desarrollado el resultado; en estos estudios, la medida de asociación que se utiliza es la odds ratio: OR = ad / bc. La OR suele interpretarse como equivalente del RR, aunque en realidad sólo es una buena aproximación del RR bajo determinadas condiciones: cuando el riesgo basal (frecuencia del resultado de interés en la población de referencia) es bajo (< 10%), ambas medidas son muy similares; cuanto mayor es el riesgo basal, la OR más exagera la magnitud del efecto en relación al RR, es decir, más lo sobrestima cuando es >1 y más lo infraestima cuando es <1. En cualquier caso, grandes discrepancias entre OR y RR sólo se observan en efectos de gran tamaño y riesgos basales elevados; por ello, en la gran mayoría de ocasiones, la interpretación de OR como RR no conduce a cambios en la interpretación cualitativa de los resultados, aunque debe tenerse en cuenta que puede existir cierta sobrestimación de la magnitud del efecto.
   ¿Qué magnitud deberán alcanzar los RR y OR para que lleguen a convencer al clínico? El tamaño de los RR y OR "convincentes" depende del tipo de estudio de donde procede: debido a los sesgos en los estudios de casos y controles es deseable que la OR alcance un valor ≥4; puesto de que los estudios de cohorte son menos propensos a los sesgos el clínico puede quedar convencido con RR ≥3 ; debido a que en los ECA la probabilidad de incurrir en sesgos es menor, cualquier RR cuyo intervalo de confianza excluya 1 es convincente y justifica una atención complementaria1. Dado que la regresión logística permite obtener OR ajustadas por diferentes factores de confusión, la OR se utiliza cada vez con más frecuencia como medida de la magnitud de un efecto o asociación, no sólo en los estudios de caso - control, sino también en los de cohortes y EC, así como en las revisiones sistemáticas.
   Otra medida que puede utilizarse en los estudios de cohortes y ECA es la diferencia de riesgo o de incidencias (DR), que cuantifica en términos absolutos el exceso de riesgo de los expuestos en relación a los no expuestos que se debe a la exposición. Su valor inverso es una medida similar al NNT, que indica el número de personas que es necesario que estén expuestas para que se produzca un daño o resultado adverso (NND); si la exposición es un fármaco, el NND indica el número de sujetos que es necesario tratar con él para que aparezca un determinado efecto adverso. Otra medida, similar a la reducción relativa del riesgo (RRR), es la fracción atribuible en los expuestos (FAe), que es el porcentaje del riesgo observado en los expuestos que puede atribuirse a la exposición. Así, los conceptos de RR u OR son idóneos para determinar si es verdadera la relación con el daño, pero no indican si es clínicamente importante, tal como indica el NND.
   En la tabla 3 se pone un ejemplo hipotético respecto al cálculo de las medidas de la fuerza de asociación entre la exposición a un factor y la presencia de un resultado adverso.
2. ¿Qué precisión tiene la estimación del riesgo?: el intervalo de confianza (IC) nos ofrece una medida de precisión con la que se ha estimado el parámetro poblacional a partir de la simple estimación puntual obtenida a partir de una muestra de pacientes. Los dos valores que definen el IC se llaman límites de confianza, y se suele utilizar arbitrariamente el valor del 95%; un IC es más preciso cuanto más estrecho es. Pueden elaborarse IC para la mayoría de estimaciones o comparaciones estadísticas (OR, RR, RRR, RAR, NNT, NND) y si los autores no aportan los IC, a menudo estos pueden obtenerse de los resultados expuestos en el estudio.

• ¿Son aplicables los resultados a nuestros pacientes?: como siempre, la primer cuestión clave es evaluar si los pacientes son diferentes de los estudiados con respecto a morbilidad, edad, raza, intervenciones o exposiciones previas u otras características importantes, para conocer si los resultados pueden extrapolarse a nuestra práctica clínica.
• ¿Cuál es la magnitud del riesgo: determinar el riesgo del paciente concreto de presentar el resultado negativo; una forma sencilla de hacerlo es expresarlo como fracción del riesgo de los sujetos del estudio, asignándole a nuestro paciente un valor subjetivo en función de su estado clínico: por ejemplo, si estimamos que tiene el doble de riesgo (F = 2), la mitad (F = 0,5), etc, dividiríamos el NND por el valor de F que le hayamos asignado.
• ¿Se debería evitar la exposición?: una vez que se dispone de toda la información, debe decidirse cuál es la actuación que debe seguirse; esta decisión debe tomarse basándose en la fuerza de la inferencia, la magnitud del riesgo si la exposición continúa, la existencia de alternativas y, obviamente, los valores y preferencias del paciente junto con la experiencia clínica del profesional que debe tomar la decisión. Cuando la inferencia es fuerte y la magnitud del riesgo es elevada, la recomendación es fácil; cuando existe una alternativa terapéutica que evita el riesgo, la recomendación también es fácil, aunque no exista una gran evidencia; por el contrario, puede existir una evidencia relativamente elevada, pero no una alternativa igualmente eficaz y más segura.

González de Dios J, Buñuel Álvarez JC. Evaluación de artículos científicos sobre efectos perjudiciales de intervenciones y/o exposiciones. Evid Pediatr. 2007;3:54.

1. Sackett DL, Richardson WS, Rosenberg W, Haynes RB. Medicina basada en la evidencia. Cómo ejercer y enseñar la MBE. Madrid: Churchill Livingstone, 1997.
2. González de Dios J. Niveles de calidad de la evidencia científica. Pediatr Integral. 1999;4:108-13.
3. Levine M, Walter S, Lee H, Haines T. User´s guide to the medical literature. IV. How to use an article about harm. JAMA. 1994;271:1615-9.
4. González de Dios J, Buñuel Álvarez JC, Ochoa Sangrador C. La valoración crítica de documentos científicos y su aplicabilidad a la práctica clínica: aspecto clave en la toma de decisiones basada en las mejores pruebas científicas. Evid Pediatr. 2006;2:37.
5. González de Dios J. Revisión crítica de publicaciones sobre efectos perjudiciales de intervenciones y/o exposiciones. Pediatr Integral. 2003;7:61-3.
6. González de Dios J. Aplicabilidad de los resultados de nuestra valoración crítica de documentos a nuestra práctica clínica. Pediatr Integral. 2003;7:238-40.