Validación de instrumentos como garantía de la credibilidad en las investigaciones científicas

ARTÍCULO DE OPINIÓN

 

Validación de instrumentos como garantía de la credibilidad en las investigaciones científicas

Validation of instruments as a guarantee of credibility in scientific research

 

Raúl López Fernández1,2 http://orcid.org/0000-0001-5316-2300

Raidell Avello Martínez2

Diana Elisa Palmero Urquiza2

Samuel Sánchez Gálvez3

Moisés Quintana Álvarez4

 

1Universidad Metropolitana de Ecuador. Machala, Ecuador.
2Universidad de Cienfuegos "Carlos Rafael Rodríguez". Cienfuegos, Cuba.
3Universidad de Guayaquil. Guayaquil, Ecuador.
4Universidad Tecnológica de Bolívar. Cartagena de Indias, Colombia.

 

 

RESUMEN

La validación de instrumentos, es considerada, por el alcance de su rigor científico, un tipo de estudio con sus características y procedimientos. Este trabajo tiene como finalidad proponer una metodología para la validación de un instrumento científico. Se utilizaron métodos teóricos como el histórico lógico y el analítico sintético, y desde la empírea, al análisis de documentos, los cuales permitieron arribar a la metodología propuesta. Los resultados fundamentales están asociados con una estructura secuencial, de estricto cumplimiento para asegurar que el instrumento esté validado y así obtener resultados avalados desde la ciencia.

Palabras clave: estudios de validación como sujeto; mediciones, métodos y teorías; metodología.

ABSTRACT

Instrument validation is considered, for the scope of its scientific rigor, a type of study with its characteristics and procedures. The purpose of this work is to propose a methodology for the validation of a scientific instrument. Theoretical methods were used, such as the logical historical and the synthetic analytical, and from the empirical, to the analysis of documents, which allowed arriving at the proposed methodology. The main results are associated with a sequential structure of strict compliance to ensure that an instrument is validated, and thus obtain results guaranteed by science.

Keywords: validation studies as a subject; measurements, methods and theories; methodology.

 

 

INTRODUCCIÓN

Un número importante de investigaciones científicas denota falta de rigor,(1) y ello está dado en gran medida por la no validación de los instrumentos utilizados. Esto se evidencia mucho más en las ciencias conductuales, donde la metodología más frecuente es la cualitativa,(2,3,4) tipo de investigación donde se observa un uso indiscriminado de instrumentos, que no son propios de esta metodología. Ello responde a un interés por la búsqueda de contextualización y homogeneidad.(1)

En un análisis realizado a 102 tesis doctorales desarrolladas en los últimos 10 años, se detectó que el instrumento más utilizado es la encuesta; que cada investigación diseñó su propio instrumento; y que, en los mejores de casos, respondían a los objetivos trazados (Conferencia en curso postdoctoral: Análisis del uso de instrumentos en investigaciones doctorales, presentada en 2014 por Tomás Crespo Borges, en la Universidad Pedagógica de Villa Clara).

En esta dirección se orienta el presente artículo, que tiene la finalidad de proponer una metodología para la validación de un instrumento científico.

 

DESARROLLO

Por su importancia y complejidad de aplicación, la validación de instrumentos está considerada como un tipo de estudio dentro de los de intervención, es decir, al mismo nivel de los experimentales, cuasi-experimentales, entre otros.(5)

El cuestionario es un instrumento para la recogida de información, diseñado para cuantificarla y universalizarla. Por esta razón, el momento de la validación tiene gran importancia, pues los resultados que se obtienen de su aplicación, pueden falsear la investigación, y con ello, acarrear consecuencias fatales en estudios robustos, en el orden social, constructivo, vida de un paciente, entre otros.(6)

En este trabajo se utilizarán secciones divisorias, en la práctica es un proceso que se presenta como un sistema, donde todos sus elementos tienen una función importante.

Se describe a continuación una primera concepción que cuenta con dos fases:

Fase 1: Generalidades de la validación

Un instrumento debe cumplir con dos elementos fundamentales: validez y confiabilidad,(7) para que coincida con el instrumento patrón de oro. De no existir, entonces debe cumplir una serie de requisitos, para ser suficientemente confiable, como para asumir los resultados en una investigación científica.

Primero: Validación implica dos conceptos fundamentales, ¿Qué se ha aplicado hasta este momento? ¿Es bueno, seguro?. Segundo: ¿Cuán exacto es el nuevo instrumento para compararlo con el aceptado por la comunidad científica, como correcto en sus mediciones?

Fase 2: Validez interna

Validez es el grado en que un instrumento mide lo que debe medir. Para obtenerlo se tiene que comparar el instrumento a utilizar con el ideal, patrón de oro o Gold Standard.(8)

Reafirmada como proceso, se han postulado para ella cinco fuentes de evidencia: según el contenido, la estructura interna, en relación a otras variables, en las consecuencias del instrumento y en los procesos de respuesta.(9)

Confiabilidad es el grado de congruencia con el cual un instrumento, mide la variable. Se obtiene de evaluar la reproducibilidad, que es cuando existe una buena correlación en las mediciones en distintos momentos; y por otro lado, la fiabilidad, que es la exactitud en las mediciones en diferentes momentos. La aplicación de ambos conceptos se pone de manifiesto en un reciente artículo, donde se valida un instrumento con la finalidad de ser utilizado en un estudio sobre los destinos turísticos en la provincia de El Oro, Ecuador.(8)

Cuando se explora el estado del arte, lo primero que se debe hacer es verificar la existencia de instrumentos aplicados en investigaciones anteriores, utilizados para el mismo fin, que hayan sido validados en su momento, como parte del proceso investigativo. Las pruebas más usadas, según las medidas de las variables, pueden ser t de Student o Anova, si los datos siguen una distribución normal; de lo contrario, sus homólogas no paramétricas; Wilcoxon o Kruskal Wallis, en el caso de dos o tres mediciones, respectivamente, en ambas situaciones.

Cuando no existe un instrumento que se ajuste a los objetivos de la investigación, entonces se debe proceder a conformarlo y contrastarlo, con el ideal o patrón de oro.

En la segunda opción, la validez es muy difícil de probar, pues se ha decidido utilizar un instrumento diferente a los existentes en la literatura consultada.

Seguidamente, se constata la confiabilidad. Para ello se mide la reproducibilidad. Se aplica el instrumento varias veces (dos o más) en muestras que pertenezcan al mismo universo o población donde se realiza la investigación. Para obtener una correlación considerada buena en los resultados (según los coeficientes de Pearson, Spearman o el coeficiente de concordancia CCC) entre las mediciones, se acepta un valor mayor a 0,7, aunque el ideal es 0,9.

Para la fiabilidad, se prueba que en las distintas mediciones, tomadas en el mismo universo o población, las respuestas de los sujetos no difieren significativamente, es decir, existe exactitud en las mediciones del instrumento en diferentes momentos. Las pruebas estadísticas más usadas son la V de Aiken y el error de Dahlberg. Por tanto, la validez se mide con otro instrumento, y la confiabilidad con el mismo (Fig. 1).

 

 

Otros autores incluyen el término de optimización. Está asociado a minimizar el error a la hora de propiciar un criterio, al momento de la toma de decisiones, a partir de los resultados obtenidos del instrumento.

En sentido general, en los estudios debatidos se puede apreciar que existen varias formas de realizar la validación de los instrumentos de medición. Se puede usar la que el investigador considere más ajustada, pero teniendo presente que la seleccionada cumpla con todo el rigor científico necesario.

Se mostrará, a continuación, una metodología para validar un instrumento de medición, la cual es un híbrido entre la concepción de dos grupos distintos de autores, que en esencia son similares (Fig. 2).

Según la figura 2, el análisis se divide en dos clasificaciones, cualitativo y cuantitativo, mientras, que la figura 1 lo separa en, validez interna y externa.

La cualitativa, que coincide con el análisis de contenido, es parte de la validez interna. A esta se le añaden la fiabilidad y el constructo, que pertenecen a la cuantitativa, al igual que el criterio, la estabilidad y el rendimiento. Estas tres últimas se corresponden con la validez externa.

Una segunda concepción, que cuenta con seis fases, en correspondencia con la idea de Supo,(5) se describe a continuación:

Fase 1: cualitativa o validación de contenido. Forma parte de la validez interna. Es la creación del instrumento. Se divide en tres momentos, los cuales no tienen que seguir un orden, pero son de obligatoria aplicación. Coincide con un tipo de investigación de diagnóstico.

  • Aproximación a la población: su finalidad es indagar sobre la problemática que se aborda, acercarse a las unidades de análisis o variables que se deben utilizar en la investigación. Para ello se pueden hacer entrevistas, estudios de sondeos de población y otros, que faciliten esta información.
  • Juicio de expertos: los expertos seleccionados son los encargados de valorar si los ítems que están en el instrumento son claros, precisos, relevantes, coherentes y exhaustivos.
  • Validez racional (conocimiento): deben ser conceptos que se han buscado en la literatura. Se supone que el investigador es conocedor del tema que se estudia.

Fase 2: cuantitativa o confiabilidad. Está dentro de la validez interna del instrumento.

Esta fase fue detallada anteriormente. Según Aiken: "… hablando en términos estrictos, más que ser una característica de una prueba, la confiabilidad es una propiedad de las puntuaciones obtenidas cuando se administra la prueba a un grupo particular de personas, en una ocasión particular y bajo condiciones específicas".(10)

Para determinar la confiabilidad se utiliza el Alfa de Cronbach o Kunder-Richardson (KR-20). Expresa si la proporción de la varianza en los resultados que se obtienen, es verdadera, y se asume que toda condición que no es relevante en la medición representa varianza error.(10)

El coeficiente α fue propuesto por Cronbach en el año 1951, y es considerado como un estimador de consistencia interna para medidas psicológicas, uno de los índices estadísticos más utilizados a pesar de sus innumerables críticas. Su popularidad puede ser atribuida a su importancia en la práctica psicométrica. Se basa en el uso de múltiples indicadores para medir constructos latentes, atribuye gran importancia a la confiabilidad de las mediciones. Este coeficiente tiene propiedades deseables en relación a otros índices utilizados para el análisis de confiabilidad, tales como; facilidad de cálculo y su aplicación en casi todos los programas estadísticos, entre otros.(11)

Fase 3: validez de constructo.

Para determinar este elemento de la validez interna, considerada una investigación descriptiva, se utiliza el análisis factorial. Este se originó en el campo de la psicometría y en las ciencias del comportamiento (ciencias sociales, mercadeo, gestión de producto, investigación de operaciones en general; con todas las ciencias que trabajan con grandes cantidades de datos). Establece grupos de ítems a los que se denomina dimensiones.(12)

El análisis factorial es exploratorio si pretende descubrir en los datos, la estructura subyacente, es decir, la estructura interna de un gran número de variables. Es confirmatorio, si se rige por teorías sustantivas y por expectativas. Dicho de otra forma, para determinar si la cantidad de factores y sus pesos, se corresponden en relación a una teoría existente acerca de los datos. Sus aplicaciones son para identificar factores que declaren una variedad de resultados en diferentes pruebas. La validez del instrumento es para verificar si mide los factores escogidos.(13)

Pasos para realizar un análisis factorial:

  • Medir las correlaciones entre las variables.
  • Determinar el método de KMO o Bartlett, que son los que permiten verificar si se puede hacer un análisis factorial o no.
  • Determinar la matriz de factores.
  • El resumen se muestra a través del gráfico de saturaciones.

Fase 4: Validez de criterio. Pertenece a la validez externa. Es la parte predictiva de la investigación, a partir de un patrón de oro oGold Standard. Al medir el grado de concordancia (Kendall, Kappa) o correlación (Spearman, Pearson, CCC) entre ambos resultados, el seleccionado debe estar en correspondencia con la medida de las variables. Se expresa a través de validez concurrente y validez predictiva. La primera fija el criterio en el presente y la segunda en el futuro.

Fase 5: es la parte explicativa de la investigación.

Está asociada con la obtención de los mismos resultados o muy similares, independientemente de los sesgos que puedan interferir en una cantidad X de mediciones realizadas. Estas mediciones deben ser escogidas en condiciones homogéneas, y la resultante debe ser constante y reproducible en el tiempo. Todo ello implica repeticiones frecuentes de mediciones.

Fase 6: el rendimiento está asociado a la toma de decisiones. Es la parte de aplicación, a través de la evaluación de la investigación.

Si es a través de la aplicación del instrumento y su análisis es retrospectivo, se dice que es predictiva o criterio predictivo. Si es en el presente, se le denomina validez concurrente. Se trata de minimizar el error a la hora de emitir el análisis de los resultados derivados del instrumento. Es decir, pretende buscar el punto de corte, donde los valores de sensibilidad y especificidad son mayores. La curva de ROC, que se construye con puntos de cortes del instrumento, evidencia, desde el análisis geométrico, el punto óptimo.

AUC mayor de 0,9= Excelente

AUC mayor de 0,8= Bueno

AUC mayor de 0,7= Aceptable

AUC menor o igual a 0,7: el modelo no es aconsejable

La validez de instrumentos es un tema usual en algunas ciencias sociales, como la Pedagogía. Ello se asocia a limitado rigor científico, y a resultados no fiables.(14,15)

Esta propuesta brinda a la comunidad científica una metodología a partir de una serie de fases de validación, sobre cómo deben ser usados los instrumentos para que se verifiquen los argumentos y propiedades que lo hacen científico.

 

Conflictos de intereses

Los autores declaran no tener conflictos de intereses.

 

REFERENCIAS BIBLIOGRÁFICAS

1. Arias MM, Giraldo CV. El rigor científico en la investigación cualitativa. Invest Educ Enferm. 2011;29(3):500-14.

2. Castillo E, Vásquez ML. El rigor metodológico en la investigación cualitativa. Colombia Médica. 2003;34(3):164-7. Acceso: 15/10/2018. Disponible en: http://www.redalyc.org/articulo.oa?id=28334309

3. Cypress BS. Rigor or Reliability and Validity in Qualitative Research: Perspectives, Strategies, Reconceptualization, and Recommendations. Dimens Crit Care Nurs. 2017;36(4):253-63.

4. Rettke H, Pretto M, Spichiger E, Frei IA, Spirig R. Using Reflexive Thinking to Establish Rigor in Qualitative Research. Nurs Res. 2018;67(6):490-97.

5. Supo J. Cómo validar un instrumento. Lima: Biblioteca Nacional de Perú; 2013. Acceso: 15/10/2018. Disponible en: http://cvonline.uaeh.edu.mx/Cursos/Maestria/MGIEV/MGIEV15/Unidad_2/lec_0514_como%20validar%20un%20instrumento.pdf

6. Martin Arribas MC. Diseño y validación de Cuestionarios. Matronas Profesión. 2004;5(17):23-29. Acceso: 15/10/2018. Acceso: 15/10/2018. Disponible en: http://www.enferpro.com/documentos/validacion_cuestionarios.pdf

7. Albites U. Validación de tres instrumentos para medir la calidad de vida relacionada a salud bucal en niños peruanos de 11 a 14 años de edad, Lima, 2013 [Tesis]. Lima: Universidad Científica del Sur; 2013. Acceso: 15/10/2018. Disponible en: http://repositorio.cientifica.edu.pe/bitstream/handle/UCS/123/TE-Albites_Achata.pdf?sequence=1&isAllowed=y

8. López Fernández R, Lalangui Ramírez J, Maldonado Córdova AV. Validación de un instrumento sobre los destinos turísticos para determinar las potencialidades turísticas en la provincia de El Oro, Ecuador. Universidad y Sociedad. 2019;11(2):3-10. Acceso: 25/02/2019. Disponible en: https://rus.ucf.edu.cu/index.php/rus/article/view/1197/1245

9. Sireci S, Padilla J. Validating assessments: introduction to the special section. Psicothema. 2014;26:97-9.

10. Aiken LR. Confiabilidad y validez. En: AUTORES. Tests psicológicos y evaluación. México: Pearson Educación; 2003. p. 85-107.

11. Silva FC, Gonçalves E, Arancibia BA, Bento G, Castro TL, Hernández SS, et al. Estimadores de consistencia interna en las investigaciones en salud: el uso del coeficiente alfa. Rev Perú Med Exp Salud Pública. 2015;32(1):129-38.

12. Hernández Sampieri R. Metodología de la investigación. 6ta ed. México: McGraw-Hill/interamericana; 2014.

13. Covacevich C. Cómo seleccionar un instrumento para evaluar aprendizajes estudiantiles. Washington D.C: Banco Interamericano de Desarrollo; 2014. Acceso: 15/10/2018. Disponible en: https://publications.iadb.org/publications/spanish/document/C%C3%B3mo-seleccionar-un-instrumento-para-evaluar-aprendizajes-estudiantiles.pdf

14. Ventura-León JL. ¿Existen los instrumentos válidos? Un debate necesario. Gaceta Sanitaria. 2017;31(1):71. Acceso 23/04/18. Disponible en: https://www.scielosp.org/article/gs/2017.v31n1/71-71/#

15. Ventura-León JL. ¿Validez de constructo o validez basada en el constructo?: comentarios a Soler et al. Revista de Psiquiatría y Salud Mental. 2017;10(4):183-4. Acceso: 23/04/2018. Disponible en: https://www.elsevier.es/es-revista-revista-psiquiatria-salud-mental-286-articulo-validez-constructo-o-validez-basada-S1888989117300745

 

 

Recibido: 04/03/2019
Aprobado: 09/05/2019

 

 

Raúl López Fernández. Universidad Metropolitana de Ecuador. Machala, Ecuador. Universidad de Cienfuegos "Carlos Rafael Rodríguez". Cienfuegos, Cuba.
Correo electrónico: lopezfernandezruly@gmail.com

Enlaces refback

  • No hay ningún enlace refback.


URL de la licencia: http://creativecommons.org/licenses/by-nc-sa/3.0/