http://dx.doi.org/10.24016/2020.v6n3.172
ARTÍCULO ORIGINAL
La
replicabilidad en la investigación psicológica: una reflexión
Replicability in psychological research: a
reflection
Sharon
Centeno-Leyva 1 y Sergio Dominguez-Lara 1 *
1 Universidad de
San Martín de Porres, Lima, Perú.
* Correspondencia: Sergio
Dominguez-Lara. Tomás Marsano 242 (5to piso), Lima 34, Perú. Correo: sdominguezmpcs@gmail.com
Recibido: 07 de junio de
2020 | Revisado: 02 de agosto de
2020 | Aceptado: 07 de septiembre de
2020 | Publicado Online: 16 de
septiembre de 2020
CITARLO
COMO:
Centeno-Leyva, S. &
Dominguez-Lara, S. (2020). La replicabilidad en la investigación psicológica:
una reflexión. Interacciones, 6(3),
e172. https://doi.org/10.24016/2020.v6n3.172
RESUMEN
Introducción:
En los últimos años, la ciencia psicológica ha
sufrido una crisis de confianza que ha sido marcada por la baja tasa de replicabilidad
demostrada en proyectos colaborativos que intentaron cuantificar esta
problemática, evidenciando la dificultad para realizar replicaciones y la
existencia de un posible exceso de falsos positivos publicados en la literatura
científica. Método: Este artículo de
opinión tuvo como objetivo realizar una revisión del panorama de la crisis de
replicabilidad en psicología, así como también a sus posibles causas. Conclusiones: Se inició desde el estado
de la crisis de replicabilidad, luego se destacaron algunas posibles causas y sus
repercusiones en el avance de la ciencia psicológica, debatiendo sobre diversos
temas asociados, como los sesgos individuales por parte de los investigadores, la
falta de incentivos a los estudios de replicabilidad y los estándares de
prioridad que actualmente tendrían las revistas por los estudios novedosos y
positivos. Finalmente se mencionan las alternativas existentes para revertir esta
situación, entre ellas la apertura a nuevos enfoques estadísticos, la
reestructuración de incentivos y el desarrollo de políticas editoriales que
faciliten los medios para las replicaciones.
Palabras clave: Replicabilidad;
Investigación psicológica; Publicación científica.
ABSTRACT
Background: In recent years, psychological science has suffered a
crisis of confidence that has been marked by the low rate of replicability
demonstrated in collaborative projects that attempted to quantify this problem,
evidencing the difficulty in making replications and the existence of a
possible excess of false positives published in the scientific literature. Method: This opinion article aimed to
review the panorama of the replicability crisis in psychology, as well as its
possible causes. Conclusions: It
began from the state of the replicability crisis, then some possible causes and
their repercussions on the advancement of psychological science were
highlighted, discussing various associated issues, such as individual biases on
the part of researchers, the lack of incentives to replicability studies and
the priority standards that journals would currently have for novel and
positive studies. Finally, the existing alternatives to reverse this situation
are mentioned, among them the opening to new statistical approaches, the
restructuring of incentives and the development of editorial policies that
facilitate the means for replication.
Keywords: Replicability; Psychological Research; Scientific Publication.
Breve
panorama de la replicabilidad de estudios
La publicación en revistas de alto
impacto de un gran número de estudios científicos cuestionables realzó una
controversia sobre los criterios de calidad de la producción científica que ya
era preexistente (Gelman & Loken, 2014). Estas controversias en psicología han logrado estimular las
conversaciones sobre la naturaleza y calidad de la investigación psicológica (Makel et al., 2012). Por ello, un gran número de psicólogos muestran su
preocupación ante un posible exceso de falsos positivos en la literatura
científica (Maxwell et al., 2015) y esta preocupación no es reciente (Agnoli
et al., 2017; John P. A. Ioannidis, 2005). Simmons et al. (2011) afirmarían que es más alta la probabilidad de que un
investigador encuentre evidencia de que existe algún efecto que la probabilidad
de encontrar correctamente la evidencia que no lo hace, lo que alimentaria la
conclusión de que existe una crisis de confianza en la ciencia psicológica (Pashler & Wagenmakers,
2012) que ha generado una reiterada discusión sobre la importancia de la
replicación (Earp & Trafimow, 2015).
En gran medida, la
credibilidad de una ciencia depende de la posibilidad de replicar sus hallazgos,
es decir, reproducir los efectos que se reportan en estudios originales. En ese
sentido, la replicabilidad se convierte en un procedimiento esencial y en uno
de los criterios usados en la investigación científica para garantizar la
validez del conocimiento (Blanco et al., 2018). Por ejemplo, un experimento de replicación que demuestre
que se pueden obtener los mismos resultados en otro lugar o con otro
investigador se concibe como la operacionalización de la objetividad, y aunque la
replicación es de gran importancia (Schmidt, 2009), rara vez los estudios de replicación aparecen en las
revistas de psicología (Association for Psychological
Science, 2013), dado que solo un mínimo porcentaje (1.07%) corresponde a estudios
replicados (Makel et al., 2012). Esta situación se debe a una menor valoración de estudios de
replicación frente a estudios originales (o novedosos) por parte del consejo
editorial de las revistas, generados por un énfasis en la novedad (Stevens, 2017).
En vista de esta
situación, uno de los proyectos más grandes que intentó cuantificar los
problemas de replicabilidad en la psicología fue el Reproducibility Project: Psychology (Open Science Collaboration,
2015) donde intentaron replicar 100 estudios extraídos de manera aleatoria de
tres de las revistas más prestigiosas, de los cuales 97 reportaban resultados
significativos. Sin embargo, solo un 36% de los estudios de replicación lo
hicieron. Además, la magnitud del efecto de las réplicas fue la mitad de lo
observado en los estudios originales. Estos resultados avivaron el debate sobre
las conclusiones de la baja tasa de replicabilidad en psicología (Protzko & Schooler, 2020), demostrando que la tasa de replicabilidad en psicología
social es de solo el 25% y en psicología cognitiva del 50% (Open Science Collaboration,
2015). Por otro lado aunque la psicología clínica y escolar no han sido
incluidos con mucha frecuencia en los estudios y discusiones sobre
replicabilidad e incluso se consideren “aislados”, es poco probable que sean
inmunes a esta crisis (Tackett et al., 2017). Incluso, en vista de la heterogeneidad de los sistemas
educativos en los diferentes países, es altamente probable que la tasa de
replicabilidad sea aún más baja.
Los resultados de los
estudios de replicabilidad no han sido alentadores, sin embargo, los propios
autores señalan la necesidad de realizar estos estudios en otros contextos para
poder determinar la influencia que podría existir por las diferencias
culturales.
Tipos de replicación
En párrafos
anteriores se indicó que la replicabilidad es la piedra angular de la ciencia (Open Science Collaboration, 2012); sin embargo, esto no coincide con el número de
replicaciones que se observan en la literatura, y aunque durante los últimos
años los investigadores han mostrado cada vez más preocupación por conocer si
realmente los hallazgos que se publican en la literatura son replicables (Świątkowski & Dompnier,
2017), los propios investigadores no realizan estudios de replicación. Esta
situación abre una serie de interrogantes: ¿Cuáles son las razones por las que pese
a conocer su importancia no se refleja en literatura científica un número
considerable de estos estudios? y un punto más importante aún ¿Cómo se puede
lograr impulsar el desarrollo de más estudios de replicación?
Es importante conocer
que un estudio de réplica es un procedimiento que se utiliza para verificar la
veracidad y exactitud de resultados informados. En una revisión de la
literatura se puede encontrar que se identificaron varios tipos de replicación.
En psicología, se clasifican en réplicas directas
y réplicas conceptuales (Schmidt,
2009). Cuando los investigadores repiten todos los aspectos relevantes de un
estudio original y pretenden ser lo más parecido posible a este, se le define
como replicación directa, las que deben
distinguirse de las replicaciones
conceptuales que son las que buscan probar la hipótesis de estudios
anteriores utilizando un diseño de investigación diferente (Makel et al., 2012). La replicación
directa es poco frecuente (Patil et al., 2016) y aunque las réplicas
conceptuales se pueden encontrar ocasionalmente, a menudo carecen de
enfoque sistemático (Schmidt, 2009). Esto ha llevado a la conclusión de que existe una crisis de
replicabilidad en la psicología (Anvari y Lakens, 2018), lo que ha provocado un proceso de revisión de la evidencia
científica para generar la oportunidad de reconsiderar algunas prácticas
actuales que podrían ser parte del origen de esta crisis.
¿Qué impide la replicación de estudios?
Algunas de estas
causas han sido mencionadas por diversos autores, de los cuales muchos han
coincidido en que existen factores individuales (Blanco et al., 2018), de toma de decisiones o grados de libertad del investigador
(Gelman & Loken, 2014) así como factores contextuales, entre los cuales se incluyen
la presión de algunas revistas por la publicación de estudios positivos, así
como la competitividad y necesidad de novedad en investigación y la falta de
aceptación e incentivos adecuados a los estudios de replicabilidad (Blanco et al., 2017; John et
al., 2012; Patil et al., 2016; Świątkowski & Dompnier, 2017).
Empezando por los
factores individuales, algunos estudios conectan esta crisis con los graves
defectos de las pruebas de significación de hipótesis nulas (NHST; Cumming, 2014; Savalei &
Dunn, 2015), identificando como una causa subyacente la dependencia que aún se
tendría a estas pruebas de significación (Collins & Tabak, 2014), al imperativo de lograr un significado estadístico y la
adopción de comportamientos de búsqueda de importancia de varios campos,
destacando selectivamente resultados positivos (Brunner & Schimmack,
2016). Por ejemplo, una de las cosas que ocurren en este sentido es que los
investigadores pueden llegar a ser víctimas del sesgo de confirmación y
centrarse solo en confirmaciones positivas de hipótesis, ya que al analizar los
datos, los investigadores podrían informar resultados que confirmen sus
hipótesis mientras ignoran otros que no lo hacen (Bakker et al., 2012; Bakker y
Wicherts, 2011). Estas prácticas están relacionadas con el comportamiento y
decisión de los propios investigadores; sin embargo; ¿Se trata solo de un sesgo
de publicación a nivel académico individual? La negativa por parte de los
investigadores a enviar resultados nulos para publicación además de poder
significar conflicto con los modelos teóricos, representan para ellos la
creencia de que no serán publicados (Ferguson y Heene, 2012); lo cual relacionaría este factor individual con un sesgo de
publicación, y el rechazo a los resultados nulos. (Świątkowski y Dompnier, 2017;
Wagenmakers et al., 2011; Wetzels et al., 2011).
Asimismo, también es posible observar que en
algunos casos las hipótesis van “emergiendo” a medida que se exploran los datos
en lugar de ser formuladas a priori, analizando
los datos cuanto sea necesario hasta encontrar el resultado positivo para ser
publicado. A esta práctica se le conoce como p-hacking (pruebas múltiples no reveladas sin ajuste; Wicherts et al., 2016) que generan un exceso de informes de resultados
significativos (Stevens, 2017). Estas prácticas se dan a conocer en la literatura
científica como prácticas de
investigación cuestionables (PIC; John et al., 2012; Protzko & Schooler, 2020)
que debilitan la credibilidad y reproducibilidad de los resultados de la investigación, son
muy frecuentes en la actualidad (Agnoli et al., 2017) y trae consigo la posibilidad de perder objetividad, mantener
teorías ante pruebas inadecuadas y por ende distorsionar la evidencia
científica real.
Por lo expuesto, el
poder estadístico sería reconocido entonces como una de las razones por la cual
los estudios de replicación no logran encontrar el efecto original, aunado a
que varios estudios han descubierto evidencia directa e indirecta del uso de PIC
entre psicólogos, como los sesgos selectivos en la información de métodos y
resultados, información de análisis exploratorios como confirmatorios y errores
generalizados de portabilidad de resultados estadísticos, demostrando que la
prevalencia de PIC en distintos países que incluyen hasta diez de estas prácticas
llegan a ser más de la cuarta parte de la totalidad de los encuestados en los
estudios, y aquellos que han usado alguna PIC más del 80% (Agnoli et al., 2017; Fiedler &
Schwarz, 2016; John et al., 2012). Por esta razón se plantea una
posibilidad de generalización. Sin embargo, sería necesario que se pudieran
realizar más estudios que permitan conocer la extensión de estas prácticas
sobretodo en países latinoamericanos.
Además de los factores individuales, se añaden factores
contextuales que actualmente siguen respondiendo a la falta de replicaciones en
psicología, pero sobretodo a la ausencia de estudios de replicación, y
presencia de las PIC ya mencionadas. ¿Existe actualmente presión por publicar
resultados positivos y novedosos? Varios autores a lo largo de los años lo han
afirmado y es que la publicación sistemática de estudios que dependen de su
resultado, y donde los artículos publicados solo incluyen resultados
confirmatorios de las hipótesis presentadas, representan el 90% del volumen de
publicación en psicología (Blanco et al., 2018; Fanelli, 2010). Los resultados
positivos estadísticamente significativos se publican con mayor facilidad que
los resultados negativos estadísticamente no significativos, este problema es
conocido como el “cajón de archivos” (Fanelli, 2012; Ferguson y Heene, 2012) y se relaciona a la
toma de decisiones basadas en el valor p, una de las limitaciones del
procedimiento NHST mencionado anteriormente. Un valor p significativo lleva al
rechazo de la hipótesis nula, sin embargo, un valor p no significativo no conduce
a la aceptación de le hipótesis nula, lo que lo convierte en resultados no
concluyentes y difíciles de interpretar (Cohen, 1994); siendo esta una
razón para que los revisores puedan preferir los resultados positivos y para
ellos más concluyentes.
Si existe una presión para publicar resultados positivos y un
sesgo de publicación contra resultados negativos; los investigadores podrán
centrar más su interés en la obtención de resultados “exitosos” (Giner-Sorolla, 2012), aunque esto
involucre el uso de las PIC (John et al., 2012; Schimmack, 2012; Simmons et al.,
2011), y apartar los
resultados negativos; con todo esto, no resultaría sorpresivo que la
publicación de resultados nulos disminuyera con el tiempo (Fanelli, 2012).
Además, no solo los resultados significativos, sino aquellos
que se consideran novedosos son los
que tienen mayor facilidad de ser publicados (Klein et al., 2014). Este sesgo de
publicación representa la distorsión directa del conocimiento científico, todos
los resultados independientemente de sus añadidos son relevantes para la
ciencia, siempre que hayan sido producidos por métodos sólidos (Fanelli, 2010). ¿Resulta importante
publicar resultados negativos? Algunos autores mencionan que representan el 50%
del conocimiento, por lo tanto su nivel de importancia sería equivalente a la
de resultados positivos (Culebras, 2016); y es que su
divulgación representaría un aumento de conocimiento de otros investigadores, al
facilitarles que conozcan los resultados negativos de las investigaciones en el
campo de su interés; proporcionaría también una optimización de gastos en
recursos humanos y materiales ya que representaría en muchos casos que los investigadores
puedan hacer modificaciones en sus estudios si se difundiera lo que ya se ha
descubierto (Tárraga y Rodríguez, 2016); además si los
resultados negativos se omiten de manera sistemática de la literatura
científica esta se distorsiona e impide su claridad para próximos estudios o
procedimientos como los mataanaliticos (Świątkowski y Dompnier, 2017). Aunado a esto, si
hay un énfasis en la novedad, se impide una construcción de ciencia
acumulativa; si las revistas en la actualidad centran su criterio de aceptación
en estudios con información novedosa, se descuida la importancia de las
replicaciones (Makel et al., 2012) pese a que la
comunidad de investigación se beneficiaria de forma colectiva si los
investigadores realizaran réplicas (Koole y Lakens, 2012), la situación actual
de lo que se puede publicar introduce
sesgos que impiden que los investigadores se arriesguen a tomar este camino.
Para ejemplificar
esta situación se revisaron las 45 revistas latinoamericanas de psicología incluidas
en el Scimago Journal & Country Rank para el año 2019 y se encontró que un
porcentaje considerable (alrededor de 40%) desalienta las contribuciones en
forma de réplicas, incluyendo como parte de sus criterios de valoración la
novedad y originalidad teórica y empírica en los estudios que aspiren a
publicarse. Asimismo, alrededor del 55% de estas revistas no incluyen
información en sus criterios de valoración editorial sobre las replicaciones,
otorgando así mínimas posibilidades de aceptación. Finalmente, solo un pequeño
porcentaje deja abierta la posibilidad de recibir estudios de réplicas. Queda
claro que este panorama es una de las principales limitaciones para que más
investigadores apuesten por replicar dado que en la carrera científica actual,
al menos en el contexto peruano, las publicaciones en revistas SCOPUS son valoradas, además de ser un indicador determinante de su
éxito profesional (van Dijk et al., 2014).
Por ello, si estas revistas
priorizan la novedad, los investigadores maximizarán su número de publicaciones
concentrándose en hallar resultados novedosos (Higginson & Munafò, 2016) dejando fuera los trabajos de replicación, en vista que
podrían arriesgarse a un rechazo inmediato si presentan este tipo de estudios,
por lo que es poco probable que se motiven para alguna vez ejecutarlos.
¿Por qué esto representa un problema?
La réplica es un mecanismo que permite comprobar experiencias empíricas
y de exploración de conocimientos que enriquecen los distintos abordajes de una
problemática (Ordoñez-Morales,
2014). Si existe una crisis de
replicabilidad en psicología no solo se limita un proceso de adaptación de
diseños originales, sino también se limitan los nuevos espacios de aprendizaje
que estos pueden generar, así como el análisis crítico, los replanteamientos de
los problemas y resultados que en mayores ocasiones se presentan como la última
palabra que los demás investigadores, psicólogos y estudiantes deben aceptar de
manera incondicional.
Por esto, la falta de replicabilidad representa no solo uno sino
diversos problemas en las diferentes áreas de la psicología, la ausencia de
este criterio obstruye la verificación de la evidencia. En psicología clínica
¿se debe aplicar una terapia o intervención que no esté empíricamente
respaldada? La respuesta podría ser no, sin embargo, si solo se toma en cuenta
los resultados positivos de una investigación que concluya la validez de un
procedimiento o método, y con ello se asegure su validez total se está yendo en
contra del avance de la psicología.
En párrafos anteriores se mencionó que la psicología clínica y áreas relacionadas
han sido poco participes de las discusiones de replicabilidad, representando
una pérdida de oportunidad para los científicos clínicos y el campo en general,
y aunque se han atribuido posibles causas de este aislamiento, también se ha
recalcado la preocupación que existe por ello, dado que actualmente la
evidencia de investigación critica no tendría una mayor rigurosidad , por
ejemplo, los criterios de terapias empíricamente respaldada (TER) en
intervenciones psicológicas para los trastornos específicos, solo requieren dos
resultados positivos para darle este respaldo, independientemente del número de
resultados negativos que se puedan obtener; pudiendo en el contexto de
resultados negativos estos resultados positivos ser atribuibles al azar (Tackett
et al., 2017). Entonces, si esta información
llega como respaldada hacia otros profesionales, optarán por utilizarla en sus
diversas intervenciones sin una verificación de procedimientos, métodos o
teorías. Con todo, es probable que los científicos clínicos presenten mayores
dificultades para poder aplicar cambios relacionados a los puntos mencionados
anteriormente, la investigación clínica se beneficiaría con la implementación
de las recomendaciones que permitan mejorar la replicabilidad en el campo
permitiendo su avance con una evaluación e intervención empíricamente
respaldada.
Asimismo, en el ámbito de la psicometría suele aceptarse que un solo
estudio instrumental concluya que el instrumento estudiado posee suficientes
cualidades métricas, sin considerar que la obtención de evidencias de validez
es un proceso continuo y se requieren diversos estudios para consolidar los
hallazgos (American Educational Research Association, American Psychological
Association, & National Council on Measurement in Education, 2014).), ya
que es posible que, por ejemplo, la estructura interna encontrada obedezca en
mayor medida a las características de la muestra, más no represente al
constructo. Asimismo, también es frecuente el uso de procedimientos obsoletos o
inadecuados (ver Lloret, Ferreres, Hernández, & Tomás, 2014), por lo que
estudios adicionales servirían para contrastar y refutar esos hallazgos (ver Dominguez-Lara
& Navarro-Loli, 2018).
En muchos casos los resultados de investigaciones pueden caer en los
puntos mencionados anteriormente, y ser sobreestimados en magnitud, lo cual
implica la necesidad de estudios de replicabilidad que permitan brindarle mayor
rigurosidad a la evidencia de investigación.
¿Qué alternativas existen?
Algunos autores respondiendo
a los factores que contribuyen a esta llamada crisis de replicabilidad describen
métodos y recomendaciones para que esto pueda cambiar. Entre estas propuestas está
implementar enfoques estadísticos que enfaticen en la estimación de parámetros
en lugar de la NHST (Asendorpf et al., 2013). En este sentido, las estadísticas bayesianas se presentan
como una alternativa para remediar el sesgo en contra de publicaciones de
resultados no significativos (Świątkowski & Dompnier,
2017). Actualmente más revistas se suman a requerir el abordaje del poder
estadístico y el tamaño de muestra, permitiendo el uso de nuevos enfoques como
las estadísticas bayesianas y el metaanálisis.
Se debe considerar
reestructurar el incentivo a las publicaciones de replicabilidad, ya que si las
réplicas siguen siendo desconocidas para la comunidad científica, los
investigadores no tendrán motivación de realizar este tipo de estudios. Por
ello, deben existir salidas para que puedan publicar, ya sea con espacio
separado a las replicaciones en las revistas científicas o abrir el acceso de
los datos como material en línea junto con los estudios originales (Asendorpf et al., 2013; Koole
y Lakens, 2012). Asimismo, podría considerarse una visión metaanalitica del
conocimiento científico (Cumming, 2014), considerando que el valor de una publicación es muchas
veces determinada por la cantidad de citas que pueda obtener (van Dijk et al., 2014), ya que al citar un artículo original se podría realizar una
cocitación del archivo de replicación; esto podría significar que a la vez que
las réplicas obtienen mayor número de citas, los estudios originales son
beneficiados también de la misma manera (Koole y Lakens, 2012).
Finalmente, se debe
incentivar el desarrollo de políticas editoriales que generen el acceso a la
preinscripción y datos abiertos; lo cual incluye el prerregistrar hipótesis,
diseñar, analizar y hacer que los datos recopilados sean de acceso abierto (Gelman & Loken, 2014) por ejemplo; el archivar datos, scripts, análisis y una descripción de los mismos de manera
pública, permitiría el acceso completo a otros investigadores y, por ende, facilitar
la replicación. Asimismo, se deben considerar los flujos de trabajo de
publicación reproducibles, que permitan el seguimiento del proceso, y proporcione
a los investigadores un espacio para almacenar materiales IRB, datos, guiones
de análisis, etc. (Nosek et al. 2012); tal como la Open Science Framework, que
proporciona investigaciones con una plataforma de prerregistros de hipótesis y
recopilación y análisis mediante datos anónimos disponibles en modo publico
después del estudio, lo cual permite que los materiales estén disponibles a
otros investigadores (Tackett et al., 2017). Si las revistas implementaran estos espacios, se impediría
el que se puedan modificar a conveniencia las hipótesis de investigación
iniciales de los estudios, se disminuiría las PIC entre los investigadores, y
la tasa de falsos positivos en la literatura científica sería menor. Se debe
considerar que el registro pueda ser lo más exacto, transparente y confiable; sin
embargo, la evidencia muestra lo lejos que se está de este ideal, y sigue
proporcionando estudios que no pueden reproducirse o evaluarse; si el registro
de un estudio no es adecuado, a pesar de este ser muy bueno se vuelve
inutilizable (Zúñiga, 2019). Como una posible solución a esta problemática, es importante
que los autores y editores se apoyen de herramientas que guíen la escritura y
publicación de trabajos científicos, tal como indica la red EQUATOR (Enhancing
the Quality and Transparency of health Research), lo que permitirá mejorar
la confiabilidad y el valor de la bibliografía de investigación. La red EQUATOR
es una iniciativa internacional establecida para promover informes de alta
calidad sobre estudios de investigación en salud (Simera et al., 2010) y proporciona herramientas destinadas a los autores que
incluye recursos de orientación sobre informes; directrices para planificar,
redactar, consideraciones éticas, compartir y publicar datos. Asimismo,
contiene herramientas destinadas a revisores pares que evalúan manuscritos de
investigación, así como también para los editores que consideren implementar
políticas que ayuden a mejorar la exactitud e integridad de los informes; y
valoren un contenido que garantice el resultado de una investigación
trasparente, reproducible y de calidad.
Algunas revistas han
tomado medidas para mejorar la calidad de investigación que publican (Ioannidis et al., 2010), contemplando así la posibilidad de publicar replicas o
resultados nulos; por ejemplo Adavances
in Methods and Practices in Psychological Science ha incorporado una
sección destinada a recopilar estudios de replicación; el nuevo tipo de artículo,
Registerd Replication Reports, tiene
como objetivo fortalecer la base de la ciencia psicológica incentivando la
publicación de replicaciones basadas en un protocolo compartido y examinado.
CONCLUSIÓN
Para la investigación en la ciencia en
general la replicabilidad es un requisito previo para la obtención de
conclusiones válidas, por ello resulta necesario incentivar estos estudios en la psicología, y aunque existen
barreras y desafíos para implementarlos, y más aún en el ámbito de las
publicaciones científicas, estos cambios formarán parte de una mejora en la
ciencia psicológica dado que mejoraría su calidad y reputación en medida que
aumenta la confianza por las publicaciones actuales. Es importante descubrir, pero en igual medida también lo
es replicar, y de ese modo la
psicología podría ser considerada como una ciencia más rigurosa y sólida.
ORCID
Sharon
Centeno-Leyva https://orcid.org/0000-0001-6827-6749
Sergio
Dominguez-Lara http://www.orcid.org/0000-0002-2083-4278
CONTRIBUCIÓN DE LOS
AUTORES
Sharon Centeno-Leyva: Conceptualización,
Investigación, Escritura-borrador original.
Sergio Dominguez-Lara: Conceptualización,
Escritura-revisión y edición.
FINANCIAMIENTO
Este estudio fue
autofinanciado.
CONFLICTO DE INTERESES
Los
autores indican que no existen conflictos de interés con la redacción del
manuscrito.
AGRADECIMIENTOS
No aplica.
PROCESO DE REVISIÓN
Este estudio ha sido revisado por pares externos en modalidad de doble
ciego.
DECLARACIÓN DE
DISPONIBILIDAD DE DATOS
No aplica.
DESCARGO DE
RESPONSABILIDAD
Los autores son responsables de todas las afirmaciones realizadas en
este artículo. Interacciones ni el Instituto Peruano de Orientación Psicológica
se hacen responsables sobre las afirmaciones realizadas en este documento.
REFERENCIAS
Agnoli, F., Wicherts, J. M., Veldkamp, C. L. S., Albiero, P.,
& Cubelli, R. (2017). Questionable research practices among italian research
psychologists. PLOS ONE, 12(3). https://doi.org/10.1371/journal.pone.0172792
American Educational
Research Association, American Psychological Association, & National
Council on Measurement in Education (2014). Standards
for educational and psychological testing. Washington, DC: American
Educational Research Association.
Anvari, F., & Lakens, D. (2018). The replicability crisis and public
trust in psychological science. Comprehensive Results in Social Psychology,
3(3), 266–286. https://doi.org/10.1080/23743603.2019.1684822
Asendorpf, J. B., Conner, M., De Fruyt, F., De Houwer, J., Denissen, J. J.
A., Fiedler, K., Fiedler, S., Funder, D. C., Kliegl, R., Nosek, B. A.,
Perugini, M., Roberts, B. W., Schmitt, M., van Aken, M. A. G., Weber, H., &
Wicherts, J. M. (2013). Recommendations for Increasing Replicability in
Psychology. European Journal of Personality, 27(2), 108–119.
https://doi.org/10.1002/per.1919
Association for Psychological Science. (2013). Leading Psychological
Science Journal Launches Initiative on Research Replication. Disponible en línea en: https://www.psychologicalscience.org/news/releases/initiative-on-research-replication.html (Consultado el
26 de junio de 2020).
Ato, M., López, J., & Benavente, A. (2013). Un sistema de
clasificación de los diseños de investigación en psicología. Anales de Psicología,
29(3), 1038–1059.
http://dx.doi.org/10.6018/analesps.29.3.178511
Bakker, M., van Dijk, A.,
& Wicherts, J. M. (2012). The Rules of the Game Called Psychological Science. Perspectives
on Psychological Science, 7(6), 543–554.
https://doi.org/10.1177/1745691612459060.
Bakker, M., & Wicherts, J. M. (2011). The (mis)reporting of
statistical results in psychology journals. Behavior Research Methods, 43(3),
666–678. https://doi.org/10.3758/s13428-011-0089-5.
Blanco, F., Perales López, J. C., & Vadillo, M. A. (2018). Pot la psicologia rescatar-se a si mateixa?. Incentius, biaix
i replicabilitat. Anuari de Psicologia de La Societat Valenciana de
Psicologia, 18(2), 231–252.
https://doi.org/10.7203/anuari.psicologia.18.2.231.
Brunner, J., & Schimmack, U. (2016). How replicable is psychology?
A comparison of four methods of estimating replicability on the basis of test
statistics in original studies.
http://www.utstat.utoronto.ca/~brunner/zcurve2016/HowReplicable.pdf.
Cohen, J. (1994). The earth is round (p < .05). American
Psychologist, 49(12), 997–1003.
https://doi.org/10.1037/0003-066X.49.12.997.
Collins, F. S., & Tabak, L. A. (2014). Policy: NIH plans to enhance
reproducibility. Nature, 505(7485), 612.
Culebras, J. M. (2016).
Resultados negativos, cincuenta por ciento del conocimiento. Journal of Negative &
No Positive Results, 1(1), 1–2.
https://doi.org/10.19230/jonnpr.2016.1.1.926.
Cumming, G. (2014). The New Statistics. Psychological Science, 25(1),
7–29. https://doi.org/10.1177/0956797613504966.
Earp, B. D., & Trafimow, D. (2015). Replication, falsification, and
the crisis of confidence in social psychology. Frontiers in Psychology, 6(621).
https://doi.org/10.3389/fpsyg.2015.00621.
Fanelli, D. (2010). Do Pressures to Publish Increase Scientists’ Bias? An
Empirical Support from US States Data. PLoS ONE, 5(4), e10271.
https://doi.org/10.1371/journal.pone.0010271.
Fanelli, D. (2012). Negative results are disappearing from most disciplines
and countries. Scientometrics, 90(3), 891–904.
https://doi.org/10.1007/s11192-011-0494-7.
Ferguson, C. J., & Heene, M. (2012). A Vast Graveyard of Undead
Theories. Perspectives on Psychological Science, 7(6), 555–561.
https://doi.org/10.1177/1745691612459059.
Fiedler, K., & Schwarz, N. (2016). Questionable Research Practices
Revisited. Social Psychological and Personality Science, 7(1),
45–52. https://doi.org/10.1177/1948550615612150.
Gelman, A., & Loken, E. (2014). The Statistical Crisis in Science. American
Scientist, 102(6), 460. https://doi.org/10.1511/2014.460.
Giner-Sorolla, R. (2012). Science or Art? How Aesthetic Standards Grease
the Way Through the Publication Bottleneck but Undermine Science. Perspectives
on Psychological Science, 7(6), 562–571.
https://doi.org/10.1177/1745691612457576.
Higginson, A. D., & Munafò, M. R. (2016). Current Incentives for
Scientists Lead to Underpowered Studies with Erroneous Conclusions. PLOS
Biology, 14(11), e2000995.
https://doi.org/10.1371/journal.pbio.2000995.
Ioannidis, John P.A., Tatsioni, A., & Karassa, F. B. (2010). A vision
for the European Journal of Clinical Investigation: note from the new editors. European
Journal of Clinical Investigation, 40(1), 1–3.
https://doi.org/10.1111/j.1365-2362.2009.02229.x.
Ioannidis, John P. A. (2005). Why Most Published Research Findings Are
False. PLoS Medicine, 2(8), e124.
https://doi.org/10.1371/journal.pmed.0020124.
John, L. K., Loewenstein, G.,
& Prelec, D. (2012). Measuring the Prevalence of Questionable Research
Practices With Incentives for Truth Telling. Psychological Science, 23(5),
524–532. https://doi.org/10.1177/0956797611430953.
Klein, R. A., Ratliff, K. A., Vianello, M., Adams Jr, R. B., Bahník, S.,
Bernstein, M. J., Bocian, K., Brandt, M. J., Brooks, B., Zeynep Cemalcilar, C.
C. B., Chandler, J., Cheong, W., David, W. E., Devos, T., Eisner, M.,
Frankowska, N., Furrow, D., Galliani, E. M., Hasselman, F., … Nosek, B. A.
(2014). Investigating variation in replicability: A “many labs” replication
project. Social Psychology, 45(3), 142–152.
https://doi.org/10.1027/1864-9335/a000.
Koole, S. L., & Lakens, D. (2012). Rewarding Replications. Perspectives
on Psychological Science, 7(6), 608–614. https://doi.org/10.1177/1745691612462586.
Lloret, S., Ferreres, A.,
Hernández, A., & Tomás, I. (2014). El análisis factorial exploratorio de
los ítems: una guía práctica, revisada y actualizada. Anales de de Psicología, 30(3): 1151-1169.
http://dx.doi.org/10.6018/analesps.30.3.199361.
Makel, M. C., Plucker, J. A.,
& Hegarty, B. (2012). Replications in Psychology Research. Perspectives on
Psychological Science, 7(6), 537–542.
https://doi.org/10.1177/1745691612460688.
Maxwell, S. E., Lau, M. Y., & Howard, G. S. (2015). Is psychology
suffering from a replication crisis? What does “failure to replicate” really
mean? American Psychologist, 70(6), 487–498.
https://doi.org/10.1037/a0039400.
Open Science Collaboration. (2012). An Open, Large-Scale, Collaborative
Effort to Estimate the Reproducibility of Psychological Science. Perspectives
on Psychological Science, 7(6), 657–660.
https://doi.org/10.1177/1745691612462588.
Open Science Collaboration. (2015). Estimating the reproducibility of
psychological science. Science, 349(6251), aac4716–aac4716.
https://doi.org/10.1126/science.aac4716.
Ordoñez Morales, O. (2014). Replicar
para comprender: prácticas investigativas para promover el razonamiento
científico en estudiantes de psicología. Pensamiento Psicológico, 12(2).
https://doi.org/10.11144/Javerianacali.PPSI12-2.rcpi.
Pashler, H., &
Wagenmakers, E. (2012). Editors’ Introduction to the Special Section on
Replicability in Psychological Science. Perspectives on Psychological
Science, 7(6), 528–530. https://doi.org/10.1177/1745691612465253.
Patil, P., Peng, R. D., & Leek, J. T. (2016). What Should Researchers
Expect When They Replicate Studies? A Statistical View of Replicability in
Psychological Science. Perspectives on Psychological Science, 11(4),
539–544. https://doi.org/10.1177/1745691616646366.
Protzko, J., & Schooler, J. W. (2020). No relationship between
researcher impact and replication effect: an analysis of five studies with 100
replications. PeerJ, 8, e8014. https://doi.org/10.7717/peerj.8014.
Savalei, V., & Dunn, E.
(2015). Is the call to abandon p-values the red herring of the replicability
crisis? Frontiers in Psychology, 6, 245.
https://doi.org/10.3389/fpsyg.2015.00245.
Schimmack, U. (2012). The ironic effect of significant results on the
credibility of multiple-study articles. Psychological Methods, 17(4),
551–566. https://doi.org/10.1037/a0029487.
Schmidt, S. (2009). Shall we really Do It Again? The Powerful concept of
replication is neglected in the social sciences. Review of General
Psychology, 13(2), 90–100.
Simera, I., Moher, D., Hirst, A., Hoey, J., Schulz, K. F., & Altman,
D. G. (2010). Transparent and accurate reporting increases reliability,
utility, and impact of your research: reporting guidelines and the EQUATOR
Network. BMC Medicine, 8(1), 24. https://doi.org/10.1186/1741-7015-8-24.
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive
psychology: Undisclosed flexibility in data collection and analysis allows
presenting anything as significant. Psychological Science, 22(11),
1359–1366.
Stevens, J. R. (2017). Replicability and Reproducibility in Comparative
Psychology. Frontiers in Psychology, 8, 862.
https://doi.org/10.3389/fpsyg.2017.00862.
Świątkowski, W., & Dompnier, B. (2017). Replicability Crisis in Social
Psychology: Looking at the Past to Find New Pathways for the Future. International
Review of Social Psychology, 30(1), 111.
https://doi.org/10.5334/irsp.66.
Tackett, J. L., Lilienfeld, S. O., Patrick, C. J., Johnson, S. L.,
Krueger, R. F., Miller, J. D., Oltmanns, T. F., & Shrout, P. E. (2017).
It’s Time to Broaden the Replicability Conversation: Thoughts for and From
Clinical Psychological Science. Perspectives
on Psychological Science, 12(5),
742–756. https://doi.org/10.1177/1745691617690042.
Tárraga López, P. J., &
Rodríguez Montes, J. A. (2016). ¿Se deben publicar los resultados negativos o
no positivos? Journal of Negative & No Positive Results, 1(2), 43–44.
https://doi.org/10.19230/jonnpr.2016.1.2.928.
van Dijk, D., Manor, O.,
& Carey, L. B. (2014). Publication metrics and success on the academic job
market. Current Biology, 24(11), R516–R517.
https://doi.org/10.1016/j.cub.2014.04.039.
Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas, H. L.
J. (2011). Why psychologists must change the way they analyze their data: The
case of psi: Comment on Bem (2011). Journal of Personality and Social
Psychology, 100(3), 426–432. https://doi.org/10.1037/a0022790.
Wetzels, R., Matzke, D., Lee, M. D., Rouder, J. N., Iverson, G. J., &
Wagenmakers, E.-J. (2011). Statistical Evidence in Experimental Psychology. Perspectives
on Psychological Science, 6(3), 291–298.
https://doi.org/10.1177/1745691611406923.
Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., van
Aert, R. C. M., & van Assen, M. A. L. M. (2016). Degrees of Freedom in
Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist
to Avoid p-Hacking. Frontiers in Psychology, 7, 1832. https://doi.org/10.3389/fpsyg.2016.01832.
Zúñiga Rosales, Y. (2019). Red
EQUATOR: el uso de guías de reporte para garantizar una publicación de calidad.
Revista Cubana de Genética Comunitaria, 11(1), 4–6. http://revgenetica.sld.cu/index.php/gen/article/view/23/28.