Multidimensional Signals and Analytic Flexibility: Estimating Degrees of Freedom in Human-Speech Analyses - Archive ouverte HAL
Article Dans Une Revue Advances in Methods and Practices in Psychological Science Année : 2023

Multidimensional Signals and Analytic Flexibility: Estimating Degrees of Freedom in Human-Speech Analyses

Stefano Coretta , Joseph V Casillas , Simon Roessig , Michael Franke , Byron Ahn , Ali H Al-Hoorie , Jalal Al-Tamimi (1) , Najd E Alotaibi , Mohammed K Alshakhori , Ruth M Altmiller , Pablo Arantes , Angeliki Athanasopoulou , Melissa M Baese-Berk , George Bailey , Cheman Baira A Sangma , Eleonora J Beier , Gabriela M Benavides , Nicole Benker , Emelia P Bensonmeyer , Nina R Benway , Grant M Berry , Liwen Bing , Christina Bjorndahl , Mariška Bolyanatz , Aaron Braver , Violet A Brown , Alicia M Brown , Alejna Brugos , Erin M Buchanan , Tanna Butlin , Andrés Buxó-Lugo , Coline Caillol , Francesco Cangemi , Christopher Carignan , Sita Carraturo , Tiphaine Caudrelier , Eleanor Chodroff , Michelle Cohn , Johanna Cronenberg , Olivier Crouzet , Erica L Dagar , Charlotte Dawson , Carissa A Diantoro , Marie Dokovova , Shiloh Drake , Fengting Du , Margaux Dubuis , Florent Duême , Matthew Durward , Ander Egurtzegi (2) , Mahmoud M Elsherif , Janina Esser , Emmanuel Ferragne , Fernanda Ferreira , Lauren K Fink , Sara Finley , Kurtis Foster , Paul Foulkes , Rosa Franzke , Gabriel Frazer-Mckee , Robert Fromont , Christina García , Jason Geller , Camille L Grasso , Pia Greca , Martine Grice , Magdalena S Grose-Hodge , Amelia J Gully , Caitlin Halfacre , Ivy Hauser , Jen Hay , Robert Haywood , Sam Hellmuth , Allison I Hilger , Nicole Holliday , Damar Hoogland , Yaqian Huang , Vincent Hughes , Ane Icardo Isasa , Zlatomira G Ilchovska , Hae-Sung Jeon , Jacq Jones , Mágat N Junges , Stephanie Kaefer , Constantijn Kaland , Matthew C Kelley , Niamh E Kelly , Thomas Kettig , Ghada Khattab , Ruud Koolen , Emiel Krahmer , Dorota Krajewska , Andreas Krug , Abhilasha A Kumar , Anna Lander , Tomas O Lentz , Wanyin Li , Yanyu Li , Maria Lialiou , Ronaldo M Lima , Justin J H Lo , Julio Cesar Lopez Otero , Bradley Mackay , Bethany Macleod , Mel Mallard , Carol-Ann Mary Mcconnellogue , George Moroz , Mridhula Murali , Ladislas Nalborczyk , Filip Nenadić , Jessica Nieder , Dušan Nikolić , Francisco G S Nogueira , Heather M Offerman , Elisa Passoni , Maud Pélissier (3) , Scott J Perry , Alexandra M Pfiffner , Michael Proctor , Ryan Rhodes , Nicole Rodríguez , Elizabeth Roepke , Jan P Röer , Lucia Sbacco , Rebecca Scarborough , Felix Schaeffler , Erik Schleef , Dominic Schmitz , Alexander Shiryaev , Márton Sóskuthy , Malin Spaniol , Joseph A Stanley , Alyssa Strickler , Alessandro Tavano , Fabian Tomaschek , Benjamin V Tucker , Rory Turnbull , Kingsley O Ugwuanyi , Iñigo Urrestarazu-Porta , Ruben van de Vijver , Kristin J van Engen , Emiel van Miltenburg , Bruce Xiao Wang , Natasha Warner , Simon Wehrle , Hans Westerbeek , Seth Wiener , Stephen Winters , Sidney G.-J. Wong , Anna Wood , Jane Wottawa (4) , Chenzi Xu , Germán Zárate-Sández , Georgia Zellou , Cong Zhang , Jian Zhu , Timo B Roettger
Stefano Coretta
Joseph V Casillas
  • Fonction : Auteur
Simon Roessig
  • Fonction : Auteur
Michael Franke
  • Fonction : Auteur
Byron Ahn
  • Fonction : Auteur
Ali H Al-Hoorie
Jalal Al-Tamimi
Najd E Alotaibi
Mohammed K Alshakhori
  • Fonction : Auteur
Ruth M Altmiller
  • Fonction : Auteur
Pablo Arantes
  • Fonction : Auteur
Angeliki Athanasopoulou
  • Fonction : Auteur
Melissa M Baese-Berk
  • Fonction : Auteur
George Bailey
Cheman Baira A Sangma
  • Fonction : Auteur
Eleonora J Beier
  • Fonction : Auteur
Gabriela M Benavides
  • Fonction : Auteur
Nicole Benker
  • Fonction : Auteur
Emelia P Bensonmeyer
  • Fonction : Auteur
Nina R Benway
Grant M Berry
  • Fonction : Auteur
Liwen Bing
  • Fonction : Auteur
Christina Bjorndahl
  • Fonction : Auteur
Mariška Bolyanatz
  • Fonction : Auteur
Aaron Braver
Violet A Brown
  • Fonction : Auteur
Alicia M Brown
  • Fonction : Auteur
Alejna Brugos
  • Fonction : Auteur
Erin M Buchanan
Tanna Butlin
  • Fonction : Auteur
Andrés Buxó-Lugo
Coline Caillol
Francesco Cangemi
Christopher Carignan
  • Fonction : Auteur
Sita Carraturo
  • Fonction : Auteur
Tiphaine Caudrelier
Eleanor Chodroff
  • Fonction : Auteur
Michelle Cohn
  • Fonction : Auteur
Johanna Cronenberg
  • Fonction : Auteur
Olivier Crouzet
Erica L Dagar
  • Fonction : Auteur
Charlotte Dawson
  • Fonction : Auteur
Carissa A Diantoro
Marie Dokovova
  • Fonction : Auteur
Shiloh Drake
Fengting Du
  • Fonction : Auteur
Margaux Dubuis
  • Fonction : Auteur
Florent Duême
  • Fonction : Auteur
Matthew Durward
  • Fonction : Auteur
Mahmoud M Elsherif
Janina Esser
  • Fonction : Auteur
Emmanuel Ferragne
  • Fonction : Auteur
Fernanda Ferreira
  • Fonction : Auteur
Lauren K Fink
  • Fonction : Auteur
Sara Finley
Kurtis Foster
  • Fonction : Auteur
Paul Foulkes
  • Fonction : Auteur
Rosa Franzke
  • Fonction : Auteur
Gabriel Frazer-Mckee
  • Fonction : Auteur
Robert Fromont
Christina García
  • Fonction : Auteur
Jason Geller
  • Fonction : Auteur
Camille L Grasso
  • Fonction : Auteur
Pia Greca
Martine Grice
  • Fonction : Auteur
Magdalena S Grose-Hodge
  • Fonction : Auteur
Amelia J Gully
Caitlin Halfacre
  • Fonction : Auteur
Ivy Hauser
  • Fonction : Auteur
Jen Hay
  • Fonction : Auteur
Robert Haywood
  • Fonction : Auteur
Sam Hellmuth
  • Fonction : Auteur
Allison I Hilger
  • Fonction : Auteur
Nicole Holliday
  • Fonction : Auteur
Damar Hoogland
  • Fonction : Auteur
Yaqian Huang
  • Fonction : Auteur
Vincent Hughes
  • Fonction : Auteur
Ane Icardo Isasa
  • Fonction : Auteur
Zlatomira G Ilchovska
  • Fonction : Auteur
Hae-Sung Jeon
  • Fonction : Auteur
Jacq Jones
  • Fonction : Auteur
Mágat N Junges
  • Fonction : Auteur
Stephanie Kaefer
  • Fonction : Auteur
Constantijn Kaland
  • Fonction : Auteur
Matthew C Kelley
Niamh E Kelly
  • Fonction : Auteur
Thomas Kettig
  • Fonction : Auteur
Ghada Khattab
Ruud Koolen
  • Fonction : Auteur
Emiel Krahmer
  • Fonction : Auteur
Dorota Krajewska
  • Fonction : Auteur
Andreas Krug
  • Fonction : Auteur
Abhilasha A Kumar
  • Fonction : Auteur
Anna Lander
  • Fonction : Auteur
Tomas O Lentz
Wanyin Li
  • Fonction : Auteur
Yanyu Li
  • Fonction : Auteur
Maria Lialiou
Ronaldo M Lima
  • Fonction : Auteur
Justin J H Lo
Julio Cesar Lopez Otero
Bradley Mackay
  • Fonction : Auteur
Bethany Macleod
  • Fonction : Auteur
Mel Mallard
  • Fonction : Auteur
Carol-Ann Mary Mcconnellogue
  • Fonction : Auteur
George Moroz
  • Fonction : Auteur
Mridhula Murali
Ladislas Nalborczyk
Filip Nenadić
  • Fonction : Auteur
Jessica Nieder
  • Fonction : Auteur
Dušan Nikolić
  • Fonction : Auteur
Francisco G S Nogueira
  • Fonction : Auteur
Heather M Offerman
Elisa Passoni
  • Fonction : Auteur
Scott J Perry
Alexandra M Pfiffner
  • Fonction : Auteur
Michael Proctor
Ryan Rhodes
  • Fonction : Auteur
Nicole Rodríguez
  • Fonction : Auteur
Elizabeth Roepke
  • Fonction : Auteur
Jan P Röer
  • Fonction : Auteur
Lucia Sbacco
  • Fonction : Auteur
Rebecca Scarborough
  • Fonction : Auteur
Felix Schaeffler
  • Fonction : Auteur
Erik Schleef
Dominic Schmitz
  • Fonction : Auteur
Alexander Shiryaev
  • Fonction : Auteur
Márton Sóskuthy
  • Fonction : Auteur
Malin Spaniol
  • Fonction : Auteur
Joseph A Stanley
Alyssa Strickler
  • Fonction : Auteur
Alessandro Tavano
  • Fonction : Auteur
Fabian Tomaschek
  • Fonction : Auteur
Benjamin V Tucker
Rory Turnbull
  • Fonction : Auteur
Kingsley O Ugwuanyi
Iñigo Urrestarazu-Porta
Ruben van de Vijver
  • Fonction : Auteur
Kristin J van Engen
  • Fonction : Auteur
Emiel van Miltenburg
Bruce Xiao Wang
  • Fonction : Auteur
Natasha Warner
  • Fonction : Auteur
Simon Wehrle
Hans Westerbeek
  • Fonction : Auteur
Seth Wiener
  • Fonction : Auteur
Stephen Winters
  • Fonction : Auteur
Sidney G.-J. Wong
  • Fonction : Auteur
Anna Wood
Chenzi Xu
Germán Zárate-Sández
  • Fonction : Auteur
Georgia Zellou
  • Fonction : Auteur
Cong Zhang
Jian Zhu
  • Fonction : Auteur
Timo B Roettger

Résumé

Recent empirical studies have highlighted the large degree of analytic flexibility in data analysis that can lead to substantially different conclusions based on the same data set. Thus, researchers have expressed their concerns that these researcher degrees of freedom might facilitate bias and can lead to claims that do not stand the test of time. Even greater flexibility is to be expected in fields in which the primary data lend themselves to a variety of possible operationalizations. The multidimensional, temporally extended nature of speech constitutes an ideal testing ground for assessing the variability in analytic approaches, which derives not only from aspects of statistical modeling but also from decisions regarding the quantification of the measured behavior. In this study, we gave the same speech-production data set to 46 teams of researchers and asked them to answer the same research question, resulting in substantial variability in reported effect sizes and their interpretation. Using Bayesian meta-analytic tools, we further found little to no evidence that the observed variability can be explained by analysts’ prior beliefs, expertise, or the perceived quality of their analyses. In light of this idiosyncratic variability, we recommend that researchers more transparently share details of their analysis, strengthen the link between theoretical construct and quantitative system, and calibrate their (un)certainty in their conclusions.
Fichier principal
Vignette du fichier
coretta-et-al-2023-multidimensional-signals-and-analytic-flexibility-estimating-degrees-of-freedom-in-human-speech.pdf (6.74 Mo) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04230571 , version 1 (06-10-2023)

Licence

Identifiants

Citer

Stefano Coretta, Joseph V Casillas, Simon Roessig, Michael Franke, Byron Ahn, et al.. Multidimensional Signals and Analytic Flexibility: Estimating Degrees of Freedom in Human-Speech Analyses. Advances in Methods and Practices in Psychological Science, 2023, 6 (3), pp.1-29. ⟨10.1177/25152459231162567⟩. ⟨hal-04230571⟩
110 Consultations
52 Téléchargements

Altmetric

Partager

More