Multidimensional Signals and Analytic Flexibility: Estimating Degrees of Freedom in Human-Speech Analyses
Stefano Coretta
,
Joseph V Casillas
,
Simon Roessig
,
Michael Franke
,
Byron Ahn
,
Ali H Al-Hoorie
,
Jalal Al-Tamimi
(1)
,
Najd E Alotaibi
,
Mohammed K Alshakhori
,
Ruth M Altmiller
,
Pablo Arantes
,
Angeliki Athanasopoulou
,
Melissa M Baese-Berk
,
George Bailey
,
Cheman Baira A Sangma
,
Eleonora J Beier
,
Gabriela M Benavides
,
Nicole Benker
,
Emelia P Bensonmeyer
,
Nina R Benway
,
Grant M Berry
,
Liwen Bing
,
Christina Bjorndahl
,
Mariška Bolyanatz
,
Aaron Braver
,
Violet A Brown
,
Alicia M Brown
,
Alejna Brugos
,
Erin M Buchanan
,
Tanna Butlin
,
Andrés Buxó-Lugo
,
Coline Caillol
,
Francesco Cangemi
,
Christopher Carignan
,
Sita Carraturo
,
Tiphaine Caudrelier
,
Eleanor Chodroff
,
Michelle Cohn
,
Johanna Cronenberg
,
Olivier Crouzet
,
Erica L Dagar
,
Charlotte Dawson
,
Carissa A Diantoro
,
Marie Dokovova
,
Shiloh Drake
,
Fengting Du
,
Margaux Dubuis
,
Florent Duême
,
Matthew Durward
,
Ander Egurtzegi
(2)
,
Mahmoud M Elsherif
,
Janina Esser
,
Emmanuel Ferragne
,
Fernanda Ferreira
,
Lauren K Fink
,
Sara Finley
,
Kurtis Foster
,
Paul Foulkes
,
Rosa Franzke
,
Gabriel Frazer-Mckee
,
Robert Fromont
,
Christina García
,
Jason Geller
,
Camille L Grasso
,
Pia Greca
,
Martine Grice
,
Magdalena S Grose-Hodge
,
Amelia J Gully
,
Caitlin Halfacre
,
Ivy Hauser
,
Jen Hay
,
Robert Haywood
,
Sam Hellmuth
,
Allison I Hilger
,
Nicole Holliday
,
Damar Hoogland
,
Yaqian Huang
,
Vincent Hughes
,
Ane Icardo Isasa
,
Zlatomira G Ilchovska
,
Hae-Sung Jeon
,
Jacq Jones
,
Mágat N Junges
,
Stephanie Kaefer
,
Constantijn Kaland
,
Matthew C Kelley
,
Niamh E Kelly
,
Thomas Kettig
,
Ghada Khattab
,
Ruud Koolen
,
Emiel Krahmer
,
Dorota Krajewska
,
Andreas Krug
,
Abhilasha A Kumar
,
Anna Lander
,
Tomas O Lentz
,
Wanyin Li
,
Yanyu Li
,
Maria Lialiou
,
Ronaldo M Lima
,
Justin J H Lo
,
Julio Cesar Lopez Otero
,
Bradley Mackay
,
Bethany Macleod
,
Mel Mallard
,
Carol-Ann Mary Mcconnellogue
,
George Moroz
,
Mridhula Murali
,
Ladislas Nalborczyk
,
Filip Nenadić
,
Jessica Nieder
,
Dušan Nikolić
,
Francisco G S Nogueira
,
Heather M Offerman
,
Elisa Passoni
,
Maud Pélissier
(3)
,
Scott J Perry
,
Alexandra M Pfiffner
,
Michael Proctor
,
Ryan Rhodes
,
Nicole Rodríguez
,
Elizabeth Roepke
,
Jan P Röer
,
Lucia Sbacco
,
Rebecca Scarborough
,
Felix Schaeffler
,
Erik Schleef
,
Dominic Schmitz
,
Alexander Shiryaev
,
Márton Sóskuthy
,
Malin Spaniol
,
Joseph A Stanley
,
Alyssa Strickler
,
Alessandro Tavano
,
Fabian Tomaschek
,
Benjamin V Tucker
,
Rory Turnbull
,
Kingsley O Ugwuanyi
,
Iñigo Urrestarazu-Porta
,
Ruben van de Vijver
,
Kristin J van Engen
,
Emiel van Miltenburg
,
Bruce Xiao Wang
,
Natasha Warner
,
Simon Wehrle
,
Hans Westerbeek
,
Seth Wiener
,
Stephen Winters
,
Sidney G.-J. Wong
,
Anna Wood
,
Jane Wottawa
(4)
,
Chenzi Xu
,
Germán Zárate-Sández
,
Georgia Zellou
,
Cong Zhang
,
Jian Zhu
,
Timo B Roettger
Stefano Coretta
- Fonction : Auteur
- PersonId : 1290881
- ORCID : 0000-0001-9627-5532
Joseph V Casillas
- Fonction : Auteur
Simon Roessig
- Fonction : Auteur
Michael Franke
- Fonction : Auteur
Byron Ahn
- Fonction : Auteur
Ali H Al-Hoorie
- Fonction : Auteur
- PersonId : 1290882
- ORCID : 0000-0003-3810-5978
Jalal Al-Tamimi
- Fonction : Auteur
- PersonId : 1143178
- IdHAL : jalal-al-tamimi
- ORCID : 0000-0002-0926-6660
- IdRef : 123484529
Najd E Alotaibi
- Fonction : Auteur
- PersonId : 1290883
- ORCID : 0000-0003-3306-5081
Mohammed K Alshakhori
- Fonction : Auteur
Ruth M Altmiller
- Fonction : Auteur
Pablo Arantes
- Fonction : Auteur
Angeliki Athanasopoulou
- Fonction : Auteur
Melissa M Baese-Berk
- Fonction : Auteur
George Bailey
- Fonction : Auteur
- PersonId : 1290884
- ORCID : 0000-0001-5137-8394
Cheman Baira A Sangma
- Fonction : Auteur
Eleonora J Beier
- Fonction : Auteur
Gabriela M Benavides
- Fonction : Auteur
Nicole Benker
- Fonction : Auteur
Emelia P Bensonmeyer
- Fonction : Auteur
Nina R Benway
- Fonction : Auteur
- PersonId : 1290885
- ORCID : 0000-0003-0955-9495
Grant M Berry
- Fonction : Auteur
Liwen Bing
- Fonction : Auteur
Christina Bjorndahl
- Fonction : Auteur
Mariška Bolyanatz
- Fonction : Auteur
Aaron Braver
- Fonction : Auteur
- PersonId : 1290886
- ORCID : 0000-0001-8532-0473
Violet A Brown
- Fonction : Auteur
Alicia M Brown
- Fonction : Auteur
Alejna Brugos
- Fonction : Auteur
Erin M Buchanan
- Fonction : Auteur
- PersonId : 810972
- ORCID : 0000-0002-9689-4189
Tanna Butlin
- Fonction : Auteur
Andrés Buxó-Lugo
- Fonction : Auteur
- PersonId : 1290887
- ORCID : 0000-0001-8274-035X
Coline Caillol
- Fonction : Auteur
- PersonId : 1160570
- IdHAL : coline-caillol
- ORCID : 0000-0002-1453-1289
Francesco Cangemi
- Fonction : Auteur
- PersonId : 1290888
- ORCID : 0000-0003-1016-5178
Christopher Carignan
- Fonction : Auteur
Sita Carraturo
- Fonction : Auteur
Tiphaine Caudrelier
- Fonction : Auteur
- PersonId : 19515
- IdHAL : tiphaine-caudrelier
- ORCID : 0000-0001-7055-0022
- IdRef : 241526418
Eleanor Chodroff
- Fonction : Auteur
Michelle Cohn
- Fonction : Auteur
Johanna Cronenberg
- Fonction : Auteur
Olivier Crouzet
- Fonction : Auteur
- PersonId : 343
- IdHAL : crouzet-o
- ORCID : 0000-0001-9804-5992
- IdRef : 073358207
Erica L Dagar
- Fonction : Auteur
Charlotte Dawson
- Fonction : Auteur
Carissa A Diantoro
- Fonction : Auteur
- PersonId : 1290889
- ORCID : 0000-0001-5286-0860
Marie Dokovova
- Fonction : Auteur
Shiloh Drake
- Fonction : Auteur
- PersonId : 1290890
- ORCID : 0000-0003-2247-2052
Fengting Du
- Fonction : Auteur
Margaux Dubuis
- Fonction : Auteur
Florent Duême
- Fonction : Auteur
Matthew Durward
- Fonction : Auteur
Ander Egurtzegi
- Fonction : Auteur
- PersonId : 183755
- IdHAL : ander-egurtzegi
- ORCID : 0000-0002-3451-323X
Mahmoud M Elsherif
- Fonction : Auteur
- PersonId : 1290891
- ORCID : 0000-0002-0540-3998
Janina Esser
- Fonction : Auteur
Emmanuel Ferragne
- Fonction : Auteur
Fernanda Ferreira
- Fonction : Auteur
Lauren K Fink
- Fonction : Auteur
Sara Finley
- Fonction : Auteur
- PersonId : 1290892
- ORCID : 0000-0002-7090-8108
Kurtis Foster
- Fonction : Auteur
Paul Foulkes
- Fonction : Auteur
Rosa Franzke
- Fonction : Auteur
Gabriel Frazer-Mckee
- Fonction : Auteur
Robert Fromont
- Fonction : Auteur
- PersonId : 1290893
- ORCID : 0000-0001-5271-5487
Christina García
- Fonction : Auteur
Jason Geller
- Fonction : Auteur
Camille L Grasso
- Fonction : Auteur
Pia Greca
- Fonction : Auteur
- PersonId : 1290894
- ORCID : 0000-0003-3491-1446
Martine Grice
- Fonction : Auteur
Magdalena S Grose-Hodge
- Fonction : Auteur
Amelia J Gully
- Fonction : Auteur
- PersonId : 1290895
- ORCID : 0000-0002-8600-121X
Caitlin Halfacre
- Fonction : Auteur
Ivy Hauser
- Fonction : Auteur
Jen Hay
- Fonction : Auteur
Robert Haywood
- Fonction : Auteur
Sam Hellmuth
- Fonction : Auteur
Allison I Hilger
- Fonction : Auteur
Nicole Holliday
- Fonction : Auteur
Damar Hoogland
- Fonction : Auteur
Yaqian Huang
- Fonction : Auteur
Vincent Hughes
- Fonction : Auteur
Ane Icardo Isasa
- Fonction : Auteur
Zlatomira G Ilchovska
- Fonction : Auteur
Hae-Sung Jeon
- Fonction : Auteur
Jacq Jones
- Fonction : Auteur
Mágat N Junges
- Fonction : Auteur
Stephanie Kaefer
- Fonction : Auteur
Constantijn Kaland
- Fonction : Auteur
Matthew C Kelley
- Fonction : Auteur
- PersonId : 1290896
- ORCID : 0000-0002-7218-5599
Niamh E Kelly
- Fonction : Auteur
Thomas Kettig
- Fonction : Auteur
Ghada Khattab
- Fonction : Auteur
- PersonId : 1290897
- ORCID : 0000-0002-8451-8135
Ruud Koolen
- Fonction : Auteur
Emiel Krahmer
- Fonction : Auteur
Dorota Krajewska
- Fonction : Auteur
Andreas Krug
- Fonction : Auteur
Abhilasha A Kumar
- Fonction : Auteur
Anna Lander
- Fonction : Auteur
Tomas O Lentz
- Fonction : Auteur
- PersonId : 1290898
- ORCID : 0000-0001-8307-9639
Wanyin Li
- Fonction : Auteur
Yanyu Li
- Fonction : Auteur
Maria Lialiou
- Fonction : Auteur
- PersonId : 1290899
- ORCID : 0000-0002-9788-1443
Ronaldo M Lima
- Fonction : Auteur
Justin J H Lo
- Fonction : Auteur
- PersonId : 1290900
- ORCID : 0000-0003-0115-6982
Julio Cesar Lopez Otero
- Fonction : Auteur
- PersonId : 1290901
- ORCID : 0000-0001-6678-722X
Bradley Mackay
- Fonction : Auteur
Bethany Macleod
- Fonction : Auteur
Mel Mallard
- Fonction : Auteur
Carol-Ann Mary Mcconnellogue
- Fonction : Auteur
George Moroz
- Fonction : Auteur
Mridhula Murali
- Fonction : Auteur
- PersonId : 1290902
- ORCID : 0000-0001-5450-6419
Ladislas Nalborczyk
- Fonction : Auteur
- PersonId : 182947
- IdHAL : ladislas-nalborczyk
- ORCID : 0000-0002-7419-9855
Filip Nenadić
- Fonction : Auteur
Jessica Nieder
- Fonction : Auteur
Dušan Nikolić
- Fonction : Auteur
Francisco G S Nogueira
- Fonction : Auteur
Heather M Offerman
- Fonction : Auteur
- PersonId : 1290903
- ORCID : 0000-0001-7535-2279
Elisa Passoni
- Fonction : Auteur
Maud Pélissier
- Fonction : Auteur
- PersonId : 9802
- IdHAL : maud-pelissier
- ORCID : 0000-0001-6639-9665
Scott J Perry
- Fonction : Auteur
- PersonId : 1290904
- ORCID : 0000-0003-0400-0625
Alexandra M Pfiffner
- Fonction : Auteur
Michael Proctor
- Fonction : Auteur
- PersonId : 1290905
- ORCID : 0000-0002-3083-6859
Ryan Rhodes
- Fonction : Auteur
Nicole Rodríguez
- Fonction : Auteur
Elizabeth Roepke
- Fonction : Auteur
Jan P Röer
- Fonction : Auteur
Lucia Sbacco
- Fonction : Auteur
Rebecca Scarborough
- Fonction : Auteur
Felix Schaeffler
- Fonction : Auteur
Erik Schleef
- Fonction : Auteur
- PersonId : 1290906
- ORCID : 0000-0001-6636-1085
Dominic Schmitz
- Fonction : Auteur
Alexander Shiryaev
- Fonction : Auteur
Márton Sóskuthy
- Fonction : Auteur
Malin Spaniol
- Fonction : Auteur
Joseph A Stanley
- Fonction : Auteur
- PersonId : 1290907
- ORCID : 0000-0002-9185-0048
Alyssa Strickler
- Fonction : Auteur
Alessandro Tavano
- Fonction : Auteur
Fabian Tomaschek
- Fonction : Auteur
Benjamin V Tucker
- Fonction : Auteur
- PersonId : 1290908
- ORCID : 0000-0001-8965-7890
Rory Turnbull
- Fonction : Auteur
Kingsley O Ugwuanyi
- Fonction : Auteur
- PersonId : 1290909
- ORCID : 0000-0002-6480-0352
Iñigo Urrestarazu-Porta
- Fonction : Auteur
- PersonId : 1290910
- ORCID : 0000-0002-4606-3977
Ruben van de Vijver
- Fonction : Auteur
Kristin J van Engen
- Fonction : Auteur
Emiel van Miltenburg
- Fonction : Auteur
- PersonId : 1290911
- ORCID : 0000-0002-7143-8961
Bruce Xiao Wang
- Fonction : Auteur
Natasha Warner
- Fonction : Auteur
Simon Wehrle
- Fonction : Auteur
- PersonId : 1290912
- ORCID : 0000-0001-9715-9541
Hans Westerbeek
- Fonction : Auteur
Seth Wiener
- Fonction : Auteur
Stephen Winters
- Fonction : Auteur
Sidney G.-J. Wong
- Fonction : Auteur
Anna Wood
- Fonction : Auteur
- PersonId : 1290913
- ORCID : 0000-0002-4423-8219
Jane Wottawa
- Fonction : Auteur
- PersonId : 174626
- IdHAL : jwottawa
- ORCID : 0000-0002-3855-0695
- IdRef : 226300307
Chenzi Xu
- Fonction : Auteur
- PersonId : 1290914
- ORCID : 0000-0001-6506-4513
Germán Zárate-Sández
- Fonction : Auteur
Georgia Zellou
- Fonction : Auteur
Cong Zhang
- Fonction : Auteur
- PersonId : 1290915
- ORCID : 0000-0002-2561-2113
Jian Zhu
- Fonction : Auteur
Timo B Roettger
- Fonction : Auteur
- PersonId : 1290916
- ORCID : 0000-0003-1400-2739
Résumé
Recent empirical studies have highlighted the large degree of analytic flexibility in data analysis that can lead to substantially different conclusions based on the same data set. Thus, researchers have expressed their concerns that these researcher degrees of freedom might facilitate bias and can lead to claims that do not stand the test of time. Even greater flexibility is to be expected in fields in which the primary data lend themselves to a variety of possible operationalizations. The multidimensional, temporally extended nature of speech constitutes an ideal testing ground for assessing the variability in analytic approaches, which derives not only from aspects of statistical modeling but also from decisions regarding the quantification of the measured behavior. In this study, we gave the same speech-production data set to 46 teams of researchers and asked them to answer the same research question, resulting in substantial variability in reported effect sizes and their interpretation. Using Bayesian meta-analytic tools, we further found little to no evidence that the observed variability can be explained by analysts’ prior beliefs, expertise, or the perceived quality of their analyses. In light of this idiosyncratic variability, we recommend that researchers more transparently share details of their analysis, strengthen the link between theoretical construct and quantitative system, and calibrate their (un)certainty in their conclusions.
Fichier principal
coretta-et-al-2023-multidimensional-signals-and-analytic-flexibility-estimating-degrees-of-freedom-in-human-speech.pdf (6.74 Mo)
Télécharger le fichier
Origine | Fichiers éditeurs autorisés sur une archive ouverte |
---|