Psychology and social science face a number of challenges: the inherent complexity of the phenomena of interest, the replication crisis, the theory crisis, and functional and structural misspecification. The confluence of these challenges poses a serious threat to the validity and meaningfulness of research in these domains, and brings into question the direction that researchers in these fields should take. If this direction is to be effective with respect to improvement, I believe it is important for psychologists and social scientists to engage with the meta-research surrounding areas of possible analytical and statistical improvements. In this thesis I present four contributions which are strongly motivated by the problems of misspecification and complexity, an provide recommendations to researchers. The proposals include the use of more powerful, data-adaptive techniques for function approximation (such as those tools from the domain of machine learning), as well as the use of techniques from the domain of causality (such as causal Directed Acyclic Graphs) and information theory. I demonstrate how these techniques can (a) help us to match the level of complexity of our modeling to the inherent complexity of the phenomenon under study, (b) reduce ambiguity with respect to theory specification, and make our assumptions and modeling choices more transparent, (c) reduce the complexity of a mathematical representation of a theory without impacting the validity of any downstream estimates,
(d) improve the efficiency of data collection methodologies, (e) highlight the critical nature of causality even when otherwise powerful, exploratory machine learning techniques are used, (f) highlight the strange, unintuitive behaviour of datasets with more than four dimensions, (g) undertake outlier detection in a way that is robust to this aforementioned strange behaviour. Whilst these approaches do not solve the problems in a finite sense, they represent relatively low-cost stepping stones en route to a better way to undertake research in psychology and social science. Indeed, the nature of at least some of the problems would seem to encourage an optimistic interpretation: That there presently exists a tremendous opportunity to modernise the current approach to research, simply by assimilating recent advances and developments from other domains such as engineering, machine learning, and statistics. Psychology and social science are complex domains, full of rich and nuanced phenomena. They deserve to be represented using research methodologies which are flexible enough to reflect this complexity.
--
La psychologie et les sciences sociales sont confrontées à un certain nombre de défis : la complexité des phénomènes auxquels celles-ci s’intéressent, la crise de la réplication, la crise de la théorie et les erreurs de spécification fonctionnelles et structurelles. La confluence de ces défis constitue une menace sérieuse pour la validité de la recherche et pour sa capacité à donner du sens; cela remet de plus en question la direction que les chercheurs en psychologie et en sciences sociales devraient suivre. Si ce cheminement de la recherche doit être efficace en ce qui concerne les améliorations dans ces domaines, il s’agit ici de soutenir qu’il est important que les chercheurs en psychologie et en sciences sociales s’engagent dans une méta-recherche balisant les améliorations analytiques et statistiques possibles. Cette thèse présente quatre travaux fortement motivés par la volonté de résoudre les problèmes de complexité et d’erreur de spécification, et elle s’engagera aussi à faire des recommandations relatives à ces questions aux chercheurs. Les propositions incluent l’utilisation de techniques pour l’approximation de fonction plus puissantes (tels que les outils du domaine de l’apprentissage automatique), l’utilisation de techniques issues du domaine de la causalité (tels que les graphes acycliques dirigés causaux) et enfin des idées relatives à la théorie de l’information. Il s’agira tour à tour de démontrer comment ces techniques peuvent: A) nous aider à faire correspondre le niveau de complexité de notre modélisation à la complexité inhérente au phénomène étudié; B) réduire l’ambiguïté liée à la spécification de la théorie et rendre nos hypothèses et nos choix de modélisation plus transparents; C) réduire la complexité de la représentation mathématique d’une théorie sans affecter la validité des estimations de cette dernière; D) améliorer l’efficacité des méthodologies de collecte de données;
E) mettre en exergue la nature critique de la causalité même lorsque de puissantes techniques exploratoires d’apprentissage automatique sont utilisées; F) mettre en évidence le comportement étrange et non intuitif des ensembles de données de plus de quatre dimensions; G) en cas de comportement étrange ou non, entreprendre la détection des valeurs aberrantes d’une manière qui soit robuste. Bien que ces approches ne résolvent pas définitivement les problèmes, elles représentent des étapes peu couˆteuses et faciles à franchir pour réaliser une meilleure façon d’entreprendre des recherches. La nature de certains problèmes au moins, telle que l’omniprésence de méthodologies de recherche et de méthodes d’analyse peu sophistiquées dans le paradigme actuel, semble en effet encourager une interprétation optimiste : il existe actuellement de formidables opportunités de moderniser l’approche actuelle de la recherche. La psychologie et les sciences sociales sont des domaines complexes, riches en phénomènes dynamiques. Ceux-ci méritent d’être étudiés à l’aide de méthodologies de recherche suffisamment flexibles pour refléter toute cette complexité.