Los economistas conductuales y otros investigadores del comportamiento hacemos la mayoría de los experimentos con estudiantes. ¿Esto supone un problema muestral? Además, son los propios estudiantes los que deciden participar en los experimentos incentivados. ¿Añade esto un problema de autoselección? No solo esto, sino que además los experimentos suelen tener lugar en los laboratorios de economía. ¿Este entorno especial y poco natural puede hacer que cambien su comportamiento? Tiene mucho sentido platearse si los experimentos que realizamos con estudiantes tienen realmente validez externa.
Para comprobalo, Erik Snowberg y Leeat Yariv, de Caltech y Princenton respectivamente, analizaron esas tres cuestiones. Para resolver la primera y comprobar si las decisiones de los estudiantes son distintas a las de la población general por algún motivo, analizaron las diferencias entre tres grupos.
- El 90% de los estudiantes de Caltech.
- Usuarios estadounidenses de MTurk (Amazon Mechanical Turk), que es una plataforma cada vez más usada por economistas en la cual sus usuarios realizan encuestas o tareas por una recompensa económica de forma online.
- Una muestra representativa de EEUU.
Cada uno de los grupos hicieron una encuesta online incentivada para averiguar muchas de las típicas variables analizadas en experimentos de economía: aversión al riesgo, confianza, altruismo, varias interacciones estratégicas, etc. ¿Encuentran diferencias entre los grupos? La respuesta es sí. Significativas, y algunas veces grandes. Por ejemplo, los estudiantes son menos generosos, más neutrales al riesgo, más sofisticados y en general más racionales. Esto también podría tener que ver con que son estudiantes de Caltech, y algunas de estas variables son las que se suelen dar también en personas exitosas.
La parte positiva es que las distribuciones presentan dominancia estocástica, es decir, que casi siempre encontramos la muestra representativa en un extremo y a los estudiantes en otro. Por tanto se puede interpretar que los estudiantes pueden ser un buen indicador de límites superiores o inferiores de ciertas variables.
Sin embargo, lo más importante no son necesariamente los niveles, sino las relaciones entre todas esas variables ya que suelen ser lo analizado por los investigadores. Lo que encuentran es que de las posibles 55 correlaciones entre las variables, solo en 2 casos hallaron relaciones opuestas por lo que esta coherencia se mantiene y sí que permitiría realizar conclusiones generales de este tipo.
Pero, ¿Qué hay sobre la segunda pregunta? ¿Quizás esos estudiantes que deciden voluntariamente ir a los experimentos son distintos? Para saberlo, los investigadores seleccionaron aquellos estudiantes de la encuesta que habían participado varias veces en experimentos voluntarios en el pasado. Estas personas apenas mostraban diferencias. Algunas sí que son significativas pero pequeñas en magnitud: hay más chicas, son ligeramente menos generosos, un poco más aversos al riesgo y estaban más dispuestos a mentir.
Por último, quizás cuando un estudiante va realizar un experimento en el laboratorio, ese entorno afecta a su comportamiento. Por ejemplo podría costarles más mentir, o tener tendencia a ser más generosos para aparentar.
97 sujetos participaron de nuevo en la misma encuesta en el laboratorio, y compararon sus resultados con los de la encuesta online. De nuevo apenas hay diferencias. Hay un efecto muy pequeño en mayor aversión al riesgo. También hay una mejor puntuación en las tareas de habilidad cognitiva, pero esto es algo esperable cuando se realiza una tarea de este tipo de forma repetida.
En conclusión, sí hay diferencias de comportamiento en los estudiantes. Pero estas diferencias son sencillas de incorporarlas al análisis y las relaciones entre ellas son las mismas, así que generalizar es posible.
El paper (aún en revisión):
Snowberg, E., & Yariv, L. (2018). Testing the waters: Behavior across participant pools (No. w24781). National Bureau of Economic Research.