Advertisement

Das Experiment gestern und heute, oder: die normative Kraft des Faktischen

Grundlagen des Experimentierens in Digitalen Medien
  • Thomas WirthEmail author
Chapter

Zusammenfassung

Dank der Möglichkeiten moderner Webtechnologien hat sich in den vergangenen Jahren das Experiment einen festen Platz unter den Standardmethoden datengetriebener Entscheidungen erobert. Experimente werden heute zur Optimierung von Verkaufsprozessen, zur Verbesserung der Wirksamkeit von Marketingmaßnahmen wie Newslettern oder Landing Pages, zur Steuerung von Designentscheidungen, zum Usability Engineering oder auch ganz direkt zur Produktentwicklung eingesetzt. Damit gewinnen Fragen, wie Experimente sach- und fachgerecht zu planen und auszuwerten bzw. eine hohe Qualität zu gewährleisten ist, eine zunehmende Bedeutung. Der vorliegende Artikel fasst die aktuellen Trends zusammen und behandelt dabei auch die für ein Verständnis dieses Themenfelds besonders wichtigen konzeptionellen Hintergründe. Unter anderem werden etablierte Qualitätsmerkmale, störende Einflüsse beim Experimentieren und Methoden, die für ihre Kontrolle zur Verfügung stehen, dargestellt. Eine Darstellung der ethischen und methodischen Herausforderungen, die sich beim Experimentieren in Livesystemen ohne Wissen der Benutzer ergeben, bildet den Abschluss dieses Kapitels.

Literatur

  1. Almquist E, Wyner G (2001) Boost your marketing ROI with experimental design. Harv Bus Rev 79(9):135–141Google Scholar
  2. Arechar A, Gächter S, Molleman L (2017) Conducting interactive experiments online. Exp Econ 1–33Google Scholar
  3. Ash T, Ginty M, Page R (2012) Landing page optimization: the definitive guide to testing and tuning for conversions. Wiley, HobokenGoogle Scholar
  4. Birnbaum MH (2004) Human research and data collection via the internet. Annu Rev Psychol 55:803–832CrossRefGoogle Scholar
  5. Bortz J (2006) Statistik: Für Sozialwissenschaftler, 6. Aufl. Springer, HeidelbergGoogle Scholar
  6. Bortz J, Döring N (2006) Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler, 4. Aufl. Springer, HeidelbergCrossRefGoogle Scholar
  7. Brandstätter E (1999) Konfidenzintervalle als Alternative zu Signifikanztests. Meth Psychol Res 4(2):33–46Google Scholar
  8. Brody H (1993) Great expectations: why predictions go awry. J Consumer Res 10(1):23–27Google Scholar
  9. Burk S (2006) A better statistical method for a/b testing in marketing campaigns. Mark Bull 17:1–8Google Scholar
  10. Camerer CF, Johnson EJ (1997) The process-performance paradox in expert judgment: how can experts know so much and predict so badly. In: Goldstein WM, Hogarth RM (Hrsg) Research on judgment and decision making: currents, connections, and controversies. Cambridge University Press, Cambridge, S 342Google Scholar
  11. Chopra P (2012) Why the multi-armed bandit algorithm is not “Better” than A/B testing. VWO blog on conversion optimization. https://vwo.com/blog/multi-armed-bandit-algorithm/. Zugegriffen: 1. Juli 2017
  12. Cox V (2017) Translating statistics to make decisions. Apress, BerkeleyCrossRefGoogle Scholar
  13. Darkpatterns.org (o. J.) Types of dark patterns. https://darkpatterns.org/types-of-dark-pattern. Zugegriffen: 15. Aug. 2017
  14. Deng A, Xu Y, Kohavi R, Walker, T (2013) Improving the sensitivity of online controlled experiments by utilizing pre-experiment data. In Proceedings of the sixth ACM international conference on web search and data mining, ACM, S 123–132Google Scholar
  15. Diehl J, Arbinger R (1990) Einführung in die Inferenzstatistik. Dietmar Klotz, Frankfurt a. M.Google Scholar
  16. Dirscherl H-C, Fogarty K (2017) Die spektakulärsten Fehlprognosen der IT-Geschichte. https://www.pcwelt.de/ratgeber/Die_spektakulaersten_Fehlprognosen_der_IT-Geschichte-6948150.html. Zugegriffen: 24. Aug. 2017
  17. Drutsa A, Ufliand A, Gusev, G (2015, October) Practical aspects of sensitivity in online experimentation with user engagement metrics. In Proceedings of the 24th ACM international on conference on information and knowledge management, ACM, S 763–772Google Scholar
  18. Fisher RA (1935) The design of experiments. Oliver and Boyd, EdinburghGoogle Scholar
  19. Hansotia BJ (1990) Sample size and design of experiment issues in testing offers. J Dir Mark 4(4):15–25CrossRefGoogle Scholar
  20. Holzkamp K (1981) Theorie und Experiment in der Psychologie. De Gruyter, BerlinGoogle Scholar
  21. Klimmt C, Weber R (2013) Das Experiment in der Kommunikationswissenschaft. In: Möhring W, Schlütz D (Hrsg) Handbuch standardisierte Erhebungsverfahren in der Kommunikationswissenschaft. Springer, Wiesbaden, S 125–144CrossRefGoogle Scholar
  22. Kohavi R, Longbotham R (2015) Online controlled experiments and A/B tests. In: Sammut C, Webb GI (Hrsg) Encyclopedia of machine learning and data mining. Springer, New York, S 1–11Google Scholar
  23. Kohavi R, Longbotham R, Sommerfield D, Henne RM (2009) Controlled experiments on the web: survey and practical guide. Data Min Knowl Discov 18(1):140–181CrossRefGoogle Scholar
  24. Krebs D, Menold N (2014) Gütekriterien qualitativer Sozialforschung. In: Baur N, Blasius J (Hrsg) Handbuch Methoden der empirischen Sozialforschung. Springer, WiesbadenGoogle Scholar
  25. Lewis C (2014) Irresistible apps: motivational design patterns for apps, games, and web-based communities. Apress, BerkeleyCrossRefGoogle Scholar
  26. Linden G (2006) Geeking with greg. early amazon: shopping cart recommendations. http://glinden.blogspot.de/2006/04/early-amazon-shopping-cart.html. Zugegriffen: 28. Aug. 2017
  27. Makridakis S, Hogarth RM, Gaba A (2009) Forecasting and uncertainty in the economic and business world. Int J Forecast 25(4):794–812CrossRefGoogle Scholar
  28. Montgomery DC (2013) Design and analysis of experiments, 3. Aufl. Wiley, HobokenGoogle Scholar
  29. Moosbrugger H, Kelava A (2012) Qualitätsanforderungen an einen psychologischen Test (Testgütekreterien). In: Moosbrugger H, Kelava A (Hrsg) Testtheorie und Fragebogenkonstruktion, 2. Aufl. Springer, BerlinCrossRefGoogle Scholar
  30. Murphy J, Hofacker C, Mizerski R (2006) Primacy and recency effects on clicking behavior. J Comput-Mediated Commun 11(2):522–535CrossRefGoogle Scholar
  31. Reips U-D (1997) Das psychologische Experimentieren im Internet. In: Batinic B (Hrsg) Internet für Psychologen. Hogrefe, Göttingen, S 245–265Google Scholar
  32. Reips U-D (2002) Standards for internet-based experimenting. Exp Psychol 49(4):243CrossRefGoogle Scholar
  33. Renner KH, Heydasch T, Ströhlein G (2012) Forschungsmethoden der Psychologie. Von der Fragestellung zur Präsentation. Springer, BerlinCrossRefGoogle Scholar
  34. Rosenzweig P (2008) Der Halo-Effekt: wie Manager sich täuschen lassen. GABAL Verlag GmbH, OffenbachGoogle Scholar
  35. Scott SL (2014) Multi-armed bandit experiments in the online service economy. Appl Stoch Models Bus Ind 31:37–45CrossRefGoogle Scholar
  36. Siebertz K, Van Bebber D, Hochkirchen T (2010) Statistische Versuchsplanung: Design of experiments (DoE). Springer, HeidelbergCrossRefGoogle Scholar
  37. Siroker D (2010) How Obama Raised $60 Million by Running a Simple Experiment. Optimizely Blog. https://blog.optimizely.com/2010/11/29/how-obama-raised-60-million-by-running-a-simple-experiment/. Zugegriffen: 22. Aug. 2017
  38. Siroker D, Koomen P (2013) A/B testing: the most powerful way to turn clicks into customers. Wiley, HobokenGoogle Scholar
  39. Sterne J (2011) Social media monitoring. MITP-Verlags GmbH & Co. KG, HeidelbergGoogle Scholar
  40. Thomke SH (2003) Experimentation matters: unlocking the potential of new technologies for innovation. Harvard Business Press, BostonGoogle Scholar
  41. trustradius (o. J.) A/B testing and personalization tools. https://www.trustradius.com/ab-testing. Zugegriffen: 24. Aug. 2017
  42. Tunguz T, Bien F (2016) Winning with data: transform your culture, empower your people, and shape the future. Wiley, HobokenCrossRefGoogle Scholar

Copyright information

© Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2018

Authors and Affiliations

  1. 1.Studiengang OnlinemedienDuale Hochschule Baden-Württemberg MosbachUlmDeutschland

Personalised recommendations