Skip to main content
SpringerLink
Log in

Unterstützung kundenbezogener Entscheidungsprobleme

Eine Analyse zum Potenzial moderner Klassifikationsverfahren

Customer-Centric Decision Support

  • Aufsatz
  • Published:
WIRTSCHAFTSINFORMATIK

Zusammenfassung

Die Klassifikation repräsentiert ein wichtiges Instrument zur Unterstützung kundenbezogener Planungs- und Entscheidungsprobleme. Hierzu zählen z. B. die Prognose von Abwanderungswahrscheinlichkeiten im Vertragskundengeschäft oder die Abgrenzung einer geeigneten Zielgruppe für Marketingkampagnen. Während die Entwicklung neuer Klassifikationsverfahren ein populäres Forschungsfeld repräsentiert, werden entsprechende Neuerungen in der betrieblichen Praxis bisher nur selten eingesetzt. Diese Divergenz zwischen wissenschaftlichen und praktischen Interessen lässt sich z. T. dadurch erklären, dass das Potenzial moderner Klassifikationsverfahren in diesem Anwendungskontext noch nicht hinreichend geklärt ist. Die vorliegende Arbeit möchte einen Beitrag zur Schließung dieser Erkenntnislücke liefern. Hierzu wird eine empirische Studie durchgeführt, in deren Rahmen eine große Zahl etablierter wie neuer Klassifikationsverfahren verglichen wird. Eine Bewertung erfolgt anhand der Kosten bzw. Erträge, welche sich aus dem Einsatz einer bestimmten Methode in einer konkreten Entscheidungssituation ergeben. Die Untersuchung zeigt, dass eine stärkere Berücksichtigung moderner Methoden durchaus empfohlen werden kann und diese unter verschiedenen Bedingungen einen ökonomischen Mehrwert bieten.

Abstract

Classification analysis is an important tool to support decision making in customer-centric applications like, e.g., proactively identifying churners or selecting responsive customers for direct-marketing campaigns. Whereas the development of novel algorithms is a popular avenue for research, corresponding advancements are rarely adopted in corporate practice. This lack of diffusion may be explained by a high degree of uncertainty regarding the superiority of novel classifiers over well established counterparts in customer-centric settings. To overcome this obstacle, an empirical study is undertaken to assess the ability of several novel as well as traditional classifiers to form accurate predictions and effectively support decision making. The results provide strong evidence for the appropriateness of novel methods and indicate that they offer economic benefits under a variety of conditions. Therefore, an increase in use of respective procedures can be recommended.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Log in via an institution

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Institutional subscriptions

Abb. 1
Abb. 2
Abb. 3
Abb. 4
Abb. 5

Notes

  1. Dies wird u. a. durch die Ergebnisse einer szientometrischen Untersuchung verdeutlicht, welche Beiträge der International Conference on Machine Learning im Zeitraum 1999–2003 analysiert (Demšar 2006, S. 3 f).

  2. Zwei der acht von Baesens et al. (2003) verwendeten Datensätze sind öffentlich verfügbar.

  3. http://www.data-mining-cup.de.

  4. Die genaue Vorgehensweise zur Berechnung dieser Kennzahl sowie die verwendeten Kosten/Erträge falscher/korrekter Klassifikationen sind im Anhang II dokumentiert.

  5. Die Nullhypothese des Tests, dass die mittlere Prognosegüte zwischen beiden Gruppen identisch ist, kann mit hoher Wahrscheinlichkeit (>0.9999) verworfen werden.

  6. Dahingegen wäre die Folgerung, dass zwei Methoden identisch sind, sofern sie sich nicht signifikant unterscheiden, statistisch falsch. Nur bei Verwerfen der Nullhypothese kann mit hoher Wahrscheinlichkeit (1-Irrtumswahrscheinlichkeit) geschlossen werden, dass die Alternativhypothese zutrifft. Dahingegen lässt das Scheitern, die Nullhypothese zu verwerfen, gerade nicht den Schluss zu, dass sie zutrifft.

  7. Die F-Metrik wird insb. im Information Retrieval eingesetzt und ist dort unter diesem Namen bekannt. Prinzipiell handelt es sich um ein gewichtetes harmonisches Mittel aus Präzision und Sensitivität (Caruana u. Niculescu-Mizil 2004, S. 78). Als Gewichtungsfaktor wurde 0,5 gewählt.

  8. Als Maß für den Zusammenhang wurde der Rang-Korrelationskoeffizient nach Kendall verwendet.

  9. Für die Einteilung wurde das AUC-Kriterium verwendet, da dieser Wert von Datensatzcharakteristiken wie z. B. Klassenverteilung und Fehlerklassifikationskosten unabhängig ist (Fawcett 2006, S. 873). Er ist damit für eine allgemeine Bewertung der Schwierigkeit einer Klassifikationsaufgabe besser geeignet als andere Gütemaße.

  10. Die genannten Werte beziehen sich erneut auf den Rangkorrelationskoeffizienten nach Kendall.

  11. Beispielsweise werden sowohl stützvektorbasierte Verfahren als auch verschiedene Ensemble-Klassifikatoren und insbesondere SGB in aktuellen Versionen der Standardsoftwarepakete SAS Enterprise Miner und SPSS PASW Modeler (ehemals Clementine) unterstützt. Darüber hinaus existieren spezialisierte Systeme wie die Produkte von Salford Systems, KXEN oder DTREG, die ebenfalls entsprechende Analysetechniken bereitstellen.

Literatur

  • Asuncion A, Newman DJ (2007) UCI machine learning repository. http://archive.ics.uci.edu/ml/. Abruf am 2009-09-02

  • Baesens B, Viaene S, van den Poel D, Vanthienen J, Dedene G (2002) Bayesian neural network learning for repeat purchase modelling in direct marketing. European Journal of Operational Research 138(1):191–211

    Article  Google Scholar 

  • Baesens B, van Gestel T, Viaene S, Stepanova M, Suykens J, Vanthienen J (2003) Benchmarking state-of-the-art classification algorithms for credit scoring. Journal of the Operational Research Society 54(6):627–635

    Article  Google Scholar 

  • Barakat NH, Bradley AP (2007) Rule extraction from support vector machines: a sequential covering approach. IEEE Transactions on Knowledge and Data Engineering 19(6):729–741

    Article  Google Scholar 

  • Batista G, Prati RC, Monard MC (2004) A study of the behavior of several methods for balancing machine learning training data. ACM SIGKDD Explorations Newsletter 6(1):20–29

    Article  Google Scholar 

  • Bauer E, Kohavi R (1999) An empirical comparison of voting classification algorithms: bagging, boosting, and variants. Machine Learning 36(1–2):105–139

    Article  Google Scholar 

  • Berry MJA, Linoff G (2004) Data mining techniques: for marketing, sales and customer relationship management, 2. Aufl. Wiley, New York

    Google Scholar 

  • Bose I, Xi C (2009) Quantitative models for direct marketing: a review from systems perspective. European Journal of Operational Research 195(1):1–16

    Article  Google Scholar 

  • Boylu F, Aytug H, Koehler GJ (2009) Principal-agent learning. Decision Support Systems 47(2):75–81

    Article  Google Scholar 

  • Breiman L (2001) Random forests. Machine Learning 45(1):5–32

    Article  Google Scholar 

  • Burez J, van den Poel D (2009) Handling class imbalance in customer churn prediction. Expert Systems with Applications 36(3):4626–4636

    Article  Google Scholar 

  • Caruana R, Niculescu-Mizil A (2004) Data mining in metric space: an empirical analysis of supervised learning performance criteria. In: Kim W, Kohavi, R, Gehrke, J, DuMouchel W (Hrsg) Proc. 10th ACM SIGKDD intern. conf. on knowledge discovery and data mining, Seattle

  • Caruana R, Niculescu-Mizil A (2006) An empirical comparison of supervised learning algorithms. In: Cohen, WW, Moore A (Hrsg) Proc. 23rd intern. conf. on machine learning, Pittsburgh

  • Cooper GF, Aliferis CF, Ambrosino R, Aronis J, Buchanan BG, Caruana R, Fine MJ, Glymour C, Gordon G, Hanusa BH, Janosky JE, Meek C, Mitchell T, Richardson T, Spirtes P (1997) An evaluation of machine-learning methods for predicting pneumonia mortality. Artificial Intelligence in Medicine 9(2):107–138

    Article  Google Scholar 

  • Crone SF, Lessmann S, Stahlbock R (2006) The impact of preprocessing on data mining: an evaluation of classifier sensitivity in direct marketing. European Journal of Operational Research 173(3):781–800

    Article  Google Scholar 

  • Crook JN, Edelman DB, Thomas LC (2007) Recent developments in consumer credit risk assessment. European Journal of Operational Research 183(3):1447–1465

    Article  Google Scholar 

  • Cui D, Curry D (2005) Predictions in marketing using the support vector machine. Marketing Science 24(4):595–615

    Article  Google Scholar 

  • Curram SP, Mingers J (1994) Neural networks, decision tree induction and discriminant analysis: an empirical comparison. Journal of the Operational Research Society 45(4):440–450

    Google Scholar 

  • Demšar J (2006) Statistical comparisons of classifiers over multiple data sets. Journal of Machine Learning Research 7:1–30

    Google Scholar 

  • Dietterich TG (2000) An experimental comparison of three methods for constructing ensembles of decision trees: Bagging, boosting, and randomization. Machine Learning 40(2):139–157

    Article  Google Scholar 

  • Fawcett T (2006) An introduction to ROC analysis. Pattern Recognition Letters 27(8):861–874

    Article  Google Scholar 

  • Fenton N, Neil M (1999) A critique of software defect prediction models. IEEE Transactions on Software Engineering 25(5):675–689

    Article  Google Scholar 

  • Ferri C, Hernández-Orallo J, Modroiu R (2009) An experimental comparison of performance measures for classification. Pattern Recognition Letters 30(1):27–38

    Article  Google Scholar 

  • Friedman JH (2001) Greedy function approximation: a gradient boosting machine. The Annals of Statistics 29(5):1189–1232

    Article  Google Scholar 

  • Friedman JH (2002) Stochastic gradient boosting. Computational Statistics & Data Analysis 38(4):367–378

    Article  Google Scholar 

  • Friedman JH (2006) Recent advances in predictive (machine) learning. Journal of Classification 23(2):175–197

    Article  Google Scholar 

  • Gestel T, van, Suykens JAK, Baesens B, Viaene S, Vanthienen J, Dedene G, De Moor B, Vandewalle J (2004) Benchmarking least squares support vector machine classifiers. Machine Learning 54(1):5–32

    Article  Google Scholar 

  • Haas A (2006) Interessentenmanagement. In: Hippner H, Wilde KD (Hrsg) Grundlagen des CRM, 2. Aufl. Gabler, Wiesbaden, S. 443–472

    Google Scholar 

  • Hamza M, Larocque D (2005) An empirical comparison of ensemble methods based on classification trees. Journal of Statistical Computation and Simulation 75(8):629–643

    Article  Google Scholar 

  • Hastie T, Tibshirani R, Friedman JH (2009) The elements of statistical learning, 2. Aufl. Springer, New York

    Google Scholar 

  • Hippner H (2006) Komponenten und Potenziale eines analytischen Customer Relationship Management. In: Chamoni P, Gluchowski P (Hrsg) Analytische Informationssysteme, 3. Aufl. Springer, Heidelberg, S. 361–384

    Google Scholar 

  • Hothorn T, Lausen B (2005) Bundling classifiers by bagging trees. Computational Statistics & Data. Analysis 49(4):1068–1078

    Google Scholar 

  • Hsu C-W, Chang C-C, Lin C-J (2003) A practical guide to support vector classification. Arbeitspapier, Department of Computer Science and Information Engineering, National Taiwan University

  • Hulse JV, Khoshgoftaar TM, Napolitano A (2007) Experimental perspectives on learning from imbalanced data. In: Ghahramani Z (Hrsg) Proc. 24th intern. conf. on machine learning, Corvallis

  • Izenman AJ (2008) Modern multivariate statistical techniques. Springer, Heidelberg

    Book  Google Scholar 

  • Khoshgoftaar TM, Seliya N (2004) Comparative assessment of software quality classification techniques: an empirical case study. Empirical Software Engineering 9(3):229–257

    Article  Google Scholar 

  • King RD, Feng C, Sutherland A (1995) StatLog: comparison of classification algorithms on large real-world problems. Applied Artificial Intelligence 9(3):259–287

    Article  Google Scholar 

  • Lemmens A, Croux C (2006) Bagging and boosting classification trees to predict churn. Journal of Marketing Research 43(2):276–286

    Article  Google Scholar 

  • Lessmann S, VoßS (2008) Supervised classification for decision support in customer relationship management. In: Bortfeldt A, Homberger J, Kopfer H, Pankratz G, Strangmeier R (Hrsg) Intelligent Decision Support. Gabler, Wiesbaden, S. 231–253

    Chapter  Google Scholar 

  • Lessmann S, Baesens B, Mues C, Pietsch S (2008) Benchmarking classification models for software defect prediction: a proposed framework and novel findings. IEEE Transactions on Software Engineering 34(4):485–496

    Article  Google Scholar 

  • Lim T-S, Loh W-Y, Shih Y-S (2000) A comparison of prediction accuracy, complexity, and training time of thirty-three old and new classification algorithms. Machine Learning 40(3):203–228

    Article  Google Scholar 

  • Liu C-L, Nakashima K, Sako H, Fujisawa H (2003) Handwritten digit recognition: benchmarking of state-of-the-art techniques. Pattern Recognition 36(10):2271–2285

    Article  Google Scholar 

  • Martens D, Baesens B, van Gestel T, Vanthienen J (2007) Comprehensible credit scoring models using rule extraction from support vector machines. European Journal of Operational Research 183(3):1466–1476

    Article  Google Scholar 

  • Martens D, Baesens B, van Gestel T (2009) Decompositional rule extraction from support vector machines by active learning. IEEE Transactions on Knowledge and Data Engineering 21(2):178–191

    Article  Google Scholar 

  • Meyer D, Leisch F, Hornik K (2003) The support vector machine under test. Neurocomputing 55(1–2):169–186

    Article  Google Scholar 

  • Neslin SA, Gupta S, Kamakura W, Lu J, Mason CH (2006) Defection detection: measuring and understanding the predictive accuracy of customer churn models. Journal of Marketing Research 43(2):204–211

    Article  Google Scholar 

  • Ngai EWT, Xiu L, Chau DCK (2009) Application of data mining techniques in customer relationship management: a literature review and classification. Expert Systems with Applications 36(2):2592–2602

    Article  Google Scholar 

  • Ohlsson MC, Runeson P (2002) Experience from replicating empirical studies on prediction models. In: Proc. 8th intern. software metrics symposium, Ottawa

  • Perlich C, Provost F, Simonoff JS, Cohen WW (2003) Tree induction vs. logistic regression: a learning-curve analysis. Journal of Machine Learning Research 4(2):211–255

    Article  Google Scholar 

  • Poel D, van den, Lariviere B (2004) Customer attrition analysis for financial services using proportional hazard models. European Journal of Operational Research 157(1):196–217

    Article  Google Scholar 

  • Putten P, Someren M (2000) CoIL challenge 2000: the insurance company case. Arbeitspapier, Sentient Machine Research, Amsterdam

  • Reichheld FF, Sasser WE (1990) Zero defections: quality comes to service. Harvard Business Review 68(5):105–111

    Google Scholar 

  • Saar-Tsechansky M, Provost F (2007) Decision-centric active learning of binary-outcome models. Information Systems Research 18(1):4–22

    Article  Google Scholar 

  • Sohn SY, Shin HW (2007) Experimental study for the comparison of classifier combination methods. Pattern Recognition 40(1):33–40

    Article  Google Scholar 

  • Ting KM (2002) An instance-weighting method to induce cost-sensitive trees. IEEE Transactions on Knowledge and Data Engineering 14(3):659–665

    Article  Google Scholar 

  • Tipping ME (2000) The relevance vector machine. In: Solla SA, Leen TK, Müller K-R (Hrsg) Advances in neural information processing systems, Bd 12. MIT Press, Cambridge, S. 652–658

    Google Scholar 

  • Vapnik VN (1995) The nature of statistical learning theory. Springer, New York

    Google Scholar 

  • Viaene S, Derrig RA, Baesens B, Dedene G (2002) A comparison of state-of-the-art classification techniques for expert automobile insurance claim fraud detection. Journal of Risk & Insurance 69(3):373–421

    Article  Google Scholar 

  • Wang S-j, Mathew A, Chen Y, Xi L-f, Ma L, Lee J (2009) Empirical analysis of support vector machine ensemble classifiers. Expert Systems with Applications 36(2):6466–6476

    Article  Google Scholar 

  • Weiss SM, Kapouleas I (1989) An empirical comparison of pattern recognition, neural nets and machine learning classification methods. In: Sridharan NS (eds) Proc. 11th intern. joint conf. on artificial intelligence, Detroit

  • Weiss GM, Provost F (2003) Learning when training data are costly: the effect of class distribution on tree induction. Journal of Artificial Intelligence Research 19:315–354

    Google Scholar 

  • Weiss GM, Zadrozny B, Saar-Tsechansky M (2008) Guest editorial: special issue on utility-based data mining. Data Mining and Knowledge Discovery 17(2):129–135

    Article  Google Scholar 

  • Zickus M, Greig AJ, Niranjan M (2002) Comparison of four machine learning methods for predicting PM10 concentrations in Helsinki. Finland Water, Air, & Soil Pollution Focus 2(5):717–729

    Article  Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Institut für Wirtschaftsinformatik, Universität Hamburg, Von-Melle-Park 5, 20146, Hamburg, Deutschland

    Stefan Lessmann &  Stefan Voß

Authors
  1. Stefan Lessmann
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Stefan Voß
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Stefan Lessmann.

Additional information

Angenommen nach zwei Überarbeitungen durch Prof. Dr. Buhl.

This article is also available in English via http://www.springerlink.com and http://www.bise-journal.org: Lessmann S, Voß S (2010) Customer-Centric Decision Support. A Benchmarking Study of Novel Versus Established Classification Models. Bus Inf Syst Eng. doi: 10.1007/s12599-010-0094-8.

Zusätzliche Information

Rights and permissions

Reprints and permissions

About this article

Cite this article

Lessmann, S., Voß, S. Unterstützung kundenbezogener Entscheidungsprobleme. WIRTSCHAFTSINFORMATIK 52, 79–93 (2010). https://doi.org/10.1007/s11576-010-0216-4

Download citation

  • Received:

  • Accepted:

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s11576-010-0216-4

Schlüsselwörter

Keywords

Search

Navigation