Advertisement

Der Anaesthesist

, Volume 66, Issue 10, pp 795–802 | Cite as

Application of Benford’s law: a valuable tool for detecting scientific papers with fabricated data?

A case study using proven falsified articles against a comparison group
  • S. Hüllemann
  • G. SchüpferEmail author
  • J. Mauch
Qualitätssicherung und Medizinökonomie

Abstract

Background

In naturally occurring numbers the frequencies of digits 1–9 in the leading position are counterintuitively distributed because the frequencies of occurrence are unequal. Benford-Newcomb’s law describes the expected distribution of these frequencies. It was previously shown that known fraudulent articles consistently violated this law.

Objective

To compare the features of 12 known fraudulent articles from a single Japanese author to the features of 13 articles in the same research field from other Japanese authors, published during the same time period and identified with a Medline database search.

Results

All 25 articles were assessed to determine whether the data violated the law. Formulas provided by the law were used to determine the frequencies of occurrence for the first two leading digits in manually extracted numbers. It was found that all the known fraudulent papers violated the law and 6 of the 13 articles used for comparison followed the law. Assuming that the articles in the comparison group were not falsified or fabricated, the sensitivity of assessing articles with Benford-Newcomb’s law was 100% (95% confidence interval CI: 73.54–100%) but the specificity was only 46.15% (95% CI: 19.22–74.87%) and the positive predictive value was 63.16% (95% CI: 38.36–83.71%).

Conclusion

All 12 of the known falsified articles violated Benford-Newcomb’s law, which indicated that this analysis had a high sensitivity. The low specificity of the assessment may be explained by the assumptions made about the articles identified for comparison. Violations of Benford-Newcomb’s law about the frequencies of the leading digits cannot serve as proof of falsification but they may provide a basis for deeper discussions between the editor and author about a submitted work.

Keywords

Benford-Newcomb distribution Fraud Data analysis statistical Research misconduct 

Anwendung des Benford’schen Gesetzes: ein wertvolles Instrument zur Detektion wissenschaftlicher Arbeiten mit gefälschten Daten?

Fallstudie über nachweislich gefälschte Artikel im Vergleich zu einer Kontrollgruppe

Zusammenfassung

Hintergrund

Bei den natürlichen Zahlen sind die Häufigkeiten der Ziffern 1–9 in führender Position kontraintuitiv verteilt, da die Auftretenshäufigkeiten ungleich sind. Das Benford’sche Gesetz beschreibt die erwartete Verteilung dieser Häufigkeiten. Schon im Vorfeld wurde gezeigt, dass bekannte betrügerische Artikel immer wieder gegen dieses Gesetz verstoßen.

Ziel

Das Ziel ist der Vergleich von Merkmalen der 12 bekannten betrügerischen Artikel eines einzigen japanischen Autors mit den Merkmalen von 13 Artikeln desselben Forschungsgebiets anderer japanischer Autoren, die im selben Zeitraum veröffentlicht und mittels einer Medline-Datenbank-Recherche identifiziert wurden.

Ergebnisse

Alle 25 Artikel wurden untersucht, um festzustellen, ob die Daten gegen das Gesetz verstoßen. Von dem Gesetz vorgegebene Formeln wurden verwendet, um die Auftretenshäufigkeiten der ersten beiden führenden Ziffern in manuell extrahierten Zahlen zu bestimmen. Es wurde festgestellt, dass alle bekannten betrügerischen Arbeiten gegen das Gesetz verstießen und 6 der 13 Artikel, die als Vergleich verwendet wurden, dem Gesetz folgten. In der Annahme, dass die Artikel in der Vergleichsgruppe nicht gefälscht waren, lag die Sensitivität für die Untersuchung von Artikeln mittels des Benford’schen Gesetzes bei 100% (95% Konfidenzintervall [CI] 73,54–100), aber die Spezifität betrug lediglich 46,15% (95% CI 19,22–74,87), und der positive prädiktive Wert lag bei 63,16% (95% CI 38,36–83,71).

Schlussfolgerung

Alle 12 der bekannten gefälschten Artikel verstießen gegen das Benford’sche Gesetz, was deutlich macht, dass diese Analyse eine hohe Sensitivität besitzt. Die geringe Spezifität der Untersuchung könnte durch die Hypothesen bezüglich der zum Vergleich herangezogenen Artikel erklärt werden. Verstöße gegen das Benford’sche Gesetz hinsichtlich der Häufigkeiten der führenden Ziffern kann nicht als Beweis für eine Fälschung dienen, aber sie können möglicherweise eine Grundlage für eingehendere Diskussionen zwischen dem Redakteur und dem Autor bezüglich der eingereichten Arbeit schaffen.

Schlüsselwörter

Benford’sches Gesetz Betrug Statistische Datenanalyse Fehlverhalten in der Forschung 

Notes

Compliance with ethical guidelines

Conflict of interest

S. Hüllemann, G. Schüpfer and J. Mauch declare that they have no competing interests.

This article does not contain any studies with human participants or animals performed by any of the authors.

References

  1. 1.
    Benford F (1938) The law of anomalous numbers. Proc Am Philos Soc 78(4):551–572Google Scholar
  2. 2.
    Carlisle JB, Dexter F, Pandit JJ, Shafer SL, Yentis SM (2015) Calculating the probability of random sampling for continuous variables in submitted or published randomised controlled trials. Anaesthesia 70:848–858CrossRefPubMedGoogle Scholar
  3. 3.
    Fletcher L, Boritz JE, Covvey D (2006) Adaptive fraud detection using Benford’s law. Advances in Artificial Intelligence. Lecture Notes in Computer Science, vol. 4013. Springer, Berlin Heidelberg, pp 347–358 doi: 10.1007/11766247_30 Google Scholar
  4. 4.
    Kossovsky AE (2014) Benford‘s law – forensic digital analysis & fraud detection. http://www.forensicbenford.com/macros.html. Zugegriffen: 25.10.2016Google Scholar
  5. 5.
    Bolton R, Hand D (2002) Statistical fraud detection: a review. Stat Sci 17(3):235–255CrossRefGoogle Scholar
  6. 6.
    Hill TP (1995) A statistical derivation of the significant-digit law. Stat Sci 10:354–363CrossRefGoogle Scholar
  7. 7.
    Hill TP (1995) The significant-digit phenomenon. Am Math Mon 102(4):322–327CrossRefGoogle Scholar
  8. 8.
    Nigrini MJ (1996) A taxpayer compliance application of Benford’s law. J Am Tax Assoc 18:72–91Google Scholar
  9. 9.
    Nigrini MJ (2000) Digital analysis using Benford’s law, 2nd edn., Global Audit Publications, VancouverGoogle Scholar
  10. 10.
    Hein J, Zorbrist R, Konrad C, Schuepfer G (2012) Scientific fraud in 20 falsified anesthesia papers: detection using financial auditing methods. Anaesthesist 61(6):543–549CrossRefPubMedGoogle Scholar
  11. 11.
    Schüpfer G, Hein J, Casutt M, Steiner L, Konrad C (2012) Vom Finanz- zum Wissenschaftsbetrug – Eine mögliche Methode, den Irrungen in der medizinischen Literatur beizukommen. Anästhesist 61:537–542CrossRefGoogle Scholar
  12. 12.
    Carlisle JB (2012) The analysis of 169 randomised controlled trials to test data integrity. Anaesthesia 67:521–537CrossRefPubMedGoogle Scholar
  13. 13.
    Kranke P, Apfel CC, Roewer N (2000) Reported data on granisetron and postoperative nausea and vomiting by Fujii et al. are incredibly nice! Anesth Analg 90:1004–1007CrossRefPubMedGoogle Scholar
  14. 14.
    Fujii Y (2012) The analysis of 168 randomised controlled trials to test data integrity. Anaesthesia 67(6):669–670CrossRefPubMedGoogle Scholar
  15. 15.
    retractionwatch.com. Available from: http://retractionwatch.com/category/by-author/yoshitaka-fujii/. Zugegriffen: 25.10.2016
  16. 16.
    Shafer SL (2009) To our readers(letter). Anesth Analg 108(2):1–3CrossRefPubMedGoogle Scholar
  17. 17.
    Shafer SL (2009) Tattered threads. Anesth Analg 108(5):1361–1363CrossRefPubMedGoogle Scholar
  18. 18.
    Yentis SM (2010) Another kind of ethics: from corrections to retractions. Anaesthesia 65:1163–1172CrossRefPubMedGoogle Scholar
  19. 19.
    Yentis SM (2012) Lies, damn lies, and statistics* (editorial). Anaesthesia 67(5):455–456CrossRefPubMedGoogle Scholar
  20. 20.
    Editorial. Research integrity – have we made progress? The Lancet.389(10081):1771Google Scholar
  21. 21.
    Diekmann A, Jann B (2010) Benford’s law and fraud detection: facts and legends. ETH Zurich Working Paper Sociology No 8., pp 1–7Google Scholar
  22. 22.
    Durtschi C, Hillison W, Pacini C (2004) The effective use of Benford’s law to assist in detecting fraud in accounting data. J Forensic Account 5:17–34Google Scholar
  23. 23.
    Carlisle JB, Loadsman JA (2017) Evidence for non-random sampling in randomised, controlled trials by Yuhji Saitoh. Anaesthesia 72:17–27CrossRefPubMedGoogle Scholar
  24. 24.
    Miller DR (2015) Probability screening in manuscripts submitted to biomedical journals – an effective tool or a statistical quagmire? (Editorial). Anaesthesia 70:765–768CrossRefPubMedGoogle Scholar
  25. 25.
    Yoshikawa T, Wajima Z, Inoue T, Ogura A, Ogawa R (2001) Epidural anesthesia with lidocaine reduces propofol injection pain. Can J Anaesth 48(6):538–544CrossRefPubMedGoogle Scholar
  26. 26.
    Yoshikawa T, Wajima Z, Ogura A, Inoue T, Ogawa R (2001) Orally administered clonidine significantly reduces pain during injection of propofol. Br J Anaesth 86(6):874–876CrossRefPubMedGoogle Scholar
  27. 27.
    Yokota S, Komatsu T, Komura Y, Nishiwaki K, Kimura T, Hosoda R et al (1997) Pretreatment with topical 60 % lidocaine tape reduces pain on injection of propofol. Anesth Analg 85(3):672–674CrossRefPubMedGoogle Scholar
  28. 28.
    Ueki R, Tanimoto M, Tatara T, Tsujimoto S, Kaminoh Y, Tashiro C (2007) Emulsion of flurbiprofen axetil reduces propofol injection pain due to a decrease in free propofol concentration. J Anesth 21(3):325–329CrossRefPubMedGoogle Scholar
  29. 29.
    Suzuki H, Miyazaki H, Andoh T, Yamada Y (2006) Propofol formulated with long-/medium-chain triglycerides reduces the pain of injection by target controlled infusion. Acta Anaesthesiol Scand 50(5):568–571CrossRefPubMedGoogle Scholar
  30. 30.
    Nishiyama T (2005) How to decrease pain at rapid injection of propofol: effectiveness of flurbiprofen. J Anesth 19(4):273–276CrossRefPubMedGoogle Scholar
  31. 31.
    Ohmizo H, Obara S, Iwama H (2005) Mechanism of injection pain with long and long-medium chain triglyceride emulsive propofol. Can J Anaesth 52(6):595–599CrossRefPubMedGoogle Scholar
  32. 32.
    Iwata M, Inoue S, Kawaguchi M, Kimura T, Tojo T, Taniguchi S et al (2010) Ketamine eliminates propofol pain but does not affect hemodynamics during induction with double-lumen tubes. J Anesth 24(1):31–37CrossRefPubMedGoogle Scholar
  33. 33.
    Kodaka M, Okuyama S, Maeyama A, Koyama K, Miyao H (2007) Evaluation of low-dose propofol preadministration to attenuate vascular pain during induction of anesthesia. J Clin Anesth 19(6):440–443CrossRefPubMedGoogle Scholar
  34. 34.
    Iwama H (2000) A randomized, double-blind trial comparing the effect of mixing propofol with either lidocaine or nafamostat mesilate on injection pain. J Anesth 14(3):164–165CrossRefPubMedGoogle Scholar
  35. 35.
    Karasawa F, Ehata T, Okuda T, Satoh T (2000) Propofol injection pain is not alleviated by pretreatment with flurbiprofen axetil, a prodrug of a nonsteroidal antiinflammatory drug. J Anesth 14(3):135–137CrossRefPubMedGoogle Scholar
  36. 36.
    Iwama H, Nakane M, Ohmori S, Kaneko T, Kato M, Watanabe K et al (1998) Nafamostat mesilate, a kallikrein inhibitor, prevents pain on injection with propofol. Br J Anaesth 81(6):963–964CrossRefPubMedGoogle Scholar
  37. 37.
    Ishiyama T, Kashimoto S, Oguchi T, Furuya A, Fukushima H, Kumazawa T (2006) Clonidine-ephedrine combination reduces pain on injection of propofol and blunts hemodynamic stress responses during the induction sequence. J Clin Anesth 18(3):211–215CrossRefPubMedGoogle Scholar

Copyright information

© Springer Medizin Verlag GmbH 2017

Authors and Affiliations

  1. 1.Department of AnesthesiologyLuzerner KantonsspitalLucerne 16Switzerland

Personalised recommendations