Application of Benford’s law: a valuable tool for detecting scientific papers with fabricated data?

Abstract

Background

In naturally occurring numbers the frequencies of digits 1–9 in the leading position are counterintuitively distributed because the frequencies of occurrence are unequal. Benford-Newcomb’s law describes the expected distribution of these frequencies. It was previously shown that known fraudulent articles consistently violated this law.

Objective

To compare the features of 12 known fraudulent articles from a single Japanese author to the features of 13 articles in the same research field from other Japanese authors, published during the same time period and identified with a Medline database search.

Results

All 25 articles were assessed to determine whether the data violated the law. Formulas provided by the law were used to determine the frequencies of occurrence for the first two leading digits in manually extracted numbers. It was found that all the known fraudulent papers violated the law and 6 of the 13 articles used for comparison followed the law. Assuming that the articles in the comparison group were not falsified or fabricated, the sensitivity of assessing articles with Benford-Newcomb’s law was 100% (95% confidence interval CI: 73.54–100%) but the specificity was only 46.15% (95% CI: 19.22–74.87%) and the positive predictive value was 63.16% (95% CI: 38.36–83.71%).

Conclusion

All 12 of the known falsified articles violated Benford-Newcomb’s law, which indicated that this analysis had a high sensitivity. The low specificity of the assessment may be explained by the assumptions made about the articles identified for comparison. Violations of Benford-Newcomb’s law about the frequencies of the leading digits cannot serve as proof of falsification but they may provide a basis for deeper discussions between the editor and author about a submitted work.

Zusammenfassung

Hintergrund

Bei den natürlichen Zahlen sind die Häufigkeiten der Ziffern 1–9 in führender Position kontraintuitiv verteilt, da die Auftretenshäufigkeiten ungleich sind. Das Benford’sche Gesetz beschreibt die erwartete Verteilung dieser Häufigkeiten. Schon im Vorfeld wurde gezeigt, dass bekannte betrügerische Artikel immer wieder gegen dieses Gesetz verstoßen.

Ziel

Das Ziel ist der Vergleich von Merkmalen der 12 bekannten betrügerischen Artikel eines einzigen japanischen Autors mit den Merkmalen von 13 Artikeln desselben Forschungsgebiets anderer japanischer Autoren, die im selben Zeitraum veröffentlicht und mittels einer Medline-Datenbank-Recherche identifiziert wurden.

Ergebnisse

Alle 25 Artikel wurden untersucht, um festzustellen, ob die Daten gegen das Gesetz verstoßen. Von dem Gesetz vorgegebene Formeln wurden verwendet, um die Auftretenshäufigkeiten der ersten beiden führenden Ziffern in manuell extrahierten Zahlen zu bestimmen. Es wurde festgestellt, dass alle bekannten betrügerischen Arbeiten gegen das Gesetz verstießen und 6 der 13 Artikel, die als Vergleich verwendet wurden, dem Gesetz folgten. In der Annahme, dass die Artikel in der Vergleichsgruppe nicht gefälscht waren, lag die Sensitivität für die Untersuchung von Artikeln mittels des Benford’schen Gesetzes bei 100% (95% Konfidenzintervall [CI] 73,54–100), aber die Spezifität betrug lediglich 46,15% (95% CI 19,22–74,87), und der positive prädiktive Wert lag bei 63,16% (95% CI 38,36–83,71).

Schlussfolgerung

Alle 12 der bekannten gefälschten Artikel verstießen gegen das Benford’sche Gesetz, was deutlich macht, dass diese Analyse eine hohe Sensitivität besitzt. Die geringe Spezifität der Untersuchung könnte durch die Hypothesen bezüglich der zum Vergleich herangezogenen Artikel erklärt werden. Verstöße gegen das Benford’sche Gesetz hinsichtlich der Häufigkeiten der führenden Ziffern kann nicht als Beweis für eine Fälschung dienen, aber sie können möglicherweise eine Grundlage für eingehendere Diskussionen zwischen dem Redakteur und dem Autor bezüglich der eingereichten Arbeit schaffen.