Computer methods for efficient sampling from largely arbitrary statistical distributions

Abstract

Given a basic pseudo-random number generator which returns uniformly distributed samplesU from the interval (0, 1) and a statistical distribution as defined by its distribution functionF(x). Then the inversion methodX←F ⁻¹ (U) produces samples fromF(x). A procedure is developed which prepares “guide tables” in order to facilitate this inversion so that sampling becomes efficient for arbitraryF(x).

For discrete distributions these tables are small and easy to set up, and the resulting sampling algorithm compares well with known general methods. Continuous distributions require longer set-up times and more space for tables. These are prepared using given probability densitiesf(x). The method can cope with “reasonable”f(x) including most cases which are commonly encountered in statistics. The reported computational experience, on Poisson, Normal, Gamma and Cauchy distributions, indicates that our general routine is almost as fast as the best known sampling algorithms which were specially designed for these distributions.

Zusammenfassung

Gegeben sei ein Pseudo-Zufallszahlen-Generator, der gleichverteilte StichprobenU aus dem Intervall (0, 1) liefert, und eine statistische Verteilung, beschrieben durch ihre VerteilungsfunktionF(x). Dann erzeugt die InversionsmethodeX←F ⁻¹(U) Stichproben vonF(x). Ein Verfahren wird entwickelt, das “Guide”-Tafeln erstellt, mit dem Ziel, diese Inversion zu ermöglichen, so daß das Verfahren für beliebigeF(x) effizient wird.

Für diskrete Verteilungen sind diese Tafeln klein und leicht zu erstellen, und der entstehende Stichproben-Algorithmus kann mit bekannten allgemeinen Verfahren gut konkurrieren. Stetige Verteilungen erfordern längere Vorbereitungszeiten und mehr Speicherplatz für die Tafeln. Diese werden mit Hilfe gegebener Wahrscheinlichkeitsdichtenf(x) vorbereitet. Die Methode ist anwendbar auf “vernünftige”f(x), einschließlich der normalerweise in der Statistik vorkommenden Fälle. Aufgrund der angeführten Rechenerfahrung mit Poisson-, Normal-, Gamma- und Cauchy-Verteilungen zeigt sich, daß unser allgemeines Verfahren fast so schnell ist, wie die besten bekannten Methoden, die speziell auf diese Verteilungen zugeschnitten wurden.