On New Multiple Tests Based on Independent p-Values and the Assessment of Their Power

Summary

A new class of stagewise rejective test procedures is proposed for the multiple test problem consisting of n ≥ 2 pairs of null and alternative hypotheses with mutually independent test statistics. The members of this class, called stagewise rejective linear minmax tests, are generated by the closing principle applied to global combination tests whose corresponding test statistics are linear combinations of the minimum, P ₍₁₎, and the maximum, P _(n), of the p-values associated with the single tests. The respective weights are determined by a single parameter k ∈ [0,1] and the level α. The well-known test based exclusively on P ₍₁₎ proposed by Tippett (1931) is a special case (K = 0); its extension to a multiple test is due to Holm (1979). On the other hand, the test for K = 1 rejects the global null hypothesis if (1 − α)P ₍₁₎ + αP_(n) ≤ α. It is shown that all tests of the class exhaust the multiple level a and therefore cannot be improved uniformly. Their relative merits have to be judged by means of power functions for multiple test procedures. Such functions are presented and discussed in a more general context. The expected number of correctly rejected null hypotheses is recommended as a relatively simple and comprehensive way to summarize the performance of multiple tests. The various power functions are illustrated by their application to three members of the class (k = 0, 0.9, 1) and to the Simes-Hommel test by means of simulations. For the simultaneous test with k = 1 numerical derivations of the power functions are presented. On the basis of these results, it is argued that the stagewise rejective linear minmax test with k = 0.9 has a performance that is always close to that of the best performing competitor and is therefore to be recommended when little a priori information on the number and type of possible alternatives is available.

Zusammenfassung

Für ein multiples Testproblem bestehend aus n ≥ 2 paaren von Null- und Alternativhypothesen, für deren Prüfung unabhängige Teststatistiken gegeben sind, wird eine neue Klasse von Testprozeduren vorgeschlagen. Diese Tests, schrittweise verwerfende lineare minmax-Tests genannt, werden mit Hilfe des Abschlußprinzips aus Kombinationstests erzeugt. Deren Prüfgrößen sind Linearkombinationen von P ₍₁₎ und P _(n), des kleinsten und größten der mit den Einzeltests assoziierten p-Werte. Die beiden Gewichte sind durch einen einzigen Parameter, k ∈ [0,1], und das Signifikanzniveau a bestimmt. Tippett’s (1931) nur auf dem kleinsten p-Wert basierender Test gehört zu dieser Klasse (k = 0); die entsprechende multiple Version geht auf Holm (1979) zurück. Im Fall k = 1 wird die globale Nullhypothese verworfen, falls (1 − α)P _(l) + αP_(n) ≤ α. Es wird gezeigt, daß alle Tests dieser Klasse das multiple Niveau α ausschöpfen und deshalb nicht gleichmäßig verbessert werden können. Um ihre Trennschärfe beurteilen zu können, werden Gütefunktionen für multiple Testprozeduren eingeführt und in einem allgemeineren Rahmen diskutiert. Die erwartete Anzahl korrekterweise verworfener Nullhypothesen wird als ein relativ einfaches und brauchbares Kriterium zur Beurteilung der Güte multipler Tests vorgeschlagen. Die verschiedenen Gütekonzepte werden illustriert anhand dreier Tests der Klasse (k = 0, 0.9 und 1) und des Simes-Hommel Tests. Dies erfolgt mit Hilfe von Simulationsstudien. Im Falle des Simultantests mit k = 1 werden die Gütefunktionen auch analytisch hergeleitet und numerisch bestimmt. Auf Grund der erhaltenen Ergebnisse ist es offensichtlich, daß die Güte des schrittweise verwerfenden linearen minmax Tests mit k = 0.9 immer ”nahe” der Güte des besten der untersuchten Tests ist und die Anwendung dieser Testprozedur deshalb immer dann zu empfehlen ist, wenn wenig a priori Information über die Zahl und Art der möglichen Alternativen gegeben ist.