A screening selection procedure for nonparametric regression and survival analysis

Abstract

Questa tesi propone un nuovo metodo per risolvere il problema della regressione non parametrica e non additiva in presenza di dati ad dimensionalit`a ultra-high. In questo contesto ci sono due aspetti rilevanti: la variable selection e la structure discovery, che riguardano, rispettivamente, l’identificazione delle variabili che influenzano la variabile di risposta e il tipo di effetto di tali variabili selezionate (lineare o non lineare). In questa tesi proponiamo un metodo non parametrico di variable selection che lavora in due stadi. Al primo stadio, viene eseguita una procedura di screening: si seleziona un sottoinsieme di variabili che contiene le covariate vere con probabilità. Al secondo, la screening viene trasformata in variable selection utilizzando un approccio non penalizzato. In questo modo, sfruttando la semplicità della screening, riusciamo a superare il problema della stima di parametri di penalità. Inoltre, il nostro approccio di screening ha la potenzialità di poter distinguere le covariate lineari da quelle non lineari, ottenendo quindi anche la structure discovery. Chang et al. (2016), senza imporre assunzioni sulla forma funzionale del modello sottostante, hanno proposto un metodo di screening che utilizza l’empirical likelihood e la stima dei polinomi locali. Una volta ottenuta la stima della funzione marginale tra una particolare variabile e la risposta, hanno utilizzato l’empirical likelihood per verificare se questa funzione sia significativamente diversa da zero. Nonostante gli eccellenti risultati raggiunti in termini di dimensionalità, gli autori non hanno costruito un approccio che faccia anche variable selection e structure discovery. Per risolvere tali limitazioni, in questa tesi proponiamo di complicare il loro approccio stimando la derivata prima marginale anziché la funzione marginale. In questo modo, abbiamo ottenuto un nuovo metodo di screening completamente non parametrico, chiamato Derivative Empirical Likelihood Sure Independence Screening (D-ELSIS). Per trasformare la nostra procedura di screening selection in un approccio di variable selection, abbiamo utilizzato la tecnica della subsample. In particolare, proponiamo di applicare l’idea della subsample non sui risultati di una procedura di variable selection, come in Meinshausen and Bühlmann (2010), ma dopo una procedura di screening. Con questo strumento, le variabili identificate tramite il D-ELSIS vengono quindi ulteriormente valutate per indagare la loro probabilità, in termini di frequenza relativa, di essere selezionate quando i dati vengono campionati casualmente. Inoltre, sebbene in questo approccio vengano utilizzate threshold, non è necessario stimarle. .. [a cura dell'Autore]

This thesis aims at proposing a new method of solving the nonparametric and non-additive regression problem in presence of ultra-high dimensional data. In this context, there are two relevant aspects: variable selection and structure discovery, such as identification of the variables that affect the response variable and the type of effects (linear or non linear), respectively. In this thesis we propose a nonparametric method of variable selection that works in two stages. At the first stage, a screening procedure is performed: selecting a subset of variables which contains the true covariates with probability 1. In the second, we transform the screening step into variable selection using a non-penalized approach. In this way we take advantage of the simplicity of screening and we overcome the problem of estimating penalty parameters. Furthermore, our screening approach has the potential to distinguish linear and non-linear covariates, therefore it also succeeds in structure discovery. Chang et al. (2016), without requiring a specific parametric form of the underlying data model, proposed a screening method using empirical likelihood and local polynomials. Once the estimate of the marginal function between a particular variable and the response is obtained, they used empirical likelihood to test whether this function is significantly different from zero. Despite the excellent results in terms of dimensionality achieved, the authors did not perform any variable selection and structure discovery. To solve these problems, we propose to complicate their approach by estimating the first marginal derivative rather than the marginal function. In this way, we obtain a new fully nonparametric screening method, called Derivative Empirical Likelihood Sure Independence Screening(D-ELSIS). In order to transform our screening selection procedure into variable selection procedure, we use the subsample technique. In particular, we propose to apply the subsample idea not on the results of a variable selection procedure, as in Meinshausen and B¨uhlmann (2010), but after a screening procedure. With this tool, the variables selected through the D-ELSIS are then further evaluated to investigate their probability, in terms of relative frequency, to be chosen when the data are randomly sampled. Furthermore, although thresholds are used in this approach, these do not need to be estimated. .. [edited by Author]