Properties and applications of pdf-related information measures and distributions

Abstract

The study of the information measures gives rise to different measures according to the contests in which it is applied. In the contest of reliability theory and survival analysis, an ever-growing interest is given by the entropy applied to continuous random variables.This quantity gives the expectation of the information content and is known as differential entropy. Another quantity, the differential varentropy is the variance of the information content. Differential entropy and differential varentropy are mainly applied to the study of brand-new item. Other measures of interests in reliability contests are the dynamical measures of information. In this thesis a particular attention is devoted to residual entropy and residual varentropy, that are the expectation and the variance of the information content of a residual lifetime distribution. They can be very useful in the cases in which the item has a finite age. In particular, the residual varentropy is a largely unexplored subject and a focus on this quantity constitute the central part of the thesis. Stimulated by the need of describing useful notions related to the quantity described above, we introduce the ‘pdf-related distributions’. These are defined in terms of transformation of absolutely continuous random variables through their own probability density functions. We investigate their main characteristics, with reference to the general form of the distribution, the quantiles, and some related notions of reliability theory. This allows us to obtain a characterization of the uniform distribution based on pdf-related distributions of exponential, Laplace and power type as well. We also face the problem of stochastic comparing the pdf-related distributions by resorting to suitable stochastic orders. Finally, the given results are used to analyse properties and to compare some useful information measures, such as the differential entropy and the varentropy. This work of thesis covers different arguments in the contest of information for continuous random variables. Firstly, mathematical properties of residual varentropy are discussed, such as conditions for which it is constant or monotonic and the determination of the upper and the lower bound. Another theoretical aspect that will be discussed concerns the properties of entropy and varentropy for stochastically ordered distributions. In addition, some applications of residual varentropy are proposed. The first, the proportional hazards model gives an example of application of the varentropy in the context of reliability theory and survival analysis. The second is an application to stochastic process. More specifically, residual varentropy is applied to the first passage-time of an Ornstein–Uhlenbeck jump-diffusion process. A kernel-type estimation of the residual varentropy is finally proposed, as a further application to real data. The last part of the thesis concerns the “covarentropy”, that is a new measure introduced in order to study the correlations between the information contents of two random variables. [edited by Author]

Lo studio delle misure di informazione d`a origine a diverse misure a seconda del contesto in cui `e applicato. Nel contesto della teoria dell’affidabilit`a e dell’analisi di sopravvivenza, un interesse sempre crescente `e dato dall’entropia applicata alle variabili aleatorie continue. Questa quantit`a d`a il valore atteso dell’informazione ed `e detta entropia differenziale. Un’altra quantit`a, la varentropy differenziale `e la varianza dell’informazione. L’entropia differenziale e la varentropy differenziale sono principalmente applicate allo studio di nuovi dispositivi. Altre misure d’interesse in contesti di teoria dell’affidabilit`a sono le misure dinamiche di informazione. In questa tesi una particolare attenzione `e dedicata all’entropia differenziale e alla varentropy residua, che sono il valore atteso e la varianza dell’informazione di una distribuzione di tempo di vita residua. In questa tesi una particolare attenzione `e dedicata all’entropia residua e alla varentropy residua, che sono il valore atteso e la varianza dell’informazione di una distribuzione di tempo di vita residuo. Possono essere molto utili nei casi in cui il dispositivo ha un’et`a finita. In particolare, quello della varentropy residua `e un tema largamente inesplorato ed un approfondimento su questa quantit`a costituisce la parte centrale della tesi. Stimolati dalla necessit`a di descrivere utili nozioni legate alla quantit`a descritta sopra, introduciamo le ‘distribuzioni pdf-related’. Esse sono definite in termini della trasformazione di variabili aleatorie assolutamente continue attraverso le loro funzioni di densit`a di probabilit`a. Andiamo a investigare le loro principali caratteristiche, con riferimento alla forma generale della distribuzione, i quantili, e alcune nozioni legate di teoria dell’affidabilit`a. Questo ci permette di ottenere una caratterizzazione della distribuzione uniforme basata su distribuzioni pdf-related di tipo esponenziale, Laplace e potenza. Affrontiamo anche il problema dei confronti stocastici di distribuzioni pdfrelated ricorrendo a ordinamenti stocastici opportuni. Infine, i dati risultati sono usati per analizzare e comparare alcune utili misure di informazione, cos`ı come l’entropia differenziale e la varentropy. Questo lavoro di tesi copre diversi argomenti nel contesto dell’informazione per variabili aleatorie continue. Per primo, sono discusse propriet`a matematiche della varentropy residua, cos`ı come le condizioni per cui `e costante o monotona e la determinazione dei limiti superiori e inferiori. Un altro aspetto teorico che sar`a discusso riguarda le propriet`a di entropia e varentropy per distribuzioni con ordinamento stocastico. In aggiunta sono proposte alcune applicazioni della varentropy residua. La prima, il modello degli azzardi proporzionale d`a un esempio di applicazione della varentropy nel contesto della teoria dell’affidabilit`a e dell’analisi di sopravvivenza. La seconda `e l’applicazione ai processi stocastici. In maniera pi`u specifica, la varentropy residua `e applicata al tempo di primo passaggio di un processo di diffusione a salti di Ornestein–Uhlenbeck. Infine `e proposta una stima di tipo kernel della varentropia residua, come esempio ulteriore di applicazione ai dati reali. L’ultima parte della tesi riguarda la “covarentropy”, che `e una nuova misura introdotta per studiare le correlazioni tra le informazioni di due variabili aleatorie. [a cura dell'Autore]