Discovering hidden structures in high

Abstract

Il grande volume di dati che viene attualmente collezionato nei vari campi di applicazione non può essere gestito usando le tecniche standard di data mining. L’obiettivo principale del presente lavoro di tesi è quello di trovare le soluzioni più ragionevoli per problemi di data mining legati alla gestione di dati ad alta dimensionalità. In particolare in questo lavoro di tesi sono stati considerate due applicazioni di data mining per dati multidimensionali. Il primo riguarda la cloud detection, ovvero un problema di classificazione di immagini multispettrali telerilevate da satellite, che dimostra l’alta affidabilità delle tecniche statistiche di analisi discriminante nel classificare questo tipo di immagini. Tali tecniche di classificazione sono state confrontate con tecniche standard basate su principi fisici per testare i costi di processo e il tasso pass/fail. La seconda applicazione riguarda la necessità di gestire dati multidimensionali per i quali è necessario fare assunzioni piuttosto che avere conferme (come nella precedente applicazione). Questo porta in modo naturale al problema del clustering di dati permettendo di trovare strutture significative all’interno degli stessi. Invece di scegliere l’una o l’altra tecnica di clustering, noi abbiamo scelto di approcciare il problema in modo più generale mediante il cosiddetto “consensus clustering”: piuttosto che cercare una singola soluzione al problema, l’obiettivo è trovare tutte le possibili soluzioni equivalentemente valide. A questo scopo è stata sviluppata una procedura automatica basata sul Least Squares Consensus Clustering. Le applicazioni sono state testate usando sia data-sets sintetici che reali,dimostrando la validità delle procedure. Grande enfasi è stata data anche alla validazione dei risultati attraverso l’uso di indicatori di performance per dimostrare l’affidabilità delle tecniche sviluppate. [edited by author]