RT Generic
T1 Análisis de métricas para evaluación de sistemas de deep learning
A1 Lorenzo Ramberde, Andrés
AB [ES] La capacidad predictiva de los sistemas deep learning orientados a problemas de regresión han sido evaluados tradicionalmente utilizando medidas clásicas basadas en la media,como el error absoluto medio o el error cuadrático medio. Sin embargo, dichas medidas notienen en cuenta las distribuciones de los datos ni sus características poblacionales, lo quepuede causar una representación poco adecuada de los errores cometidos y del rendimientoobtenido.En este trabajo, se analizan de diferentes herramientas gráficas y diversos test de contrastede hipótesis de tipo no paramétrico ampliamente conocidos y utilizados en la práctica parapoder evaluar las características de normalidad, simetría y multimodalidad de un conjuntode datos. Para los distintos contrastes de hipótesis se realiza un estudio de simulación conel objetivo de analizar su calibrado y potencia, para así seleccionar los test que estando calibrados demuestren mejor potencia. Este conjunto de métodos se utilizan posteriormentepara realizar el estudio de un caso real, en donde se analizan los resultados obtenidos porun sistema de regresión basado en técnicas de deep learning realizado paralelamente en elTFG en Ingeniería Informática. Dependiendo de las características de normalidad, simetría y modalidad de las distribuciones de los residuos y los errores absolutos de la red, seseleccionará el estadístico muestral más adecuado para la evaluación de cada distribución.El objetivo será elegir la medida más representativa a la hora de evaluar el rendimiento dela red.Finalmente, se aportan unas recomendaciones prácticas en donde se discuten los estadísticos muestrales más adecuados dependiendo de las características de normalidad, simetríay modalidad detectadas en las distribuciones.Con este trabajo se pretende mostrar la necesidad de tener en cuenta las característicaspoblacionales de los datos evitando suposiciones habituales como la de simetría y unimodalidad (hipótesis que cumple la distribución normal), para no llegar a conclusiones erróneasderivadas de estas suposiciones iniciales.
AB [GL] A capacidade preditiva dos sistemas deep learning orientados a problemas de regresiónavaliouse tradicionalmente empregando medidas clásicas baseadas na media, como o erroabsoluto medio ou o erro cuadrático medio. Non obstante, estas medidas non teñen en conta a distribución dos datos nin as súas características de poboación, o que pode provocarunha representación inadecuada dos erros cometidos e do rendemento obtido.Neste traballo, analízanse e utilízanse na práctica diferentes ferramentas gráficas e variostest de contraste de hipótese non paramétricos amplamente coñecidos para avaliar as características de normalidade, simetría e multimodalidade dun conxunto de datos. Para osdiferentes contrastes de hipótese, realízase un estudo de simulación co fin de analizar asúa calibración e potencia, para así seleccionar os test que estando calibrados, mostrenmellor potencia. Este conxunto de métodos úsase posteriormente para realizar un estudode caso real, onde os resultados obtidos por un sistema de regresión baseado en técnicas dedeep learning son analizados en paralelo no TFG en Enxeñaría Informática. Dependendodas características de normalidade, simetría e modalidade das distribucións dos residuose dos erros absolutos da rede, seleccionarase o estatístico da mostra máis axeitado para aavaliación de cada distribución. O obxectivo será escoller a medida máis representativa áhora de avaliar o rendemento e rede.Finalmente, ofrécense algunhas recomendacións prácticas onde se discuten os estatísticosda mostra máis axeitados en función das características de normalidade, simetría e modalidade detectadas nas distribucións.Este traballo ten como obxectivo amosar a necesidade de ter en conta as característicaspoboacionais dos datos, evitando supostos comúns como a simetría e a unimodalidade(hipótese que cumpre coa distribución normal), para non chegar a conclusións erróneasderivadas destes supostos iniciais.
AB [EN] The predictive capacity of deep learning systems aimed at regression problems hastraditionally been evaluated using classical measures based on the mean, such as meanabsolute error or mean squared error. However, these measures do not take into accountneither the data distributions nor their population characteristics, which can cause aninadequate representation of the errors committed and the performance obtained. In this work, different graphic tools and various widely known non-parametric hypothesis contrast test are analyzed and used in a practical real case in order to evaluate thecharacteristics of normality, symmetry and multimodality of a dataset. For the differenthypothesis contrasts, a simulation study is carried out in order to analyze their calibrationand power, in order to select to select the test that, being calibrated, demonstrate the bestpower. This set of methods is subsequently used to carry out a real case study, where theresults obtained by a regression system based on deep learning techniques are analyzed inparallel at the TFG in Computer Engineering. Depending on the characteristics of normality, symmetry and modality of the distributions of the residuals and the absolute errorsof the network, the most appropriate sample statistic will be selected for the evaluation ofeach distribution. The objective will be to choose the most representative measure whenevaluating network performance.Finally, some practical recommendations are provided where the most appropriate samplestatistics are discussed depending on the characteristics of normality, symmetry and modality detected in the distributions.This work aims to show the need to take into account the population characteristics ofthe data, avoiding common assumptions such as symmetry and unimodality (hypothesisthat meets the normal distribution), so as not to reach erroneous conclusions derived fromthese initial assumptions.
YR 2021
FD 2021-07
LK http://hdl.handle.net/10347/28921
UL http://hdl.handle.net/10347/28921
LA spa
NO Traballo Fin de Grao en Matemáticas. Curso 2020-2021
DS Minerva
RD 1 may 2026