Extendiendo una plataforma Big Data multilenguaje para su aplicación a la Bioinformática

Abstract

En los últimos años, la cantidad de información digital recopilada se ha incrementado de forma significativa en numerosos campos como la biología, la física, la economía y la medicina, dando lugar a lo que llamamos la era del Big Data. Tal ha sido este crecimiento que se han creado nuevos frameworks específicos para gestionar el almacenamiento y posterior análisis de toda esta información y que facilitan el desarrollo de aplicaciones para el procesamiento de estas cantidades masivas en un tiempo razonable haciendo uso de clusters de computadores. Entre estos frameworks destaca Apache Spark que, a pesar de ser una de las herramientas más utilizadas del ámbito de Big Data, tiene limitaciones considerables, entre las cuales destaca la necesidad de hacer uso de determinados lenguajes de programación como Scala, Java, Python o R, requiriendo un esfuerzo significativo de conversión para poder aplicarlo a programas escritos en otros lenguajes de programación. Para solventar este problema se ha desarrollado Ignis, un nuevo framework Big Data que, a través del uso de RPC’s, permite la utilización de múltiples lenguajes de programación para conseguir la utilización del paradigma map-reduce. En este trabajo realizaremos una comparación entre Spark e Ignis, analizando el esfuerzo necesario para realizar el portado de aplicaciones de Spark a Ignis, comparando su escalabilidad y realizando una valoración final de ambos frameworks. Nos hemos centrado en aplicaciones de bioinformática, en concreto de genética, ámbito en el que, en los últimos, han aparecido soluciones basadas en tecnologías Big Data para resolver el problema del procesamiento de la enorme cantidad de datos de genoma proporcionados por los secuenciadores de última generación.