Blog

LAS ÚLTIMAS NOTICIAS Y LOS MEJORES ARTÍCULOS SOBRE EL SECTOR BIG DATA

Del BIG Data al Waste Data
17.06.15

Sin duda alguna el BIG Data ya está aquí y ha venido para quedarse, y nadie duda que con el “internet de las cosas” habrá una explosión de la información y una ingente cantidad de datos disponibles. Pero también habrá una gran cantidad de “basura” de datos que se irá generando al mismo ritmo puesto que hablamos de datos que tienen validez en el momento de su creación y una vida muy corta, por ejemplo el chip RFID del paquete de leche de la nevera le dirá a esta que está a punto de acabarse, lo que le enviara la señal al frigorífico, el cual la enviara servidor central de la vivienda que cruzara los datos con la información de la despensa para comprobar las existencias de leche, Y esta le dirá que no hay stock. Esto provocará que el servidor envíe un mensaje a mi móvil informándome y yo responderé confirmando la inclusión de leche en la lista de la próxima compra. Pero además de todo esto tenemos los logs y las trazas de los datos que también se habrán generado. Y esto es solo es un ínfimo ejemplo de la cantidad de información que se podrá generar. Y eso sin tener en cuenta los sistemas redundantes de datos que poseen las tecnologías BIG Data y los entornos CLOUD.

Todo esto solo nos da un visión de lo que se nos puede venir encima si no somos conscientes de que la gestión de esa “basura” puede ser determinante en la eficiencia de nuestros sistemas. Waste

Uno de los retos del BIG Data es ser capaz de separar el grano de la paja ante tal aluvión de información, pero también debe de ser capaz de identificar la información obsoleta para su posterior tratamiento en los distintos sistemas en los que esté presente. Volviendo al ejemplo de la leche lo que me interesa quedarme para un posterior análisis de hábitos de consumo y control del gasto, una vez realizada la compra, es que el día D se agotó el producto P que fue repuesto en la compra X por N unidades a un coste Y. El resto de datos generados ya no serían de utilidad por lo que podrían de ser eliminados de los sistemas para una mayor eficiencia de los mismos o almacenada en sistemas de Backup.

Soy de la opinión que la gestión de estos “residuos” debe de formar parte de los proyectos de BIG Data si no queremos acabar en un mar de datos obsoletos que solo añaden coste temporal y espacial cuando queramos bucear por él.

Paper Mountain

Dentro de los sistemas de BIG Data debemos de identificar que datos se han quedado obsoletos o han dejado de tener utilidad. Se podrían establecer estrategias en función del dato que estemos tratando: por un lado aquellos datos sensibles que requieran de un almacenamiento por cuestiones legales o de otra índole podrían ser llevados a un sistema de información consolidada ¿BIG DataWarehouse? o almacenados en sistemas de Backup externos; para aquellos datos que no son de utilidad porque el evento que los ha generado ha caducado podrán ser eliminados del sistema, y en caso de que se requiera un posterior seguimiento o análisis del evento se podrían transformar en información agregada y almacenarla en un sistema consolidado, quien dijo que el B.I. Estaba muerto 🙂

Evidentemente ese es el quid de la cuestión: saber qué información vamos a necesitar en un futuro y cómo debemos guardarla. Cabe destacar que también hay que identificar lo que se quiere almacenar, si los datos en bruto generados o la información extraída de estos.

Todo esto sería más sencillo con una bola de cristal pero como aún no se ha inventado nos tendremos que conformar con las herramientas de las que disponemos en la actualidad y las estrategias que seamos capaces de implementar.

Uso de cookies

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información.

Use of cookies

This website uses cookies to give you the best user experience. If you continue browsing you are giving your consent for the acceptance of the aforementioned cookies and the acceptance of our cookies policy, click the link for more information.

ACEPTAR