Distribución de mensajes en alta disponibilidad con Kafka en Raspberrys Pi

Abstract

Este proyecto está pensado como parte del proyecto multidisciplinar “Sistema para la obtención de medidas medioambientales en un Smart Campus” que se está desarrollando en la UPM en el Máster Universitario en Software de Sistemas Distribuidos y Empotrados. La idea de este proyecto multidisciplinar era que sirviera de base para futuros proyectos en distintos campos, como el procesamiento de la información capturada, desarrollo de aplicaciones para el acceso a la información vía web, control del entorno para el ahorro energético, etc. En la figura 1.1 se pueden apreciar los componentes del proyecto, en la que se diferencian dos zonas de recogida de medidas medioambientales, la zona local, que es la zona delimitada por la línea punteada y siempre con acceso a la red de la ETSISI y la zona remota, que es la zona que está fuera del alcance de la red y será necesaria la ayuda de un Robot móvil equipado con un concentrador y células sensoras. Las medidas medioambientales serán recogidas por las células sensoras, que estarán distribuidas por el campus y para cada cierto número de células habrá un concentrador o raspberry pi. El concentrador se encargará de recoger los datos obtenidos por las células y una vez organizados y/o tratados finalmente se procesarán en un servidor. En el caso de las medidas medioambientales remotas, será el Robot el encargado de almacenarlas y descargarlas cuando llegue a la zona de alcance WiFi de la ETSISI. Los datos medioambientales pueden ser la temperatura, el grado de humedad, luminosidad, etc y tendrán una frecuencia de recogida. La comunicación de las células sensoras con los concentradores será mediante el bus I2C y la comunicación del concentrador con el servidor será por sockets. El objetivo principal de este proyecto es dotar de alta disponibilidad a las métricas recogidas por los concentradores en la zona local de la ETSISI, usando las tecnologías de Zookeeper, Kafka y Kafka Connect sobre Linux con Raspberrys Pi. Adicionalmente, esta tecnología podría encajar perfectamente en cualquier otro proyecto que requiera replicar mensajes en alta disponibilidad, altamente escalable y con dispositivos móviles con comunicación WiFi.