Clasificación de imágenes satelitales a través de redes neuronales en forma paralela

Tema de Tesis: Clasificación de imágenes satelitales a través de redes neuronales en forma paralela

Autor: Roberto Cueva

Codirector: Ing. Susana Arias

Asesor: Ing. Héctor Gómez

Equipo de apoyo: SIG Sistemas de Información Geográfica – Grupo de Arquitectura de Computadores

ESCUELA DE CIENCIAS DE LA COMPUTACIÓN

PROBLEMA: Los tiempos de respuesta de la clasificación de una imágen satelital en forma secuencial ha sido un problema que presenta el equipo de SIG – UTPL, debido a que estos han sido relativamente altos ya que los recursos computacionales tales como Memoria, Procesador no han sido suficientes.

SOLUCIÓN: Distribuir la carga de trabajo entre varios computadores de tal forma que se arme un cluster que permita realizar la clasificación de forma paralela. Para ello se ha utilizado las siguientes herramientas y tecnologías:

1. MPI (Interfaz de Paso de mensajes) especificamente PureMPI.net

2. WCF (Windows Communication Foundation)

3. AFORGE.net (Librería gratuita para desarrollo)

4. Visual Studio.net

5. Conjunto de datos de entrenamiento obtenido de la página de WEKA (Entorno de clasificación de datos)

6. Cluster formado entre un servidor Pentium 2 Duo Core de 2GHz y dos clientes Pentium IV de 3GHz

DESARROLLO:

Primeramente se entreno la red neuronal en forma secuencial.

Esta red se la instaló en los tres nodos.

Se desarrollo la aplicación en C# usando la librería MPI.net, para distribuir la carga. En donde el servidor lee el archivo de entrada de acuerdo al número de procesadores que se tiene y cada nodo trabaja independientemente y realiza la clasificación de cada subconjunto de datos.

Finalizada la clasificación de los subconjuntos, los clientes se encargan de enviar una tabla de resultados al servidor. El nodo servidor se encarga de recibir estos resultados, sumarlos y presentarlos.

El resultado indica la cantidad de pixeles asociados a una clase de la red neuronal, que determina cuanto porcentaje de agua, vegetación, suelo, pastizales, construcciones urbanas existe en la imagen analizada.

Para ejemplificar se hizo la siguiente corrida:

Imagen satelital en formato csv de 4 bandas.

# Nodos	# Filas	Tamaño	Tiempo Paralelo	Tiempo Secuencial	Tasa		Min.	Ganancia
3	1024000	151 Mb	5:26.95	9:33.25	1.78	Ahorro en tiempo: 50%	5	50%
3	2048000	303 Mb	17:52.20	1:26:59.81	4.8	Ahorro en tiempo: 21%	68	79%
3	2048000	303 Mb	13:30.04	32:52.04	2.5	Ahorro en tiempo: 42.42%	20	60.60%

Conclusión:

La UTPL forma parte de EELA-2

El objetivo del proyecto EELA-2 es:

• Construir una infraestructura que posea una alta capacidad, una producción de calidad, que exista facilidad de grid escalable proporcionada a todas horas, un acceso a computación distribuida en todo el mundo, recursos de almacenamiento y de red para una amplia gama de aplicaciones para comunidades científicas en Europa y América Latina.
• Por lo tanto a partir del 1 de abril del 2008 la UTPL forma parte oficial del Consorcio EELA-2, de tal forma que la Universidad aproveche esta oportunidad para invetigar, desarrollar y ejecutar aplicaciones sobre una infraestructura grid, formada entre Europa y América Latina.
• Son alrededor de 15 miembros participantes de este Consrorcio de los paises de España, Cuba, Uruguay, Irlanda, Francia, Argentina, Chile, Perú, Venezuela, Colombia, México, Portugal, Brazil y porsupuesto Ecuador del cual solamente pertenece la UTPL.
• La duración de este proyecto es de un año, y nuestro deseeo es ponerle todas las ganas para obtener provecho de este Consorcio y aportar con nuestra investigación a este proyecto.

Laboratorio virtual para Ingeniería Sísmica

Informe de Proyectos de Investigación mayo 2008

I. Datos generales:

Título del proyecto: Laboratorio virtual para Ingeniería Sísmica

Responsable(s): Ing. Susana Arias

II. Actividades relativas a la ejecución del proyecto.

1. El objetivo de este proyecto es ejecutar el laboratorio para Ingeniería Sísmica construido por el UCG, sobre una plataforma computacional paralela, de tal forma que n usuarios puedean acceder al mismo tiempo y realizar una simulación de un puente por ejemplo con todos los componentes que posee la aplicación y obtener los resultados de la simulación en un tiempo de repuesta razonablemente corto.
2. Se mantuvo una reunión preliminar con los integrantes de la UCG, y el equipo de Arquitectura de Computadores, en la cual se propuso algunas soluciones verbales acerca de computación distribuida y paralela, para el presente proyecto.
3. Se formalizó el proyecto con un formulario del Senacyt, el mismo que ha sido presentado a esta última institución para que apoye en el desarrollo de dicho proyecto.
4. En dicho proyecto se propone trabajar con un equipo de cuatro personas para el desarrollo de la parte de arquitecturas de altas prestaciones que es necesario para llevar a cabalidad el proyecto.

Informe proyecto EELA-2

Informe de Avances

de Proyectos de Investigación enero – febrero 2008

I Actividades relativas a la ejecución del proyecto.

Actividad	Estado	Responsable
1. Entrega de papeles legales por parte de la UTPL a EELA-2 tales como Ruc, Razón Social, etc.	finalizado	Susana Arias
2. Envío por parte de EELA-2 del Acuerdo de Consorcio para ser firmado.	finalizado	EELA-2
3. Traducción del Acuerdo para que sea revisado por el Departamento de Secretaría General de la UTPL.	finalizado	Susana Arias
4. Resumen e Informe Técnico del Acuerdo enviado para ser presentado al Canciller o Vicecanciller de la UTPL.	entregado incompleto
5. Firma por parte del Canciller ó Vicecanciller de la Universidad Técnica Particular de Loja, del Acuerdo de Consorcio entre la UTPL y EELA-2.	por iniciar	Canciller / Vicecanciller
6. Envío del Acuerdo Firmado a los Señores de EELA-2 hasta finales del mes de abril del 2008	por iniciar	Susana Aria

II. Nombre del responsable del proyecto.

Responsable:

Ing. Susana Arias

Informe marzo-abril aplicación ClusterD

Informe de Avances

de Proyectos de Investigación marzo – abril 2008

I. Datos generales del proyecto:

Título del proyecto: Estudio e implantación del sistema clusterD en un ambiente distribuido con herramientas Open Source en el grupo de Física de Materiales.

Participante(s): Ing. Susana Arias

II. Actividades relativas a la ejecución del proyecto.

Actividad	Fecha de		Estado
	inicio	término
Instalación del Sistema Operativo CentOS 5.0	08/03/2008	09/03/2008	finalizado
Configuraciones	10/03/2008	10/03/2008	finalizado
Compilar aplicación cluster D	11/03/2008	28/03/2008	finalizado
Enlazar aplicación cluster D	31/03/2008	07/04/2008	finalizado
Ejecutar aplicación cluster D	08/04/2008	15/04/2008	finalizado
Instalación y configuración de la herramienta distribuida (en proceso de selección)	16/04/2008	17/04/2008	en proceso
Creación de un script para cluster D	18/04/2008		Por empezar
Ejecutar el script en el cluster			Por empezar
Pruebas y validación de la aplicación			Por empezar

III. Productos obtenidos

Producto

Guía del usuario para compilar, enlazar y ejecutar aplicaciones fortran en CentOS 5.0, como es el caso de la aplicación cluster D.

IV. Inconvenientes

Inicialmente el proyecto se estaba ejecutando con dos personas: Ing. Susana Arias, e Ing. Marielisa Peralta pertenecientes al grupo GESE; pero debido a que la Ing. Marielisa Peralta ya no presta sus servicios a la Institución, el proyecto lo está realizando únicamente la Ing. Susana Arias, lo cual llevará retrasos en el desarrollo del mismo. Se realizó la petición formal de profesionales en formación de 6to y 8vo semestre de la ECC debido a que cuentan con experiencia técnica para el desarrollo del proyecto, pero lamentablemente la persona asignada no cumple con el perfil esperado.

V. Experiencia obtenida en el proyecto

- Se descartó la utilización del S.O Red Hat 9.0 ya que no se encontró el compilador para gfortran.

- Se recomienda la utilización del S. O. CentOS 5.0 ya que esta versión trae incorporado el compilador gfortran, de esta forma facilita la compilación de aplicaciones basadas en fortran.

- El S.O. CentOS 5.0 incluye una herramienta para cluster de almacenamiento lo cual ofrece una ventaja comparado con el S.O. Red Hat 9.0 instalado anteriormente.

VI. Nombre del responsable y colaborador(es) del proyecto.

Responsable

Ing. Susana Arias

Informe mes enero-febrero aplicación cluster D

Informe de Avances

de Proyectos de Investigación enero – febrero 2008

I. Datos generales del proyecto:

Título del proyecto: Estudio e implantación del sistema clusterD en un ambiente distribuido con herramientas Open Source en el grupo de Física de Materiales.

Participante(s): Ing. Susana Arias, Ing. Marielisa Peralta

II. Actividades relativas a la ejecución del proyecto.

Actividad	Fecha de		Estado
	inicio	término
Diseño preliminar de la infraestructura para el entorno grid en el grupo de arquitectura. (tarjetas de red, memoria RAM, discos duros, red LAN)	07/01/08	08/01/08	finalizado
Instalación del Sistema Operativo Ubuntu 7.10	09/01/08	16/01/08	finalizado
Instalación y configuración del kernel 2.6.23-12			finalizado
Instalación de Mosix2			finalizado
Instalación del Sistema Operativo CentOS	17/01/08	25/01/08	finalizado
Instalación y configuración del kernel 2.4.26			finalizado
Instalación de Openmosix			finalizado
Instalación del Sistema Operativo Red Hat Enterprise 3	28/01/08	08/02/08	finalizado
Instalación y configuración del kernel 2.4.26			finalizado
Instalación de Openmosix			finalizado
Instalación del Sistema Operativo Red Hat 9.0	11/02/08	18/02/08	finalizado
Instalación y configuración del kernel 2.4.26			finalizado
Instalación de Openmosix kernel, tools, view			finalizado
Se armó el cluster entre 4 computadoras	19/02/08	22/02/08	finalizado
Instalación y configuración de gfortran para Red Hat 9.0	25/02/08	07/03/08	en proceso
Ejecutar aplicación cluster D sobre el entorno distribuido			por empezar
Pruebas y validación de la aplicación			por empezar

III. Productos obtenidos

Producto

Manual de instalación de openmosix kernel 2.4.26

Obtener un cuadro comparativo de los sistemas operativos que utilicen herramientas cluster.

Plataforma disponible en el grupo de Arquitectura de Computadores para ser usada en aplicaciones distribuidas.

IV. En la ejecución del proyecto si han existido inconvenientes.

- Demora en la descarga de los paquetes a instalar.

V. Experiencia obtenida en el proyecto

- Mosix2 no se ejecuta en el sistema operativo Ubuntu 7.10 debido a que no hay compatibilidad.

- Openmosix kernel 2.4.26 no se ejecuta ni en el sistema operativo CentOS 4.0, ni en el sistema operativo Red Hat Enterprise 3.0 porque no es compatible con la interfaz gráfica.

- Openmosix kernel 2.4.26 si es compatible con el S.O. Red Hat 9.0, y actualmente se ha implementado el cluster sobre esta herramienta.

VI. Nombre del responsable y colaborador(es) del proyecto.

Responsable	Ing. Susana Arias
Colaborador	Ing. Marielisa Peralta

GRUPO DE ARQUITECTURA DE COMPUTADORES

* Objetivo

Arquitectura de computadores es un grupo formado para analizar, diseñar e implementar sistemas innovadores que permitan el aprovechamiento óptimo de los recursos de hardware computacionales.

• Líneas de investigación

Arquitecturas de Altas Prestaciones

• Proyectos

1. Modelo Hidrológico SWAT de la Cuenca Catamayo – Chira, sobre entornos distribuidos.

2. Estudio e Implementación de la aplicación cluster D en un ambiente distribuido con herramientas open source en el grupo de Física de materiales.