Conexión Electrica
UPS
Distribución Red
Switch
jueves, 30 de octubre de 2008
Componentes de un Cluster
Un cluster necesita de varios componentes de software y hardware para poder funcionar. A saber: Nodos Sistemas Operativos Conexiones de Red Middleware Protocolos de Comunicación y servicios Aplicaciones Ambientes de Programación Paralela Nodos Pueden ser simples ordenadores, sistemas multi procesador o estaciones de trabajo (workstations). En informática, de forma muy general, un nodo es un punto de intersección o unión de varios elementos que confluyen en el mismo lugar. Ahora bien, dentro de la informática la palabra nodo puede referirse a conceptos diferentes según en ámbito en el que nos movamos: En redes de computadoras cada una de las máquinas es un nodo, y si la red es Internet, cada servidor constituye también un nodo. En estructuras de datos dinámicas un nodo es un registro que contiene un dato de interés y al menos un puntero para referenciar (apuntar) a otro nodo. Si la estructura tiene sólo un puntero, la única estructura que se puede construir con el es una lista, si el nodo tiene más de un puntero ya se pueden construir estructuras más complejas como árboles o grafos. El cluster puede estar conformado por nodos dedicados o por nodos no dedicados. En un cluster con nodos dedicados, los nodos no disponen de teclado, mouse ni monitor y su uso está exclusivamente dedicado a realizar tareas relacionadas con el cluster. Mientras que, en un cluster con nodos no dedicados, los nodos disponen de teclado, mouse y monitor y su uso no está exclusivamente dedicado a realizar tareas relacionadas con el cluster, el cluster hace uso de los ciclos de reloj que el usuario del computador no esta utilizando para realizar sus tareas. Cabe aclarar que a la hora de diseñar un Cluster, los nodos deben tener caracteristicas similares, es decir, deben guardar cierta similaridad de arquitectura y sistemas operativos, ya que si se conforma un Cluster con Nodos totalmente heterogeneos (existe una diferencia grande entre capacidad de procesadores, memoria, HD)sera ineficiente debido a que el middleware delegara o asignara todos los procesos al Nodo de mayor capacidad de Computo y solo distribuira cuando este se encuentre saturado de procesos; por eso es recomendable construir un grupo de ordenadores los mas similares posible. Almacenamiento El almacenamiento puede consistir en una NAS, una SAN, o almacenamiento interno en el servidor. El protocolo más comúnmente utilizado es NFS (Network File System), sistema de ficheros compartido entre servidor y los nodos. Sin embargo existen sistemas de ficheros específicos para clusters como Lustre (CFS) y PVFS2. Tecnologías en el soporte del almacenamiento en discos duros: IDE (PATA, Parallel ATA): Anchos de banda (Bw) de 33, 66, 100 y 133MBps. SATA I (SATA-150): Bw 150 MBps. SATA II (SATA-300): Bw 300 MBps. SCSI: Bw 160, 320, 640MBps. Proporciona altos rendimientos. SAS (Serial Array SCSI): Aúna SATA II y SCSI. Bw 375MBps. Las unidades de cinta (DLTs) son utilizadas para backups por su bajo coste. NAS (Network Attached Storage) es un dispositivo específico dedicado a almacenamiento a través de red (normalmente TCP/IP) que hace uso de un S.O. optimizado para dar acceso a través de protocolos CIFS, NFS, FTP o TFTP. Por su parte, DAS (Direct Attached Storage) consiste en conectar unidades externas de almacenamiento SCSI o a una SAN (Storage Area Network) a través de Fibre Channel. Estas conexiones son dedicadas. Mientras NAS permite compartir el almacenamiento, utilizar la red, y tiene una gestión más sencilla, DAS proporciona mayor rendimiento y mayor fiabilidad al no compartir el recurso. NAS vs. SAN: Cables: NAS usa Ethernet. SAN usa Fibre Channel Protocolo: NAS usa CIFS, NFS, ó HTTP sobre TCP/IP. SAN usa Encapsulated SCSI (iSCSI, cuando encapsula sobre TCP/IP, y FCP cuando encapsula directamente sobre Fibre Channel). Manejo: en NAS el NAS head gestiona el sistema de ficheros. En SAN múltiples servidores manejan los datos. NAS nos permite acceder a un sistema de ficheros a través de TCP/IP usando CIFS (en el caso de Windows) ó NFS (en el caso de Unix/Linux. NAS es una solución más adecuada como. Servidor de ficheros. Almacenamiento de directorios de usuario. Almacenamiento de archivos en general. Por su parte, una SAN es usada para acceder a almacenamiento en modo BLOQUE, a través de una red de fibra óptica con Fibre Channel (FC) utilizando el protocolo SCSI. SAN es una solución más adecuada para: Bases de datos. Data warehouse. Backup (al no interferir en la red del sistema). Cualquier applicación que requiera baja latencia y alto ancho de banda en el almacenamiento y recuperación de datos. Sistema Operativo Debe ser multiproceso, multiusuario. Otras características deseables son la facilidad de uso y acceso y permitir además múltiples procesos y usuarios. Un sistema operativo es un programa o conjunto de programas de computadora destinado a permitir una gestión eficaz de sus recursos. Comienza a trabajar cuando se enciende el computador, y gestiona el hardware de la máquina desde los niveles más básicos, permitiendo también la interacción con el usuario. Un sistema operativo se puede encontrar normalmente en la mayoría de los aparatos electrónicos que utilicen microprocesadores para funcionar, ya que gracias a estos podemos entender la máquina y que ésta cumpla con sus funciones (teléfonos móviles, reproductores de DVD, autoradios... y computadoras) Ejemplos: GNU/Linux OpenMosix Rocks[2] Kerrighed [Condor] Unix Solaris [Condor] HP-Ux [Condor] Aix [Condor] Windows NT 2000 Server 2003 Server 2008 Server [Condor] Mac OS X [Condor] Solaris [Condor] FreeBSD [Condor]
Historia Cluster
Historia
El origen del término y del uso de este tipo de tecnología es desconocido pero se puede considerar que comenzó a finales de los años 50 y principios de los años 60. La base formal de la ingeniería informática de la categoría como un medio de hacer trabajos paralelos de cualquier tipo fue posiblemente inventado por Gene Amdahl de IBM, que en 1967 publicó lo que ha llegado a ser considerado como el papel inicial de procesamiento paralelo: la Ley de Amdahl que describe matemáticamente el speedup que se puede esperar paralelizando cualquier otra serie de tareas realizadas en una arquitectura paralela. Este artículo define la base para la ingeniería de la computación tanto multiprocesador y computación clúster, en donde el principal papel diferenciador es si las comunicaciones interprocesador cuentan con el apoyo "dentro" de la computadora (por ejemplo, en una configuración personalizada para el bus o la red de las comunicaciones internas) o "fuera" del ordenador en una red "commodity". En consecuencia, la historia de los primeros grupos de computadoras es más o menos directamente ligado a la historia de principios de las redes, como una de las principales motivaciones para el desarrollo de una red para enlazar los recursos de computación, de hecho la creación de un cluster de computadoras. Las redes de conmutación de paquetes fueron conceptualmente inventados por la corporación RAND en 1962. Utilizando el concepto de una red de conmutación de paquetes, el proyecto ARPANET logró crear en 1969 lo que fue posiblemente la primera red de computadoras básico basadas en el cluster de computadoras por cuatro tipos de centros informáticos (cada una de las cuales fue algo similar a un "cluster" pero no un "comodity cluster" como hoy en día lo entendemos. El proyecto ARPANET creció y se convirtió en lo que es ahora Internet - que se puede considerar como "la madre de todos los clusters" (como la unión de casi todos los recursos de cómputo, incluidos los clusters, que pasarían a ser conectados). También estableció el paradigma de uso de computadoras clusters en el mundo de hoy - el uso de las redes de conmutación de paquetes para realizar las comunicaciones entre procesadores localizados en los marcos de otro modo desconectado. El desarrollo de la construcción de PC's por los clientes y grupos de investigación procedió a la par con la de las redes y el sistema operativo Unix desde principios de la década de los años 70, como TCP/IP y el proyecto de la Xerox PARC proyecto y formalizado para protocolos basados en la red de comunicaciones. El núcleo del sistema operativo fue construido por un grupo de DEC PDP-11 minicomputadoras llamado C.mmp en C-MU en 1971. Sin embargo, no fue hasta alrededor de 1983 que los protocolos y herramientas para el trabajo remoto facilitasen la distribución y el uso compartido de archivos fueran definidos (en gran medida dentro del contexto de BSD Unix, e implementados por Sun Microsystems) y, por tanto llegar a disponerse comercialmente, junto con una compartición del sistema de ficheros. El primer producto comercial de tipo cluster fue ARCnet, desarrollada en 1977 por Datapoint pero no obtuvo un éxito comercial y los clusteres no consiguieron tener éxito hasta que en 1984 VAXcluster produjeran el sistema operativo VAX/VMS. El ARCnet y VAXcluster no sólo son productos que apoyan la computación paralela, pero también comparten los sistemas de archivos y dispositivos periféricos. La idea era proporcionar las ventajas del procesamiento paralelo, al tiempo que se mantiene la fiabilidad de los datos y el carácter singular. VAXcluster, VMScluster esta todavía disponible en los sistemas de HP OpenVMS corriendo en sistemas Itanium y Alpha. Otros dos principios comerciales de clusteres notables fueron el Tandem Himalaya (alrededor 1994 de con productos de alta disponibilidad) y el IBM S/390 Parallel Sysplex (también alrededor de 1994, principalmente para el uso de la empresa). La historia de los clusters de computadoras estaría completa sin señalar el papel fundamental desempeñado por el desarrollo del software de Parallel Virtual Machine (PVM). Este software de fuente abierta basado en comunicaciones TCP/IP permitió la creación de un superordenador virtual - un cluster HPC - realizada desde cualquiera de los sistemas conectados TCP/IP. De forma libre los clusters heterogéneos han constituido la cima de este modelo logrando aumentar rápidamente en FLOPS globalmente y superando con creces la disponibilidad incluso de los más caros superordenadores. PVM y el el empleo de PCs y redes de bajo costo llevó, en 1993, a un proyecto de la NASA para construir supercomputadoras de clusters. En 1995, la invención de la "beowulf" -un estilo de cluster- una granja de computación diseñado en base a un producto básico de la red con el objetivo específico de "ser un superordenador" capaz de realizar firmemente y cálculos paralelos HPC. Esto estimuló el desarrollo independiente de la computación Grid como una entidad, a pesar de que el estilo Grid giraba en torno al del sistema operativo Unix y el Arpanet. Beneficios de la Tecnología Cluster Las aplicaciones paralelas escalables requieren: buen rendimiento, baja latencia, comunicaciones que dispongan de gran ancho de banda, redes escalables y acceso rápido a archivos. Un cluster puede satisfacer estos requerimientos usando los recursos que tiene asociados a él. Los clusters ofrecen las siguientes características a un costo relativamente bajo: Alto Rendimiento. Alta Disponibilidad. Alta Eficiencia. Escalabilidad. La tecnología cluster permite a las organizaciones incrementar su capacidad de procesamiento usando tecnología estándar, tanto en componentes de hardware como de software que pueden adquirirse a un costo relativamente bajo.
El origen del término y del uso de este tipo de tecnología es desconocido pero se puede considerar que comenzó a finales de los años 50 y principios de los años 60. La base formal de la ingeniería informática de la categoría como un medio de hacer trabajos paralelos de cualquier tipo fue posiblemente inventado por Gene Amdahl de IBM, que en 1967 publicó lo que ha llegado a ser considerado como el papel inicial de procesamiento paralelo: la Ley de Amdahl que describe matemáticamente el speedup que se puede esperar paralelizando cualquier otra serie de tareas realizadas en una arquitectura paralela. Este artículo define la base para la ingeniería de la computación tanto multiprocesador y computación clúster, en donde el principal papel diferenciador es si las comunicaciones interprocesador cuentan con el apoyo "dentro" de la computadora (por ejemplo, en una configuración personalizada para el bus o la red de las comunicaciones internas) o "fuera" del ordenador en una red "commodity". En consecuencia, la historia de los primeros grupos de computadoras es más o menos directamente ligado a la historia de principios de las redes, como una de las principales motivaciones para el desarrollo de una red para enlazar los recursos de computación, de hecho la creación de un cluster de computadoras. Las redes de conmutación de paquetes fueron conceptualmente inventados por la corporación RAND en 1962. Utilizando el concepto de una red de conmutación de paquetes, el proyecto ARPANET logró crear en 1969 lo que fue posiblemente la primera red de computadoras básico basadas en el cluster de computadoras por cuatro tipos de centros informáticos (cada una de las cuales fue algo similar a un "cluster" pero no un "comodity cluster" como hoy en día lo entendemos. El proyecto ARPANET creció y se convirtió en lo que es ahora Internet - que se puede considerar como "la madre de todos los clusters" (como la unión de casi todos los recursos de cómputo, incluidos los clusters, que pasarían a ser conectados). También estableció el paradigma de uso de computadoras clusters en el mundo de hoy - el uso de las redes de conmutación de paquetes para realizar las comunicaciones entre procesadores localizados en los marcos de otro modo desconectado. El desarrollo de la construcción de PC's por los clientes y grupos de investigación procedió a la par con la de las redes y el sistema operativo Unix desde principios de la década de los años 70, como TCP/IP y el proyecto de la Xerox PARC proyecto y formalizado para protocolos basados en la red de comunicaciones. El núcleo del sistema operativo fue construido por un grupo de DEC PDP-11 minicomputadoras llamado C.mmp en C-MU en 1971. Sin embargo, no fue hasta alrededor de 1983 que los protocolos y herramientas para el trabajo remoto facilitasen la distribución y el uso compartido de archivos fueran definidos (en gran medida dentro del contexto de BSD Unix, e implementados por Sun Microsystems) y, por tanto llegar a disponerse comercialmente, junto con una compartición del sistema de ficheros. El primer producto comercial de tipo cluster fue ARCnet, desarrollada en 1977 por Datapoint pero no obtuvo un éxito comercial y los clusteres no consiguieron tener éxito hasta que en 1984 VAXcluster produjeran el sistema operativo VAX/VMS. El ARCnet y VAXcluster no sólo son productos que apoyan la computación paralela, pero también comparten los sistemas de archivos y dispositivos periféricos. La idea era proporcionar las ventajas del procesamiento paralelo, al tiempo que se mantiene la fiabilidad de los datos y el carácter singular. VAXcluster, VMScluster esta todavía disponible en los sistemas de HP OpenVMS corriendo en sistemas Itanium y Alpha. Otros dos principios comerciales de clusteres notables fueron el Tandem Himalaya (alrededor 1994 de con productos de alta disponibilidad) y el IBM S/390 Parallel Sysplex (también alrededor de 1994, principalmente para el uso de la empresa). La historia de los clusters de computadoras estaría completa sin señalar el papel fundamental desempeñado por el desarrollo del software de Parallel Virtual Machine (PVM). Este software de fuente abierta basado en comunicaciones TCP/IP permitió la creación de un superordenador virtual - un cluster HPC - realizada desde cualquiera de los sistemas conectados TCP/IP. De forma libre los clusters heterogéneos han constituido la cima de este modelo logrando aumentar rápidamente en FLOPS globalmente y superando con creces la disponibilidad incluso de los más caros superordenadores. PVM y el el empleo de PCs y redes de bajo costo llevó, en 1993, a un proyecto de la NASA para construir supercomputadoras de clusters. En 1995, la invención de la "beowulf" -un estilo de cluster- una granja de computación diseñado en base a un producto básico de la red con el objetivo específico de "ser un superordenador" capaz de realizar firmemente y cálculos paralelos HPC. Esto estimuló el desarrollo independiente de la computación Grid como una entidad, a pesar de que el estilo Grid giraba en torno al del sistema operativo Unix y el Arpanet. Beneficios de la Tecnología Cluster Las aplicaciones paralelas escalables requieren: buen rendimiento, baja latencia, comunicaciones que dispongan de gran ancho de banda, redes escalables y acceso rápido a archivos. Un cluster puede satisfacer estos requerimientos usando los recursos que tiene asociados a él. Los clusters ofrecen las siguientes características a un costo relativamente bajo: Alto Rendimiento. Alta Disponibilidad. Alta Eficiencia. Escalabilidad. La tecnología cluster permite a las organizaciones incrementar su capacidad de procesamiento usando tecnología estándar, tanto en componentes de hardware como de software que pueden adquirirse a un costo relativamente bajo.
Clasificacion de los Clusters
Clasificación de los Clusters
El término cluster tiene diferentes connotaciones para diferentes grupos de personas. Los tipos de clusters, establecidos en base al uso que se de a los clusters y los servicios que ofrecen, determinan el significado del término para el grupo que lo utiliza. Los clusters pueden clasificarse con base en sus características. Se pueden tener clusters de alto rendimiento (HPC – High Performance Clusters), clusters de alta disponibilidad (HA – High Availability) o clusters de alta eficiencia (HT – High Throughput).
Alto rendimiento: Son clusters en los cuales se ejecutan tareas que requieren de gran capacidad computacional, grandes cantidades de memoria, o ambos a la vez. El llevar a cabo estas tareas puede comprometer los recursos del cluster por largos periodos de tiempo.
Alta disponibilidad: Son clusters cuyo objetivo de diseño es el de proveer disponibilidad y confiabilidad. Estos clusters tratan de brindar la máxima disponibilidad de los servicios que ofrecen. La confiabilidad se provee mediante software que detecta fallos y permite recuperarse frente a los mismos, mientras que en hardware se evita tener un único punto de fallos.
Alta eficiencia: Son clusters cuyo objetivo de diseño es el ejecutar la mayor cantidad de tareas en el menor tiempo posible. Existe independencia de datos entre las tareas individuales. El retardo entre los nodos del cluster no es considerado un gran problema.
Los clusters pueden también clasificar como Clusters de IT Comerciales (Alta disponibilidad, Alta eficiencia) y Clusters Científicos (Alto rendimiento). A pesar de las discrepancias a nivel de requerimientos de las aplicaciones, muchas de las características de las arquitecturas de hardware y software, que están por debajo de las aplicaciones en todos estos clusters, son las mismas. Más aun, un cluster de determinado tipo, puede también presentar características de los otros.
El término cluster tiene diferentes connotaciones para diferentes grupos de personas. Los tipos de clusters, establecidos en base al uso que se de a los clusters y los servicios que ofrecen, determinan el significado del término para el grupo que lo utiliza. Los clusters pueden clasificarse con base en sus características. Se pueden tener clusters de alto rendimiento (HPC – High Performance Clusters), clusters de alta disponibilidad (HA – High Availability) o clusters de alta eficiencia (HT – High Throughput).
Alto rendimiento: Son clusters en los cuales se ejecutan tareas que requieren de gran capacidad computacional, grandes cantidades de memoria, o ambos a la vez. El llevar a cabo estas tareas puede comprometer los recursos del cluster por largos periodos de tiempo.
Alta disponibilidad: Son clusters cuyo objetivo de diseño es el de proveer disponibilidad y confiabilidad. Estos clusters tratan de brindar la máxima disponibilidad de los servicios que ofrecen. La confiabilidad se provee mediante software que detecta fallos y permite recuperarse frente a los mismos, mientras que en hardware se evita tener un único punto de fallos.
Alta eficiencia: Son clusters cuyo objetivo de diseño es el ejecutar la mayor cantidad de tareas en el menor tiempo posible. Existe independencia de datos entre las tareas individuales. El retardo entre los nodos del cluster no es considerado un gran problema.
Los clusters pueden también clasificar como Clusters de IT Comerciales (Alta disponibilidad, Alta eficiencia) y Clusters Científicos (Alto rendimiento). A pesar de las discrepancias a nivel de requerimientos de las aplicaciones, muchas de las características de las arquitecturas de hardware y software, que están por debajo de las aplicaciones en todos estos clusters, son las mismas. Más aun, un cluster de determinado tipo, puede también presentar características de los otros.
Cluster Devoreitor
Cluster del grupo de Física Atómica y Molecular de la Facultad de Ciencias Exactas y Naturales y Agrimensura de la Universidad Nacional del Nordeste (Mexico).
Infraestructura Informática:
DEVOREITOR está formado actualmente por 6 nodos SUN Fire X 2200. La arquitectura de estos servidores puede ser consultada en SUN Microsystems. Cada nodo cuenta con 2 procesadores Opteron Serie 2 Dual Core de 2.2 GHz (24 cores/CPUs en total).
Topología de Datos y Eléctrica :
Los nodos se encuentran interconectados a 1000 Mbps a través de un Switch simétrico Allied Telesyn AT-GS950/16. La corriente eléctrica de la sala se distribuye en todo su perímetro interno, y la energía es suministrada por una UPS APC Smart 5000XLI RT con 2 packs externos de baterías. Los equipos informáticos y de networking fueron montados en un gabinete rackeable GABITEL de 40U.
Plataforma Operativa :
Los nodos se han instalado con OpenSuSE 10.2 y el copmpilador gfortran-4.1, el gestor de multi procesamiento distribuido MPI LAM-7.1.3, y el administrador de colas PBS Torque-2.1.8
Ciencia Física :
El propósito del cluster consiste en reducir significativamente los tiempos computacionales en la obtención de propiedades moleculares. Para ello se utilizan aplicativos o programas de cálculo multiprogramados tales como Dirac, Dalton, etc. que hacen uso de las características MPI.
Administración y Mantenimiento:
Los requerimientos funcionales del Cluster están a cargo de la Administración Técnica de la Red Exa. El mantenimiento de la Topología, Hardware y Sistema Operativo del Cluster se financian a través de un ítem para Soporte Técnico del proyecto de investigació de la Agencia, asignado en forma privada a CONSTRUIR consultora S.R.L.
Infraestructura Informática:
DEVOREITOR está formado actualmente por 6 nodos SUN Fire X 2200. La arquitectura de estos servidores puede ser consultada en SUN Microsystems. Cada nodo cuenta con 2 procesadores Opteron Serie 2 Dual Core de 2.2 GHz (24 cores/CPUs en total).
Topología de Datos y Eléctrica :
Los nodos se encuentran interconectados a 1000 Mbps a través de un Switch simétrico Allied Telesyn AT-GS950/16. La corriente eléctrica de la sala se distribuye en todo su perímetro interno, y la energía es suministrada por una UPS APC Smart 5000XLI RT con 2 packs externos de baterías. Los equipos informáticos y de networking fueron montados en un gabinete rackeable GABITEL de 40U.
Plataforma Operativa :
Los nodos se han instalado con OpenSuSE 10.2 y el copmpilador gfortran-4.1, el gestor de multi procesamiento distribuido MPI LAM-7.1.3, y el administrador de colas PBS Torque-2.1.8
Ciencia Física :
El propósito del cluster consiste en reducir significativamente los tiempos computacionales en la obtención de propiedades moleculares. Para ello se utilizan aplicativos o programas de cálculo multiprogramados tales como Dirac, Dalton, etc. que hacen uso de las características MPI.
Administración y Mantenimiento:
Los requerimientos funcionales del Cluster están a cargo de la Administración Técnica de la Red Exa. El mantenimiento de la Topología, Hardware y Sistema Operativo del Cluster se financian a través de un ítem para Soporte Técnico del proyecto de investigació de la Agencia, asignado en forma privada a CONSTRUIR consultora S.R.L.
viernes, 24 de octubre de 2008
Suscribirse a:
Entradas (Atom)
Entradas
