Клъстерни системи

[otnesen]

Клъстерната система е група компютри, които са обединени чрез високоскоростни канали за свръзка. Тя, от гледна точка на ползвателя, представлява единна машина.

Един от първите архитекти на такива системи Грегори Пфистер (Gregory F. Pfister) дал следното определение:

"Клъстер - това е разновидност на паралелна или разпределена изчислителна система която:
1. се състои от няколко свързани помежду си компютъра
2. използва се като единен, унифициран компютърен ресурс"

Има няколко вида клъстери:
1. отказоустойчиви клъстери (High-availability clusters, HA)
2. клъстери с балансирано зареждане (Load balancing clusters)
3. изчислителни клъстери (Сomputing clusters)
4. grid-системи


Клъстери с висока достъпност, отказоустойчиви клъстери

Обозначават се с абревиатурата HA (High-Availability). Допълнителния брой компютри гарантира, че услугата, която клъстера предлага ще бъде достъпна, включително когато един или няколко възела излязат от строя. Минималното количество компютри за постигане на повишена достъпност е два. Създадени са множество софтуерни решения за изграждане на системи от този тип. В частност - за операционните системи OpenVMS, GNU/Linux, FreeBSD и Solaris това е безплатният софтуерен пакет Linux-HA (http://www.linux-ha.org/).


Клъстери с балансирано зареждане

Основен принцип на действие при тях е балансиране на разпределението на изчислителните задачи, които се задават на отделните компютри. Това става с помощта на няколко входни възли, които препращат данните за обработка на останалите. В тези системи може да се използват също и методи за повишена достъпност. Такива системи се наричат също и "Сървърна ферма". Софтуер за реализацията на такива клъстери има както комерсиален (OpenVMS, MOSIX, Cluster, Platform LSF HPC, Sun Grid Engine, Moab Cluster Suite, Maui Cluster Scheduler) така и безплатен (Linux Virtual Server).


Изчислителни клъстери

Те се използват за сложни изчисления - често с научна цел. За тези клъстери съществен показател за производителност се явява работата с числа с плаваща запетая (flops). Също така латентността в системата е ниска. Тези системи са по-неефективни при интензивни входно-изходни операции (бази данни, уеб услуги). Изчислителните клъстери позволяват значително намаляване на времето за изпълнение на сложни изчислителни процеси, чрез разбиване на задачата на множество паралелно изпълняващи се по-малки нишки, за разлика от единичния компютър, който трябва да ги изпълнява последователно. Една от типичните конфигурации е набор от компютри, сглобени от общодостъпни компоненти и свързани помежду си с Ethernet или други относително евтини мрежи. Такива мрежи, изградени с общодостъпни средства (вкл. софтуер) е прието да се наричат клъстери Beowulf. Специално внимание се обръща на високопроизводителните клъстери (HPC Cluster — High-performance computing cluster). Списък с най-мощните високопроизводителни системи може да се види в рейтинга Топ500 (http://www.top500.org/lists/2009/11).


Системи за разпределение на изчисленията (grid)

Такива системи не е прието да се наричат клъстери, но техните принципи на действие са много сходни. Различават се от другите главно по ниската достъпност на изчислителните възли (възлите се включват и изключват в процеса на работа). Ето защо при тях задачата задължително трябва да се разбие на редица независими един от друг процеси. Тези системи не приличат на единна изчислителна единица и служи за опростяване на разпределението на задачите. Нестабилността на тази конфигурация се компенсира с по-голям брой възли.


Клъстерните системи заемат дойстойно място в списъка с най-бързите суперкомпютри, при това ги бият убедително в показателя "цена". През юли 2008 година на 7-мо място в класацията Топ-500 застава клъстера SGI Altix ICE 8200.

Сравнително евтина алтернатива на суперкомпютрите представляват клъстерите от типа Beowulf, които се състоят от множество нескъпоструващи компютри и използват безплатен софтуер. Пример за такъв е Stone Soupercomputer (щат Тенеси, САЩ 1997 г.)

Един от сувременните проекти в това направление, насочен към масовия пазар е проекта NVIDIA® Tesla™ серия 20. Без да навлизаме в техническите подробности, ще отбележим, че предназначението на този продукт е да ускори работата по изчисленията в областите биоинформатика и биомедицина, изчислителна химия, метеорология, молекулярна динамика (много полезно за напредъка в нанотехнологиите - http://www.youtube.com/watch?v=-1OAOT9rLas), астрономия (http://www.youtube.com/watch?v=l8FUmS1h-5U), математическо моделиране с MatLab и др.

А ето и една безплатна потребителска програмка, с която всяка група ентусиасти може да си изгради "квартален мини-суперкомпютър" - http://gpu.sourceforge.net/.


GPU

[momo]

Браво за темата, но не разбирам какво целиш с нея. Не виждам нищо за дискутиране, виждам само някаква суха информация и то не от сега. Нищо интересно няма тук, нищо ново, нищо сензационно. Клъстерните системи се използват отдавна в цифровата индустрия( http://en.wikipedia.org/wiki/Cluster_%28computing%29 ).
Каква бе целта на темата? Добре си я оформил, но не се разбира какво се цели с нея. Поне се разбира, че не е дискусия.

[otnesen]

Вярно, информацията не е нова, но някак забелязах, че тази ниша е празна във форума. Ето защо започнах с малко предварителна информация. Въпреки, че клъстерите не са нещо ново, още по-малко сензационни, те търпят сериозна еволюция и можем да ги разглеждаме като пълноценна модерна технология. На тази основа бихме могли да обсъждаме перспективите за развитие на клъстерите в бъдеще, приложението им в изучаването на други науки. Също така най-вероятно не бихме могли да обсъждаме неща като изкуствен интелект, ако не сме запознати със същността на такива обединения от изчислителни единици.

В тази иначе суха информация, наблягам на достъпността на технологията. В този смисъл, бихме могли да организираме изпробване на технологията, нещо като xnetbg-cluster.

[momo]

Няма как да изпробваме клъстерите, защото те са свързани помежду си с високоскоростни връзки, а не с няколко десетки KB/s. Не е ли поне гигабитова връзка между машините, ще има само забавяне на работата.

[otnesen]

Дори със забавена връзка, пак ще е доста по-бърз от настолните компютри (стига разбира се да съумеем да го използваме правилно).

[Tangrata_]

Можеш ли да дадеш пример кога клъстерът ще е по-бърз?

Например, точно каква задача ще има, как ще се разпредели между компютрите и тн.


Ключов е момента с разпределянето между компютрите.
Например при астрономически, биологически данни по-лесно може да се разделят инструкциите. Дори може компютрите да не са свързани изобщо. Просто на всеки компютър си обработваш различна порция.

Но при изчисления, където всяка следваща операция (или почти всяка) зависи от предходните, и ползва тяхнтие резултати, тогава става трудно, защото разпределението ще трябва да се решава моментално и в реално време. Както е с многоядрените машини.

Наистина при аматьорски условия едва ли ще има голям успех.
Интересно кой компютър първоначално ще подава информацията, т.е. сорс кода + дата файловете.
Ако ще трябва и те да се преточват през ЛАН-а ще се натоварят много нещата.

В повечето имащи смисъл случаи или сорс кода или дата файла ще трябва да са много големи.
Освен ако не караме компютрите да повдигат 1000! (факториел)
Тогава ще стане много лесно:
Караш 1я компютър да сметне от 1* .. *499
2я  500* ... *699
3я 700* ... *900
4я 900* ... *1000
И после умножаваш 4те резултата ...

Както казах, всичко зависи от естеството на задачата.

[otnesen]

Проблема в случая ще е да измислим за какво можем да го ползваме, да си формулираме задача, да си съставим проект. Ако ще е просто да си изчисляваме за забавление, няма смисъл.

Пробвал съм 10000! на обикновена машина (AMD Sempron 1,6 Ghz) с Python интерпретатор. Решаването на задачата отне около 10 минути, а резултатът беше около 30 страници число. Така че, имай предвид, дори обикновените настолни компютри са доста мощни.

[momo]

Дори със забавена връзка, пак ще е доста по-бърз от настолните компютри (стига разбира се да съумеем да го използваме правилно).

Лъжеш се.
Освен, ако нямаш предвид нещо от рода на BOINC.

[otnesen]

Полюбопитствах какво е това BOINC. Май него използват за онази схема SETI, за търсене на извънземни сигнали.

http://www.allprojectstats.com/

Това е някакъв списък с проекти, които се движат или са се движили по тази мрежа (не ми стана много ясно колко е актуален списъка). Също не можах да открия и някакви постигнати резултати - само много суха информация за общото предназначение на проекта. Чувал съм, че под предлог, че търсят извънземен разум, всъщност разбиват сложни пароли на "врага". Към тази мисъл ме накланят и следните "задачи":

http://www.allprojectstats.com/po.php?projekt=44 - SHA 1 Collision Search

http://www.allprojectstats.com/po.php?projekt=55 - Enigma@Home (проекта уж има за цел да разгадава прихванати германски съобщения през 42-а година)

http://www.allprojectstats.com/po.php?projekt=36 - HashClash


Не, нямам предвид нещо чак толкова голямо,а по скромно, с което да се направи някаква не чак много сложна гравитационна система или не чак толкова сложна екосистема.

[N.U.K.E]

Клъстери с висока достъпност, отказоустойчиви клъстери

Иначе казано - fast-flux системи...