Трудная жизнь гигантов

Началом эры суперкомпьютеров можно, пожалуй, назвать 1976 год, когда появилась первая векторная система Cray 1. Работая с ограниченным в то время набором приложений, Cray 1 показала настолько впечатляющие по сравнению с обычными системами результаты, что заслуженно получила название “суперкомпьютер” и определяла развитие всей индустрии высокопроизводительных вычислений еще долгие годы. Но более чем за два десятилетия совместной эволюции архитектур и программного обеспечения на рынке появлялись системы с кардинально различающимися характеристиками, поэтому само понятие “суперкомпьютер” стало многозначным и пересматривать его пришлось неоднократно.

Попытки дать определение суперкомпьютеру опираясь только на производительность привели к необходимости постоянно поднимать планку, отделяющую его от рабочей станции или даже обычного настольного компьютера. Только за последние 15 лет нормы менялись несколько раз. По определению Оксфордского словаря вычислительной техники 1986 года, для того, чтобы получить это гордое название, нужно было иметь производительность в 10 мегафлоп (миллионов операций с плавающей запятой в секунду). В начале 90-х была преодолена отметка 200 мегафлоп, затем 1 гигафлоп.

Когда под определение суперкомпьютера попали последовательно однопроцессорные системы на Pentium и компьютеры Apple G4, переписывать трактовки пришлось не только ученым, но и правительству Штатов, ограничивающему вывоз высокопроизводительных систем. Из альтернативных определений наиболее интересны два: экономическое и философское. Первое из них гласит, что суперкомпьютер — это система, цена которой обычно свыше 1-2 млн. долларов. Второе, что суперкомпьютер — это компьютер, мощность которого всего на порядок меньше необходимой для решения современных задач.

Тоp-500 как зеркало рынка В середине 80-х Эрик Стромайер из университета Теннеси (США) и Ганс Мейер из университета Маннхейма (Германия) начали собирать статистику о развитии рынка суперкомпьютеров. В то время благодаря малочисленности “подопытных” и большому их отличию от персональных компьютеров сделать это было довольно легко. В итоге в начале 1993 года статистические исследования оформились в виде списка top-500, который публикуется дважды в год, в июне и ноябре. В этот список включаются наиболее мощные компьютерные системы, установленные по всему миру. Они и получают расплывчатое определение “суперкомпьютер”. С развитием рынка и появлением множества различных архитектур актуальной проблемой стало найти наиболее объективный способ определения возможностей систем. Им стал тест Linpack, разработанный Джеком Донгарра, который представляет собой решение системы N линейных уравнений методом Гаусса. Собственно, по результатам этого теста и определяются места в списке. В первом июньском top-500 1993 года лидером являлся Thinking Machines CM5 с 1 024 процессорами и Rmax=59,7 гигафлоп (Rmax — производительность по тесту Linpack), а в конце списка находилась система Fujitsu с 140 векторными процессорами и Rmax=0,422 гигафлоп. В то время это был первый японский компьютер в Европе. Он имел 64 Мбайт памяти и считался самым быстрым в этом классе. Наиболее быстрым компьютером согласно 17-му списку top-500, составленному на 21 июня 2001 года, является система ASCI White от IBM, на втором — SP Power3 ее же производства. Компания вообще сделала неплохой рывок в сравнении с ноябрем 2000 года, и последний список стал ее триумфом. В первой десятке находятся уже не две, а пять ее моделей (а общее число в списке возросло со 144 до 215), которые аккумулируют 43% общей мощности. IBM вплотную занялась этим бизнесом три года назад, охватив не только США, но и Европу, и вполне может претендовать на роль “законодателя мод” на современном рынке суперкомпьютеров. В апреле 2001 года компания получила контракт на поставку системы на основе еще не выпущенных процессоров Power 4 общей мощностью в 3,8 терафлоп, которая станет самой быстрой в Европе. В Финляндии, Франции и Германии IBM будет заменять устаревшие компьютеры Cray T3E. Руководство компании считает, что ее бизнес-модель как нельзя лучше подходит для суперкомпьютеров: диапазон выпускаемой продукции колеблется от машин среднего класса до самых мощных. Это позволяет IBM тратить средства на дорогостоящие исследования, которые в будущем вернутся в виде новейших технологий. Аналитики компании с уверенностью говорят о выходе процессоров Power 4 и Power 4+, а затем и 100-терафлопной машины. Sun Microsystems с 92 системами занимает второе место. Последним крупным заказом для компании стала поставка серверов Sun Fire 6800 в рамках создания суперкомпьютера для университета немецкого города Аахен. Машина достигнет производительности в 2,3 терафлоп и будет использоваться при изучении динамики жидкой среды. Весной Sun подписала контракт, согласно которому поставит эти же серверы фирме Cray для монтажа в суперкомпьютер MTA-2. Серверы предназначены для осуществления операций ввода и вывода данных. Использование готовых блоков позволит Cray сэкономить средства на разработку и производство дополнительных блоков и приблизить выпуск MTA-2, назначенный на последний квартал 2001 года. MTA-2 — это не единственный проект, которым занимается сейчас Cray - пионер в области суперкомпьютеров. Компания, основанная Симуром Креем, за свою историю претерпела немало сложностей и сейчас по праву занимает четвертое место списка top-500 с 47 машинами. Линейка компьютеров Cray T3E заслужила награду от независимой международной команды исследователей. Благодаря легендарной личности Крея некоторое отношение к рынку суперкомпьютеров приобрела и компания Apple (если не считать Apple G4 суперкомпьютером согласно определению 1986 года). Как гласит история, Симур Крей, узнав, что Apple купила Cray, чтобы моделировать дизайн своих компьютеров, заметил: “Забавно, я использую Apple, чтобы моделировать Cray-3”. На заре своего существования Cray Research фокусировалась прежде всего на создании векторных компьютеров. Однако после окончания “холодной войны” продажи Cray резко упали — основным заказчиком компании было правительство США, использовавшее мощности суперкомпьютеров для военных целей. Бизнес перестал приносить прибыль, и компания была куплена SGI в 1996 году за 767 млн. долларов. SGI уволила большинство сотрудников и переориентировала предприятие на разработку собственных моделей. В свою очередь испытав финансовые затруднения, SGI продала активы Cray небольшой компании Tera Computer в 1999 году уже за 21 млн. долларов. Последняя сменила свое название на более известное “Cray”. Первым проектом компании стало обновление векторного компьютера SV1, проводимое одновременно с работой над его преемником SV2. После окончания длительной судебной тяжбы с японскими производителями Cray получила инвестиции объемом 25 млн. долларов от NEC и заключила с ней десятилетний контракт о продаже векторных систем SX. Заключив сделку с API NetWorks, компания начала поставки суперкомпьютеров, собранных из более мелких машин API под управлением Linux. Принцип изготовления суперкомпьютеров из десятков или даже сотен обыкновенных получил название “Beowulf”. Его основная сложность — создание соответствующего программного обеспечения. Использование собственной операционной системы T3E и Linux вполне решило эту проблему. 67 машин, перечисленных в top-500, принесли SGI третью позицию. Наиболее значимым из последних контрактов компании стала совместная работа с НАТО. Северо-Атлантический блок весной установил у себя суперкомпьютер SGI Origin 3800 с 512 процессорами, управляемыми единой операционной системой. Машина будет просчитывать турбулентность воздушных потоков, прогнозировать появление ураганов и заниматься другими “небесными” проблемами. В своих будущих моделях SGI планирует использовать 64-разрядные процессоры Itanium. Всего в top-500 12 систем, по производительности превышающих 1 терафлоп по тесту Linpack. Из них внимание привлекает новичок в десятке - NEC SX5 (на восьмом месте), который стал первым классическим векторным компьютером, перешедшим этот порог. Общая производительность увеличилась с 88,1 до 108,8 терафлоп. Анализируя список можно отметить следующие тенденции: США остается на первом месте как по производству, так и по использованию суперкомпьютеров, а все векторные системы созданы японцами. Количество машин в различных областях применения изменилось незначительно: в промышленности сократилось с 245 до 236, в науке осталось на прежнем уровне — 118 единиц, в образовании увеличилось с 89 до 92.

И все же характерными особенностями всех современных суперкомпьютеров являются:

— многопроцессорность (от 8 и выше);

— высокая скорость обмена данными между отдельными узлами (порядка 500 Мбайт/с);

— большой объем оперативной (до 600 Гбайт) и дисковой (сотни терабайт) памяти;

— архитектура, обеспечивающая параллельность обработки данных, и специальное ПО для этих целей.

Через некоторое время после дебюта Cray 1 вышла еще одна векторная система Cyber 203/205, созданная компанией CDC, и серия XMP от Cray Research. Эти векторные суперкомпьютеры (хотя при взгляде на них из XXI века это понятие можно поставить в кавычки) показывали высокие результаты, выполняя только специальные задачи, в основном, из области механики жидкой среды и криптографии. Такие системы (а они работают и до сих пор) используют команды векторных операций.

Из-за отсутствия мощных средств программирования и компиляторов подготавливать задачи и оптимизировать их для выполнения приходилось вручную. Но уже к началу 80-х осознание истинного потенциала суперкомпьютеров привело к буму программного обеспечения (оболочек, операционных систем, сред программирования) и, соответственно, к увеличению сферы возможных применений. Одним из основополагающих факторов стала возможность выполнения операций с плавающей запятой.

Оценив возможности использования суперкомпьютеров не только в узконаучных целях, на рынок вышли японские производители Fujitsu, NEC и Hitachi. Новые задачи требовали все больших и больших вычислительных мощностей, недоступных на тот момент. Решение как всегда оказалось простым и по-своему гениальным: вместо дальнейшего усложнения архитектуры одного уникального процессора разработчики пошли по наименее затратному пути — использованию нескольких, хоть и менее мощных. Эта технология легла в основу двух принципиально различающихся по реализации направлений: объединения нескольких машин в единую систему и интеграции нескольких процессоров в пределах одной машины.

Суперкомпьютеры, созданные по первому принципу, так называемые кластеры, являются наиболее дешевым способом увеличения вычислительной мощности. Для их связи используется компьютерная сеть (или специальные высокоскоростные шины), к которой могут подключаться различные классы машин от суперкомпьютеров до настольных систем. Слабая связь систем определяет одновременно главный недостаток: несовершенство синхронизации выполняемых процессов — и основное достоинство: легкое увеличение производительности за счет добавления новых компьютеров в кластер. При поддержке нескольких федеральных программ правительства США подобные скалярные системы с распределенной памятью стали предметом пристального внимания к концу 80-х. Однако программные решения для них значительно отличались от ставших привычными уже векторных моделей, поэтому их широкое применение началось только после появления модели обмена сообщениями (MPI). Сейчас эти системы используются только в узкоспециализированных задачах, и рейтинги производительности, как правило, венчают многопроцессорные машины.

Системы, использующие несколько процессоров “в одном корпусе”, получили название сильно связанных компьютеров класса MIMD (Multi Input — Multi Data); они представляют собой симметричные многопроцессорные серверы с общим пространством оперативной памяти. В начале 90-х рынок систем малого и среднего класса захватили компьютеры архитектуры SMP (symmetric multiprocessing), принадлежащие к этому классу. Они разрабатывались в основном производителями рабочих станций. Характеристики SMP-систем сравнимы с показателями больших векторных суперкомпьютеров, исключая разве что пропускную способность оперативной памяти. Соотношение цены и производительности и низкие расходы на обслуживание обеспечили им популярность — фокус рынка постепенно сместился с высокопроизводительных систем высшего класса к более дешевым и массовым моделям.

Тем временем архитектура суперкомпьютеров была перенесена на быстроразвивающиеся персональные машины. Так случилось с сопроцессором (например, Intel 80486), вместе с ним в обычные процессоры “отправились” кэш-память, конвейер и другие атрибуты суперскалярной архитектуры. И, наконец, элементы RISC-архитектуры (процессоров с сокращенным набором команд) и многопроцессорности в большей или меньшей степени нашли применение во всех современных процессорах, начиная с Intel Pentium и AMD K5.

Представителями класса MIMD являются MPP-системы (massively parallel processing), отличающиеся лишь количеством процессоров. Граница между двумя видами проходит где-то на уровне 128 единиц. MPP-системы могут иметь как общую, так и распределенную память. В последнем случае чаще всего они реализуются в виде сети рабочих станций и имеют хорошее соотношение цены и качества. Ярким примером технологии “распределенных суперкомпьютеров” может стать программа “SETI at home”, использующая вычислительные мощности машин, постоянно подсоединенных к Интернету, во время их простоя.

Наверное, самым важным моментом в истории развития суперкомпьютеров стал их выход из спецлабораторий научных и правительственных проектов. Сотни, если не тысячи компаний арендуют сегодня мощности секретных лабораторий Лос-Аламоса для проведения расчетов в своих целях. Компания Ford Motor симулирует на пяти суперкомпьютерах Cray SV1 крэш-тесты, экономя на реальных автомобилях, которые должны быть сплющены о бетонную стену. Просчет процессов в двигателях внутреннего сгорания поможет создать более экономичные и экологичные моторы. Ученые надеются, что использование двигателей нового поколения позволит экономить на топливе более 30 млрд. долларов в год только в США. Volvo имеет собственный суперкомпьютер, разработанный IBM. Компания DuPont разрабатывает новые виды лекарственных препаратов, не прибегая к услугам подопытных животных и других добровольцев. Финансисты с Уолл-стрит в реальном времени обрабатывают огромные массивы финансовых данных. Метеорологи используют мощности суперкомпьютеров для создания более точных прогнозов: теперь определить зону атмосферного явления можно с точностью до 10 км.

Кроме перечисленных задач, суперкомпьютеры применяются для нахождения решений в самых разнообразных сферах человеческой деятельности: криптографии, ядерных и военных исследованиях, вычислительной химии, сейсморазведке, нефте- и газодобыче, проектировании электронных приборов, синтезе новых материалов, визуализации данных и многих других. Из их массы можно выделить три суперкомьютера, которые имеют, наверное, самую интересную историю: Deep Blue от IBM, Onyx Reality от SGI и Deep Crack. Первый является, пожалуй, самым популярным. В феврале 1996 года состоялся шахматный турнир между компьютером IBM RS/6000 SP и чемпионом мира Гарри Каспаровым. Несмотря на огромное преимущество машины в скорости: 60 миллиардов вариантов хода против 500 вариантов Каспарова (теоретически) за три минуты, первая встреча окончилась поражением суперкомпьютера. Но уже в мае 1997 года вооруженный удвоенной мощностью Deep Blue выиграл турнир из 6 партий. Самым известным суперкомпьютером Голливуда является Onyx Reality, созданный SGI. Его 44 процессора использовались для создания спецэффектов к фильмам “Терминатор-2”, “Парк Юрского периода” и “История игрушек”. В 1998 году компьютер Deep Crack, собранный в домашних условиях из 27 плат по 64 процессора каждая, за 56 часов сумел вскрыть 56-битный шифр DES, который использовался многими банками и военными организациями.

Одним из основных постулатов развития компьютерной индустрии является закон Мура, который гласит, что число транзисторов на кристалле микропроцессора удваивается примерно каждые 1,5 года. Прямым следствием этого является и увеличение частоты, так что согласно этому закону каждые полтора года должна возрастать и пиковая производительность процессора. Экстраполируя результаты тестов различных компьютеров (лидеров и аутсайдеров top-500) можно сделать прогноз примерно на 5 лет вперед.

Первая десятка стран-производителей суперкомпьютеров согласно списку top-500

Создатели списка утверждают, что полученные данные вполне отвечают темпам развития, определяемым законом Мура, как сегодня, так и в ближайшем будущем даже при учете результатов теста Linpack, а не пиковой производительности. По их прогнозам первая система, которая перейдет Рубикон ста терафлоп, появится к 2005 году, что на полтора-два года позже, чем это предусмотрено программой Accelerate Strategic Computing Initiative (ASCI) правительства США. Также к 2005 году в списке не останется ни одного компьютера, показавшего результаты ниже 1 терафлоп.

Одним из существенных недостатков списка является узкая специализированность теста Linpack. Этот метод создавался для определения производительности по операциям с плавающей запятой и был актуален для 90-х. Сегодня такое определение не может отражать все разнообразие применений суперкомпьютеров, поэтому в списке нет, например, систем, использующихся для веб-сервисов, веб-программирования, или компьютеров для сбора и обработки данных. Они сконфигурированы для операций, имеющих отдаленное отношение к классическим приложениям суперкомпьютеров, поэтому не могут быть объективно оценены. Стало сложным отличить “настоящий суперкомпьютер” от слабосвязанного компьютерного комплекса, предназначенного для решения одной-единственной задачи и не способного решать другие. И хотя выстроить иерархию современных систем при помощи единственного теста стало по сути невозможно, список top-500 остается одним из самых авторитетных источников в этой области, хотя авторы считают, что подошло время вновь пересмотреть определение суперкомпьютера.

Несмотря на то, что на последней конференции в июне 2001 года присутствовало больше участников, чем когда либо, — около 380, ни ясной картины настоящего рынка суперкомпьютеров, ни более или менее его осмысленного направления в будущем не было представлено. Эксперты отмечают тенденции к интеграции, которые будут актуальны в ближайшем будущем до нового рывка технологий. Сегодня редкая компания может без посторонней помощи выпустить полноценный суперкомпьютер: спроектировать процессор, архитектуру, написать операционную систему. Несмотря на заявления о том, что векторные системы исчерпали свой потенциал, их производители уверенно чувствуют себя на рынке. NEC, например, объявила о своих планах вслед за серией SX-6 выпустить SX-7 и даже SX-8. На нескольких конференциях поднимался вопрос о дальнейшем развитии систем: эксперты указывали на физические пределы дальнейшей миниатюаризации элементов, когда необходимо будет оперировать с половиной электрона, что невозможно.

Поэтому кремниевая технология имеет частотный предел. Арсенид галлия и так называемые “трехмерные” чипы (в которых транзисторы располагаются не на плоскости, а равномерно распределены по объему микросхемы) позволяют создавать более высокочастотные устройства, вплоть до нескольких десятков гигагерц. Но подобные технологии еще далеки от той стадии, когда их применение станет экономически оправдано, несмотря на уверения производителей. А к пределу возможностей кремниевой пластины инженеры подошли уже сегодня. К тому же память, системная шина и жесткие диски не удваивают свое быстродействие каждые 18 месяцев.

Скорость передачи данных по сетям тоже неуклонно увеличивается и достигает уже гигабит в секунду, однако и она ограничена. Т. е. время ожидания будет иметь конечную величину, за которую сигнал будет проходить от источника к приемнику. На подобные предупреждения пока еще можно закрывать глаза, но вот экстенсивный рост производительности современных суперкомпьютеров заставляет призадуматься: несмотря на все старания разработчиков, размеры систем увеличиваются пропорционально мощности.

В заголовках новостей указываются теперь не только терафлопы, но и квадратные метры: “пять футбольных полей”, “несколько баскетбольных залов” и т. п. Большинство специалистов считает, что следующим этапом развития вычислительной техники станет появление квантовых компьютеров — в отдаленном будущем. В основе их работы лежит принцип квантового взаимодействия частиц, который позволит существенно увеличить скорость обработки растущих массивов данных. Уже несколько исследовательских групп объявили о том, что они вплотную приблизились к созданию квантовых компьютеров.

Пока же мы видим, что суперкомпьютеры за 25 лет своего существования перестали быть штучным товаром. Это огромный рынок, поделенный между достаточно большим количеством участников, чтобы быть конкурентным и динамичным. Тем более, что сейчас высокопроизводительные системы могут создаваться на той же элементной базе, что и настольные станции. Как следствие, они дешевеют и все чаще привлекаются как инструмент не только научных исследований, но и решения практических задач в промышленности.