Ядро системы — микросхема Е8870 (SNC, Scalable Node Controller), отвечающая за связь процессоров с остальными компонентами системы. Микросхема SNC оснащена 6,4-Гбайт/с процессорной шиной и позволяет подключить до четырех процессоров Itanium 2 на общей шине. Кроме процессорной шины микросхема SNC оснащена четырьмя интерфейсами для подключения контроллеров памяти. Пропускная способность каждого интерфейса — 1,6 Гбайт/с, соответственно суммарное значение для всех четырех шин 6,4 Гбайт/с, т. е. равно пропускной способности процессорной шины. Функции контроллеров памяти выполняют микросхемы E8870DH (DMH, DDR Memory Hub), каждая из них контролирует два канала памяти DDR. Максимальное количество модулей памяти, подключаемых к DMH, — восемь, соответственно всего к микросхеме SNC через четыре контроллера DMH может быть подключено 32 модуля, что при использовании 2-Гбайт модулей составит 64 Гбайт. Применение контроллеров DMH, помимо высокого уровня масштабируемости ОЗУ, позволяет значительно сократить задержки при работе с большими объемами памяти, благодаря наличию четырех независимых каналов.
В набор интерфейсов микросхемы SNC входят также два порта SP (Scalability Port) — двунаправленные интерфейсы, пропускная способность которых в каждом направлении 3,2 Гбайт/с, суммарная для двух двунаправленных портов SP — 12,8 Гбайт/с. Используются эти порты для подключения микросхем Е8870IО (SIOH, Server Input/Output Hub), к каждому порту SP может быть подключена одна такая микросхема. Задача узла ввода-вывода SIOH — обеспечить подключение оставшихся двух компонентов набора микросхем — контроллеров Р64Н2 и ICH4 (подробно описанным выше). Микросхема SIOH оснащена четырьмя интерфейсами Hub Interface 2.0 и одним — Hub Interface 1.5, и к ней может быть подключено до четырех контроллеров Р64Н2 и один ICH4. Теоретически каждый контроллер SNC может быть соединен с двумя узлами ввода-вывода, что позволяет оснастить систему на НМС Е8870 шестнадцатью каналами PCI-X.
Таким образом, состоящий из пяти компонентов НМС Е8870 можно логически разделить на две части: систему взаимодействия ЦП и ОЗУ и систему ввода-вывода. Как было показано выше, обе они отличаются высокой степенью масштабируемости, а в подсистему ввода-вывода, благодаря универсальным интерфейсам Hub Interface, входят контроллеры, применяемые и в НМС для менее мощных систем.
HP zxl. Компания Hewlett-Packard — основной партнер Intel в области разработки 64-бит процессоров Itanium и один из крупнейших поставщиков серверов высокого уровня, построенных на базе этого процессора. Инженеры HP разработали два фирменных набора микросхем, предназначенных для этого ЦП.
Наиболее распространен НМС zxl, предназначенный для построения двух- или четырехпроцессорных систем (о наборе sxlOOO, разработанном для создания систем с числом ЦП до 128, будет рассказано ниже).
Базовая комплектация zxl состоит всего из двух микросхем — zxl MIO (Memory & Input/Output Controller, контроллер памяти) и zxl IOA (Input/Output Adapter, контроллер ввода-вывода). Контроллер памяти zxl MIO оснащен 6,4-Гбайт/с процессорной шиной и позволяет использовать два или четыре процессора Itanium 2 на общей шине. В микросхеме zxl IOA предусмотрены контроллеры шин PCI и PCI-X, интерфейсы AGP и АТА. К центральной микросхеме zxl MIO может быть подключено до восьми контроллеров ввода-вывода, суммарная пропускная способность каналов, соединяющих их с zxl MIO, 4 Гбайт/с.
Память подключается к zxl MIO либо напрямую (имеется контроллер памяти DDR266), либо через микросхемы zxl SME (Scalable Memory Expander, масштабируемый интерфейс памяти). К двум 6,4-Гбайт/с интерфейсам может быть подключено до двенадцати микросхем zxl SME, максимальный объем ОЗУ 96 Гбайт.
Более четырех процессоров, коммутируемые системы
Opteron
AMD 8000. Архитектура набора микросхем AMD 8000, состоящего «всего» из трех компонентов, но позволяющего создавать вычислительные системы с количеством процессоров от одного до восьми, весьма необычна. Объясняется это тем, что, в отличие от большинства распространенных серверных ЦП, процессоры Opteron имеют встроенные средства для создания многопроцессорных систем. Каждый ЦП Opteron может иметь до трех встроенных контроллеров шипы HyperTransport, с помощью которых он напрямую подключается к другим процессорам. Контроллер памяти и коммутатор также встроены непосредственно в процессорное ядро, и с некоторой долей условности можно сказать, что для создания симметричной многопроцессорной системы с процессорами Opteron вовсе не нужны дополнительные микросхемы (подробнее см. «Процессоры»). Тем не менее это, разумеется, не так: последние необходимы для организации подсистемы ввода-вывода.
Как отмечалось выше, набор микросхем AMD 8000 состоит из трех компонентов. В качестве основной связующей шины применяется интерфейс HyperTransport, а две микросхемы из трех — AMD 8151 и AMD 8131 — представляют собой HyperTransport-туннели. Первая микросхема, AMD 8151, выполняет функции AGP-контроллера, помимо двух интерфейсов HyperTransport (16x16, 6,4 Гбайт/с) она оснащена интерфейсом AGP 8Х для подключения высокопроизводительных графических адаптеров. Однако необходимо отметить, что в системных платах для серверов она, как правило, не используется, а применяется при построении мощных рабочих станций. Вторая микросхема, AMD 8131, также HyperTransport-туннель, но несимметричный: один из двух интерфейсов HyperTransport, которыми оснащена AMD 8131, имеет меньшую ширину, тактовую частоту и соответственно пропускную способность — 800 Мбайт/с. Помимо интерфейсов HyperTransport, AMD 8131 оснащена двухканальным контроллером 64-бит 133-МГц шины PCI-X. Недавно компания AMD представила обновленную версию этой микросхемы — AMD 8132. У нее более высокопроизводительный интерфейс 1-ГГц HyperTransport (16x16, 8 Гбайт/с) и усовершенствованный PCI-X-контроллер, который может работать на частоте до 266 МГц.
Третья микросхема, AMD 8111, играет роль «южного моста» и отвечает за работу шины PCI, интерфейсов USB, ATA, портов 10/100-Мбит/с Ethernet, имеет только один контроллер HyperTransport с пропускной способностью 800 Мбайт/с и не может быть подключена к ЦП напрямую, а только через микросхему AMD 8131.
Itanium
Intel E887OSP. Модульная архитектура набора микросхем Е8870, о котором подробно рассказано выше, позволяет использовать его компоненты для создания более сложных — восьмипроцессорных серверных систем. Однако для получения симметричной многопроцессорной системы (SMP) невозможно просто соединить с помощью портов SP две микросхемы SNC — в этом случае микросхемам SNC придется решать задачи управления потоками данных, направленных к локальным и удаленным вычислительным ресурсам. Очевидно, что эти механизмы не были реализованы в НМС Е8870, предназначенном для более простых систем.
Решением этой проблемы стал дополнительный коммутатор E8870SP (SPS, Scalability Port Switch). Эта микросхема оснащена четырьмя 6,4-Гбайт/с двунаправленными интерфейсами SP и применяется для объединения двух НМС Е8870 в одну восьмипроцессорную систему. Точнее, для организации симметричного восьмипроцессорного НМС требуется два таких коммутатора.
Микросхема SPS выполняет две основные функции — перенаправляет потоки данных к «строительным блокам» набора микросхем и от них, а также обеспечивает когерентность памяти. Микросхема оснащена специальными высокоскоростными внутренними шинами (bypass busses), которые позволяют критичным для поддержания когерентности ОЗУ данным вне очереди достигать контроллеров памяти SNC. На рисунке изображена схема каналов данных в наборе микросхем E887OSP. Видно, что для каждого SNC контроллеры Р64Н2 логически равноудалены, вследствие чего обращение к любому из них для SNC происходит одинаковым образом.
Параметры НМС E8870SP — это по сути удвоенные характеристики набора Е8870 — к «каждому SNC по 400-МГц системной шине с пропускной способностью 6,4 Гбайт/с подключается по четыре процессора Intel Itanium 2. Общее количество контроллеров памяти DMH в системе восемь, что позволяет довести максимальный объем ОЗУ до 248 Гбайт! Вдвое (до восьми) по сравнению с Е8870 увеличено и максимальное число контроллеров Р64Н2, каждый из которых обеспечивает работу двух каналов PCI-X.
Как и в случае с Е8870, набор микросхем E887OSP можно логически разделить на две части: вычислительную подсистему и подсистему ввода-вывода. Суммарная пропускная способность каналов данных, соединяющих две эти подсистемы, достигает 25,6 Гбайт/с.
IBM Summit (XA-32, XA-64). IBM Summit — это фирменное название не одного, а двух наборов микросхем: ХА-32 и ХА-64, предназначенных для 32-бит процессоров Intel Xeon и 64-бит Itanium. Однако у этих НМС практически одинаковая архитектура.
В самый простой вариант Summit (НМС ХА-32 для четырехпроцессорных систем) входит две микросхемы: контроллер памяти, имеющий два канала для подключения памяти и два — для связи с мостами ввода-вывода. К последним могут быть подключены адаптеры PCI-X (64-бит, 133 МГц) или универсальный контроллер ввода-вывода, содержащий коммуникационные средства (1-Гбит/с Ethernet), дисковые интерфейсы (Ultral60 SCSI) и пр.
Расширенный вариант НМС (ХА-32 и ХА-64 для серверов с более чем 4 процессорами) позволяет создавать более сложные системы — в него входит контроллер шины расширения и кэша L4. Этот контроллер оснащен тремя портами для связи с другими модулями (комплект контроллеров, обслуживающих ОЗУ и до четырех ЦП, называется в терминологии IBM «SMP expansion module»), суммарная пропускная способность этих портов 3,2 Гбайт/с. Системы на основе НМС Summit масштабируются увеличением количества модулей расширения.
Наиболее интересное техническое решение, реализованное в НМС IBM Summit, — наличие встроенного в набор контроллера кэш-памяти L4. Контроллер кэша L4 самостоятельно (без участия ЦП) помещает данные из ОЗУ в более быстрый буфер, в который и перенаправляются запросы от процессора к памяти. В случае верного предсказания это заметно ускоряет обмен данными ЦП с ОЗУ, что важно для Intel-систем, использующих общую процессорную шину.
HP sx1000. Этот НМС позволяет создавать системы самого разного уровня — от 4 до 128 процессоров. Он предлагает такие функции, как RAS и управление когерентностью кэшей.
В основе НМС sxl000 лежит использование так называемых процессорных ячеек (socket cell), каждая из которых содержит набор шин для подключения четырех ЦП Itanium 2 или РА-8700/8800, четырех контроллеров памяти (максимальное количество модулей памяти, используемых одной ячейкой, 32, предельный объем памяти 64 Гбайт) и шестнадцатиканального контроллера шины PCI-X. Примечательно, что, в отличие от НМС предыдущего поколения, Yosernite, процессорная ячейка строится не по топологии «точка—точка», а по схеме с двумя общими шинами — по два ЦП на каждой. Процессорные ячейки соединяются напрямую (восьмипроцессорная система) или через крестовой коммутатор (crossbar switch). Использование коммутатора позволяет масштабировать НМС (до 16 процессорных ячеек), сохраняя симметричность системы.
Список литературы
Журнал Upgrade4_08_05