Проблема охлаждения центров хранения и обработки данных (ЦОД) является критически важной не только для нашей страны в контексте текущих на фоне торговых ограничений, но и для IT-сектора экономики во всем мире. Ведь ежегодные общемировые затраты на это составляют около 10 млрд долларов.
Системами охлаждения ЦОД потребляют в среднем более 100 гигаватт-часов за квартал. Очевидно, что любое ноу-хау в данной области, сокращающее такие гигантские капитальные и операционные затраты, должно быть позитивно воспринято IT-отраслью. Подобная разработка была недавно внедрена в дата-центре российской Группы компаний «Комплексные Системы» сейчас и успешно проходит период опытной эксплуатации.
Заурядный уникальный объект
Некоторое время назад в специализированных изданиях промелькнула информация, что ГК «Комплексные Системы» в Москве завершила монтаж корпоративного дата-центра класса TIER III. Разумеется, это сообщение не вызвало у специалистов большого интереса: в последние годы только ленивый не строил ЦОД такого класса.
На первый взгляд этот объект в столичном Тушино выглядит достаточно заурядным. Всего до 500 кВт установленной мощности IT-оборудования и лишь 41 серверная стойка. На фоне таких монстров, как дата-центры Ростелекома или МТС, казалось бы, и говорить тут не о чем. Однако по количеству инноваций «ЦОД-малыш» с полным правом может считаться техническим гигантом. Его опытная эксплуатация наглядно показала ряд существенных преимуществ перед «конкурентами».
«Идея строительства собственного корпоративного дата-центра была далеко не спонтанной. На протяжении нескольких лет IT-службы холдинга эксплуатировали достаточно большой серверный парк на арендованных площадках как в России, так и в некоторых странах западной Европы. По мере роста количества и усложнения решаемых задач менеджмент компании пришел к выводу, что для повышения надежности и снижения издержек информационные системы должны быть консолидированы как технологически, так и территориально. Очевидное решение такой задачи — собственный дата-центр», — рассказали «Эксперту» в ГК «Комплексные системы».
По ряду известных объективных причин традиционно архитектура и оснащение центров обработки данных формируются на основе рекомендаций и директив американских частных и государственных организаций. В связи с текущей геополитической обстановкой, а также в силу чисто экономических причин вопрос доверия к подобным нормативам должен рассматриваться с пристрастием.
Первым делом специалисты ГК «Комплексные Системы» изучили и отвергли известные постулаты американского сертификационного центра Uptime Institute, что «недопустимо использовать для определения рейтинга TIER значение коэффициента готовности», а, собственно, сам TIER-рейтинг дает объективную оценку «степени безотказности работы объекта». Вместо расшифровки этой терминологической абракадабры проектная группа в рамках классической теории надежности разработала вероятностную модель отказа ЦОД, как гетерогенного человеко-машинного комплекса и провела серию численных экспериментов, синтезировав оптимальную структуру дата-центра при заданном коэффициенте готовности (0,999) и минимальных капитальных затратах.
«В некоторых дискуссионных статьях о корреляции уровня TIER и коэффициента готовности указывают до 5 значащих разрядов. Разумеется, что получить исходные данные и провести соответствующий расчет с такой точностью невозможно, а для сугубо вероятностного параметра с выраженной диффузностью и ненужно», — пояснили в «Комплексных Системах».
На последующих этапах реализации проекта было установлено, что переход от формального исполнения рекомендаций Uptime Institute к строгому математическому анализу и синтезу функциональных структур в части надежности и готовности позволил снизить сметную стоимость объекта на 38%. В качестве еще одной прорывной новации, реализованной в дата-центре «Комплексных Систем», разработчики выделили систему охлаждения IT-оборудования.
«Известно, что в стандартных системах технологического кондиционирования ЦОД каждый четвертый киловатт в энергобалансе расходуется не по прямому назначению (на энергоснабжение IT-оборудования), а лишь поддерживает работу механических холодильных агрегатов. Современный уровень цен на электроэнергию не позволяет проигнорировать такую весомую часть операционных затрат. В рамках изыскательских работ проектная группа провела комплексное исследование этой прикладной термодинамической задачи и рекомендовала к внедрению в корпоративном дата-центре совершенно новую и очень перспективную технологию охлаждения», — констатировали в компании.
ASHRAE побоку
В последние годы практически все продукты в IT-отрасли в части рабочих температурных режимов проектируются, производятся и эксплуатируются по тем нормам, которые определяет Директива комитета по стандартизации ASHRAE (США). Казалось бы, эта Директива в своих последних актуальных редакциях должна была бы снять все вопросы о путях оптимизации процесса охлаждения серверного оборудования. Но этого не произошло.
Дело в том, что в основание термодинамической модели, принятой комитетом ASHRAE в качестве рабочей, положен унаследованный, вероятно, еще со времен Попова и Маркони процесс теплопереноса воздухом при достаточной высокой и строго нормируемой относительной влажности. Следствием такого решения стало то, что прогресс в части производительности и энергоэффективности «классических» воздушных систем охлаждения дата-центров остановился перед теоретически непреодолимым теплофизическим барьером.
Такую странную «революционную ситуацию», когда все «хотят», но никто «не может», технически передовая IT-отрасль с миллиардными бюджетами долго терпеть не могла. Часть компаний, преимущественно ориентированные на высокопроизводительные вычислительные системы, переориентировалась на жидкостные системы охлаждения. Другие решили остаться в парадигме воздушного охлаждения, но за счет полного отказа от унаследованных систем и радикального изменения компоновки серверного оборудования (международный технический проект Open Compute Project).
Оба направления предполагают полное обновление серверного парка, что было совершенно неприемлемо для нового московского дата-центра. Решение проблемы было найдено в разработках московской независимой исследовательской лаборатории MultiCooling Lab.
«Технология охлаждения электронного оборудования MultiCooling была разработана на альтернативной расширенной модели теплопереноса, где вместо нормирования относительной влажности для нейтрализации электростатических разрядов был применен метод прямой деионизации, осуществляемой через управляемую эмиссию аэрокатионов в поток охлаждающего воздуха. Подробности об этой разработке можно найти на сайте лаборатории. В данном контексте важно упомянуть тот факт, что за 12 месяцев опытной эксплуатации презентуемого дата-центра в режиме круглогодичного прямого охлаждения (Year-Round Direct Freeсooling) серверы в стандартной заводской конфигурации от компаний Dell, HP и SuperMicro продемонстрировали полную совместимость с технологией MultiCooling», — подчеркнули в ГК «Комплексные Системы»
По известным причинам с мая этого года параллельно началось аналогичное тестирование для серверов на базе отечественных процессоров «Эльбрус». За самые жаркие недели лета 2022 года, по утверждению специалистов «Комплексных Систем», никаких отклонений в работе контрольной партии этого серверного оборудования не выявлено. Таким образом, есть основания полагать, что и далее в более комфортных температурных режимах осени, зимы и весны, «Эльбрусы» отработают на отлично.
В качестве «вишенки на торте» имеет смысл упомянуть еще об одном достижении ГК «Комплексные Системы». В IT-отрасли для оценки энергоэффективности ЦОД используется показатель PUE (Power Utilization Efficiency). Он определяется как соотношение полной электрической энергии, потребляемой центром обработки данных, к той энергии, которая расходуется непосредственно серверным оборудованием. Для дата-центра компании после завершения комплектации объекта и смежного технопарка этот параметр был оценен в 0,85. Это парадоксально высокий показатель. Дело в том, что нагретый воздух из горячего коридора машинных залов не сбрасывается в атмосферу, а отправляется для отопления смежных производственных помещений.
Подводя итог, следует отметить, что последние годы стали для IT-отрасли реальным испытанием на зрелость. Торговые войны между США и КНР, шок от ковидных локдаунов, а для России — еще и санкционное цунами после начала специальной военной операции на Украине, высветили очень неприглядный факт: сапожник оказался без сапог.
Сектор мировой экономики, призванный управлять информацией, во многом оказался не слишком готов спрогнозировать свое собственное будущее и предпринять упреждающие шаги для парирования надвигающихся угроз. Тем больший интерес представляет опыт тех компаний, которые не только своевременно подготовили к началу кризисного периода организационную и финансовую подушки безопасности, но и продолжают реализацию инновационной технической политики, направленной на развитие бизнеса.
При этом здесь стоит вспомнить слова гения эпохи Возрождения и великого новатора Леонардо да Винчи, указывавшего, что «практика всегда должна быть основана на хорошем знании теории». Разработки ГК «Комплексные Системы» в части охлаждения дата-центров наглядно иллюстрируют этот тезис, давая надежду на скорый ренессанс технологического суверенитета нашей страны.
