Последние обновления Altair Accelerator, самого быстрого в отрасли планировщика заданий для предприятий

Altair — это широкая компания, которая поставляет критически важные технологии во многих дисциплинах, которые знакомы читателям SemiWiki. Согласно сайту компании «Альтаир» поставляет решения с открытой архитектурой для анализа данных и искусственного интеллекта, автоматизированного проектирования и высокопроизводительных вычислений (HPC). Вы можете узнать больше о проектах Альтаира описано на SemiWiki здесь. Планирование заданий на уровне предприятия — один из примеров критически важной технологии, которую предлагает Altair. Тема этой статьи — недавние существенные улучшения продукта. Читайте дальше, чтобы узнать о последних обновлениях Altair Accelerator, самого быстрого в отрасли планировщика заданий предприятия.

Accelerator — это высокопроизводительный планировщик заданий корпоративного уровня. Его применение ориентировано на сложную конструкцию полупроводников. Архитектура является гибкой и может поддерживать различные инфраструктуры: от небольших ферм выделенных серверов до сложных распределенных высокопроизводительных кластерных сред.

Подобный инструмент необходим проектировщикам, чтобы обеспечить быстрое планирование и управление ресурсами для задач проектирования, включая использование ЦП, памяти и лицензий EDA. Поскольку вычислительные инфраструктуры становятся все более сложными и распределенными, также растет потребность в управлении ресурсами для поддержания высокой пропускной способности при одновременном управлении общими затратами. С точки зрения управления, ежедневно можно планировать и расставлять приоритеты для многих тысяч задач — для успешной работы в такой среде необходим инструмент с высокой видимостью и низкой задержкой.

В этом году был добавлен собственный интерфейс Kafka для улучшения визуализации широкого спектра информации, касающейся пакетного планирования для Accelerator. Сбор подобной информации крайне сложен и дорог, поэтому данное улучшение является значительным. Apache Kafka — это инструмент с открытым исходным кодом для обработки нескольких источников потоковых данных в режиме реального времени. Kafka довольно популярен: его используют более 80% всех компаний из списка Fortune 100.

Мониторинг высокопроизводительной пакетной системы может быть затруднен. Большинство подходов обычно замедляют работу системы из-за задач отчетности, которые конкурируют с задачами обработки заданий.

Ситуация усложняется, когда потребителей отслеживаемых данных несколько. Замедление частоты обновления данных монитора может помочь, но тогда информация не будет точной и не будет отображаться в режиме реального времени.

Такая система, как Kafka, помогает, поддерживая множество потребителей. Данные публикуются один раз, но многие потребители могут прочитать сообщение, поэтому в пакетной системе возникает только одна дополнительная нагрузка вместо многих. Для нескольких кластеров можно настроить несколько пакетных систем, которые публикуют данные в одном экземпляре Kafka.

Частота публикации данных требует осторожности даже в таких условиях. Как часто система должна публиковать данные и как данные извлекаются из пакетной системы? Важно понимать, насколько быстро все меняется в пакетной системе. Например, ускоритель Альтаир может отправлять несколько сотен заданий в секунду, и каждая диспетчеризация может изменить состояние 20–30 метрик. Это огромный объем данных только для некоторых базовых измерений.

Благодаря своей внутренней системе метрик Accelerator накапливает данные за короткий промежуток времени — около 10 секунд. Хотя при этом теряется разрешение на уровне отдельного цикла диспетчеризации, полученные данные часто более полезны из-за высокой разницы между итерациями цикла диспетчеризации. Даже при таком накоплении все равно остаются накладные расходы на получение данных из внутреннего цикла. Альтаир решил напрямую закодировать процедуры публикации Kafka в ядре пакетной системы для снижения накладных расходов.

Результаты усовершенствований ускорителя Альтаир значительны. Вы можете получить дополнительную информацию и примеры отчетов можно найти здесь.. Вы также можете посмотреть короткометражку демонстрация новой панели управления Акселератора здесь. Есть также прекрасные примеры улучшенные потоки данных, которые теперь возможны в новой версии здесь. Эта информация поможет вам узнать о последних обновлениях Altair Accelerator, самого быстрого в отрасли планировщика заданий предприятия.

Поделитесь этим постом через: Источник: https://semiwiki.com/eda/altair/304169-latest-updates-to-altair-accelerator-the-industrys-fastest-enterprise-job-scheduler/