Ласкаво просимо в еру даних. Величезний обсяг даних, які збираються щодня, продовжує зростати, що вимагає розвитку платформ і рішень. Такі послуги, як Служба простого зберігання Amazon (Amazon S3) пропонують масштабоване рішення, яке адаптується, але залишається економічно ефективним для збільшення наборів даних. The Amazon Sustainability Data Initiative (ASDI) використовує можливості Amazon S3, щоб надати вам безкоштовне рішення для зберігання та обміну робочими навантаженнями з питань клімату по всьому світу. Програма спонсорства відкритих даних Amazon дозволяє організаціям безкоштовно розміщувати на AWS.
За останнє десятиліття ми спостерігали сплеск фреймворків науки про дані, які принесли свої плоди, а також масове прийняття спільнотою наукових даних. Однією з таких рамок є Панель приладів, потужний завдяки своїй здатності забезпечувати оркестровку робочих обчислювальних вузлів, тим самим прискорюючи комплексний аналіз великих наборів даних.
У цій публікації ми покажемо вам, як розгорнути кастомний Набір хмарних розробок AWS (AWS CDK), яке розширює функціональність Dask для міжрегіональної роботи в глобальній мережі Amazon. Рішення AWS CDK розгортає мережу працівників Dask у двох регіонах AWS, підключаючись до клієнтського регіону. Для отримання додаткової інформації див Інструкції щодо розподілених обчислень із міжрегіональними дасками на AWS і GitHub репо для відкритого коду.
Після розгортання користувач матиме доступ до блокнота Jupyter, де він зможе взаємодіяти з двома наборами даних з ASDI на AWS: Проект взаємопорівняння сумісної моделі 6 (CMIP6) та Повторний аналіз ECMWF ERA5. CMIP6 зосереджується на шостій фазі сукупності глобальної пов’язаної моделі загальної циркуляції океану й атмосфери; ERA5 — це п’яте покоління повторного аналізу атмосфери глобального клімату ECMWF і перший повторний аналіз, створений як оперативна послуга.
На це рішення надихнула робота з ключовим клієнтом AWS, the Управління Великобританії. Метеорологічна служба була заснована в 1854 році і є національною метеорологічною службою Великобританії. Вони надають прогноз погоди та клімату, щоб допомогти вам прийняти кращі рішення, щоб залишатися в безпеці та процвітати. Співпраця між Метеорологічним бюро та EUMETSAT, детально описана в Приблизне обчислення даних у кластері Dask, розподіленому між центрами обробки даних, підкреслює зростаючу потребу в розробці сталого, ефективного та масштабованого рішення для обробки даних. Це рішення досягає цього, наближаючи обчислення до даних, а не змушуючи дані наближатися до обчислювальних ресурсів, що збільшує вартість, затримку та енергію.
Огляд рішення
Щодня Метеорологічний офіс Великобританії створює до 300 ТБ даних про погоду та клімат, частина яких публікується в ASDI. Ці набори даних розповсюджуються по всьому світу та розміщені для загального користування. Метеорологічне бюро хоче надати споживачам можливість використовувати більше своїх даних для прийняття важливих рішень щодо вирішення таких питань, як краща підготовка до лісових пожеж і повеней, спричинених зміною клімату, а також зменшення продовольчої безпеки завдяки кращому аналізу врожайності.
Традиційні рішення, які використовуються сьогодні, особливо з кліматичними даними, займають багато часу та є нестабільними, оскільки набори даних копіюються між регіонами. Непотрібна передача даних у масштабі петабайт є дорогою, повільною та споживає енергію.
За нашими підрахунками, якби цю практику застосували користувачі Метеорологічної служби, можна було б щодня економити електроенергію, еквівалентну щоденному споживанню електроенергії в 40 будинках, а також зменшити передачу даних між регіонами.
Наступна діаграма ілюструє архітектуру рішення.
Рішення можна розділити на три основні сегменти: клієнт, працівники та мережа. Давайте зануримося в кожен і подивимося, як вони поєднуються.
Клієнт
Клієнт представляє вихідний регіон, до якого підключаються дослідники даних. Ця область (область A на схемі) містить Блокнот Amazon SageMaker, Служба Amazon OpenSearch домен і a Планувальник Dask як ключові компоненти. Системні адміністратори мають доступ до вбудованої інформаційної панелі Dask, відкритий за допомогою Балансир еластичного навантаження.
Науковці даних мають доступ до блокноту Jupyter, розміщеного на SageMaker. Ноутбук може підключатися та запускати робочі навантаження на планувальник Dask. Домен служби OpenSearch зберігає метадані в наборах даних, підключених до регіонів. Користувачі ноутбуків можуть запитувати цю службу, щоб отримати такі деталі, як правильний регіон працівників Dask, без необхідності попередньо знати регіональне розташування даних.
Працівник
Кожен із робочих регіонів (регіони B і C на діаграмі) складається з Служба еластичних контейнерів Amazon (Amazon ECS) кластер Даскники, Amazon FSx для Luster файлова система, а також автономна Обчислювальна хмара Amazon Elastic (Amazon EC2). FSx для Luster дозволяє працівникам Dask отримувати доступ і обробляти дані Amazon S3 із високопродуктивної файлової системи, зв’язуючи ваші файлові системи з сегментами S3. Він забезпечує затримки до мілісекунд, пропускну здатність до сотень ГБ/с і мільйони IOPS. Ключовою особливістю Luster є те, що синхронізуються лише метадані файлової системи. Lustre керує балансом файлів, які потрібно завантажити та зберігати в теплі, залежно від потреби.
Робочі кластери масштабуються залежно від використання центрального процесора, надають додаткові робочі місця в тривалі періоди потреби та зменшують, коли ресурси перестають використовуватися.
Кожної ночі о 0:00 UTC завдання синхронізації даних спонукає файлову систему Lustre повторно синхронізуватися з прикріпленим сегментом S3 і отримує оновлений каталог метаданих сегмента. Згодом окремий екземпляр EC2 надсилає ці оновлення до служби OpenSearch відповідно до індексу регіону. Служба OpenSearch надає клієнту необхідну інформацію про те, який пул робітників слід викликати для певного набору даних.
мережу
Мережа становить суть цього рішення, використовуючи внутрішню магістральну мережу Amazon. З допомогою Транзитний шлюз AWS, ми можемо з’єднати кожен із Регіонів один з одним без необхідності проходити через загальнодоступний Інтернет. Кожен із працівників може динамічно підключатися до планувальника Dask, що дозволяє дослідникам обробки даних виконувати міжрегіональні запити через Dask.
Передумови
Пакет AWS CDK використовує мову програмування TypeScript. Виконайте кроки в Початок роботи з AWS CDK щоб налаштувати ваше локальне середовище та завантажити обліковий запис розробки (вам потрібно буде запустити всі регіони, указані в GitHub репо).
Для успішного розгортання вам знадобиться Докер встановлено і працює на вашій локальній машині.
Розгорніть пакет AWS CDK
Розгортання пакета AWS CDK є простим. Після того, як ви встановите необхідні умови та завантажите обліковий запис, ви можете продовжити завантаження бази коду.
- Завантажити GitHub сховище:
- Встановити вузлові модулі:
- Розгорніть AWS CDK:
Розгортання стека може зайняти більше півтори години.
Проходження коду
У цьому розділі ми перевіряємо деякі з ключових функцій бази коду. Якщо ви бажаєте перевірити повну кодову базу, зверніться до GitHub сховище.
Налаштуйте та налаштуйте свій стек
У файлі bin/variables.ts, ви знайдете дві декларації змінних: одну для клієнта та одну для робочих. Оголошення клієнта - це словник із посиланням на регіон і діапазон CIDR. Налаштування цих змінних змінить регіон і діапазон CIDR, де розгортатимуться клієнтські ресурси.
Робоча змінна копіює ту саму функціональність; однак це список словників для додавання або віднімання наборів даних, які користувач хоче включити. Крім того, кожен словник містить додані поля dataset
та lustreFileSystemPath
. Набір даних використовується для вказівки з’єднувального S3 URI для підключення Luster. The lustreFileSystemPath
змінна використовується як відображення того, як користувач хоче локально відобразити цей набір даних у робочій файловій системі. Перегляньте наступний код:
Динамічно публікувати IP планувальника
Завданням, притаманним міжрегіональному характеру цього проекту, було підтримання динамічного зв’язку між працівниками Dask і планувальником. Як ми можемо опублікувати IP-адресу, яка може змінюватися, у регіонах AWS? Ми змогли досягти цього завдяки використанню Хмарна карта AWS та associate-vpc-with-hosted-zone. Резюме служби дозволяє AWS приватно керувати цим простором імен DNS. Перегляньте наступний код:
Інтерфейс блокнота Jupyter
Ноутбук Jupyter, розміщений на SageMaker, надає вченим готове середовище для розгортання, щоб легко підключатися та експериментувати із завантаженими наборами даних. Ми використовували a скрипт конфігурації життєвого циклу щоб надати ноутбуку попередньо налаштоване середовище розробника та базовий код прикладу. Перегляньте наступний код:
Робочі вузли Dask
Коли справа доходить до робітників Dask, надається більше можливостей налаштування, зокрема щодо типу екземпляра, потоків на контейнер і нагадувань про масштабування. За замовчуванням робочі параметри в екземплярі типу m5d.4xlarge підключаються до файлової системи Lustre під час запуску та динамічно розподіляють робочі процеси та потоки на порти. Все це можна налаштувати за бажанням. Перегляньте наступний код:
продуктивність
Щоб оцінити ефективність, ми використовуємо вибіркове обчислення та графік температури повітря на відстані 2 метри на основі різниці між прогнозом CMIP6 за місяць і середньою температурою повітря ERA5 за 10 років. Ми встановлюємо орієнтир із двома працівниками в кожному регіоні та оцінюємо різницю у скороченні часу, коли додаються додаткові працівники. Теоретично, у міру масштабування рішення повинна існувати продуктивна матеріальна різниця в скороченні загального часу.
У наступній таблиці підсумовано деталі нашого набору даних.
Набір даних | Змінні | Розмір диска | Розмір набору даних Xarray | область |
ERA5 | 2011–2020 (120 файлів netcdf) | 53.5GB | 364.1 GB | ми-схід-1 |
CMIP6 | 1.13GB | 0.11 GB | нас-захід-2 |
У наведеній нижче таблиці показано зібрані результати, демонструючи час (у секундах) для кожного обчислення та передбачення на трьох етапах обчислення передбачення CMIP6, ERA5 та різниці.
. | . | Кількість робітників | |||
обчислення | область | 2(CMIP) + 2(ERA) | 2(CMIP) + 4(ERA) | 2(CMIP) + 8(ERA) |
2 (CMIP) + 12(ERA) |
CMIP6 (predicted_tas_regridded ) |
нас-захід-2 | 11.8 | 11.5 | 11.2 | 11.6 |
ERA5 (historic_temp_regridded ) |
ми-схід-1 | 1512 | 711 | 427 | 202 |
Різниця (propogated pool ) |
us-west-2 і us-east-1 | 1527 | 906 | 469 | 251 |
Наступний графік візуалізує ефективність і масштаб.
Під час нашого експерименту ми спостерігали лінійне покращення обчислень для набору даних ERA5 зі збільшенням кількості працівників. Зі збільшенням кількості робітників час обчислень часом скорочувався вдвічі.
Блокнот Юпітера
У рамках запуску рішення ми розгортаємо попередньо налаштований ноутбук Jupyter, щоб допомогти протестувати міжрегіональне рішення Dask. Блокнот демонструє усунення турботи про необхідність знати регіональне розташування наборів даних, замість того, щоб запитувати каталог через низку блокнотів Jupyter, що працюють у фоновому режимі.
Щоб почати, дотримуйтесь інструкцій у цьому розділі.
Код для зошитів можна знайти в lib/SagemakerCode
з основним ноутбуком ux_notebook.ipynb
. Цей блокнот звертається до інших блокнотів, запускаючи допоміжні сценарії. ux_notebook
призначений для того, щоб стати точкою входу для науковців, без необхідності йти кудись інше.
Щоб почати, відкрийте цей блокнот у SageMaker після того, як розгорнете AWS CDK. AWS CDK створює екземпляр блокнота з усіма файлами в сховищі, завантаженими та резервними копіями в Комісія AWS сховище
Щоб запустити програму, відкрийте та запустіть першу клітинку ux_notebook
. Ця клітина керує get_variables
блокнот у фоновому режимі, який запропонує вам ввести дані, які ви хочете вибрати. Ми наводимо приклад; однак зауважте, що запитання з’являться лише після вибору попереднього параметра. Це зроблено навмисно, щоб обмежити вибір у розкривному списку, і його можна налаштувати шляхом редагування get_variables
зошит.
Попередній код зберігає змінні глобально, щоб інші блокноти могли отримати та завантажити ваш вибір. Для демонстрації наступна комірка має вивести попередні змінні збереження.
Далі з’явиться запит на подальші специфікації даних. Ця клітинка уточнює дані, які ви шукаєте, представляючи ідентифікатори таблиць у зручному для читання форматі. Користувачі вибирають так, ніби це була форма, але заголовки зіставляються з таблицями у фоновому режимі, які допомагають системі отримати відповідні набори даних.
Після того, як ви збережете всі ваші варіанти та комірки вибору, завантажте дані в регіони, запустивши комірку в Отримання даних комплект розділ. Команда %%capture придушить непотрібні виходи з get_data
блокнот. Зауважте, що ви можете видалити це, щоб перевірити результати з інших блокнотів. Дані потім витягуються у серверній частині.
Поки інші ноутбуки працюють у фоновому режимі, єдиною точкою дотику для користувача є ux_notebook
. Це абстрагування від виснажливого процесу імпортування даних у формат, з яким будь-який користувач може легко стежити.
Після завантаження даних ми можемо почати з ними взаємодіяти. У наступних клітинках наведено приклади обчислень, які можна виконати на основі даних про погоду. Використання рентгенівські масиви, ми імпортуємо, обчислюємо, а потім малюємо ці набори даних.
Наш зразок ілюструє графік отримання даних із прогнозуванням, виконання обчислень і побудови результатів менш ніж за 7.5 секунди — на порядки швидше, ніж у типовому підході.
Під капотом
зошити get_catalog_input
та get_variables
користуватися бібліотекою ipywidgets для відображення таких віджетів, як розкривні списки та вибір кількох полів. Ці параметри зберігаються глобально за допомогою команди %%store, щоб до них можна було отримати доступ із ux_notebook
. Один із варіантів підказує, чи потрібні вам історичні дані, прогнозні дані чи обидва. Ця змінна передається в get_data
блокнот, щоб визначити, які наступні блокноти запускати.
Команда get_data
спочатку блокнот отримує спільний домен OpenSearch Service, збережений у Зберігання параметрів AWS Systems Manager. Цей домен дозволяє нашому блокноту запускати запит на збір інформації, яка вказуватиме, де зберігаються вибрані набори даних на регіональному рівні. З цими наборами даних, розташованими регіонально, блокнот спробує підключитися до планувальника Dask, передаючи інформацію, зібрану з OpenSearch Service. Планувальник Dask, у свою чергу, зможе викликати працівників у правильних регіонах.
Як налаштувати та продовжити розвиток
Ці блокноти покликані бути прикладом того, як ви можете створити спосіб для користувачів інтерфейсу та взаємодії з даними. Блокнот у цій публікації служить ілюстрацією того, що можливо, і ми запрошуємо вас продовжувати розробляти рішення для подальшого покращення залучення користувачів. Основною частиною цього рішення є серверна технологія, але без певного механізму взаємодії з цим сервером користувачі не зможуть реалізувати весь потенціал рішення.
Щоб уникнути майбутніх витрат, видаліть ресурси. Давайте знищимо наше розгорнуте рішення за допомогою такої команди:
Висновок
Ця публікація демонструє міжрегіональне розширення Dask на AWS і можливу інтеграцію з публічними наборами даних на AWS. Рішення створено як загальний шаблон, і в нього можна завантажувати додаткові набори даних для прискорення високого аналізу вводу-виводу складних даних.
Дані змінюють кожну сферу та кожен бізнес. Однак, оскільки дані зростають швидше, ніж можуть відстежувати більшість компаній, збирати дані та отримувати від них користь стає складно. Сучасна стратегія даних може допомогти вам досягти кращих бізнес-результатів за допомогою даних. AWS надає найповніший набір послуг для наскрізної передачі даних, щоб допомогти вам розблокувати цінність ваших даних і перетворити їх на розуміння.
Щоб дізнатися більше про різні способи використання ваших даних у хмарі, відвідайте Блог AWS Big Data. Крім того, ми запрошуємо вас висловити свої думки щодо цієї публікації та визначити, чи це рішення ви плануєте спробувати.
Про авторів
Патрік О'Коннор є інженером із створення прототипів WWSO, який працює в Лондоні. Він креативно вирішує проблеми, адаптується до широкого діапазону технологій, таких як IoT, безсерверні технології, 3D просторові технології та ML/AI, а також невпинно цікавиться тим, як технології можуть продовжувати розвивати повсякденні підходи.
Чакра Нагараджан є Principal Machine Learning Prototyping SA з 21-річним досвідом у машинному навчанні, великих даних і високопродуктивних обчисленнях. На своїй нинішній посаді він допомагає клієнтам вирішувати реальні складні бізнес-проблеми, створюючи прототипи з наскрізними рішеннями AI/ML у хмарі та периферійних пристроях. Його спеціалізація з машинного навчання включає комп’ютерне бачення, обробку природної мови, прогнозування часових рядів і персоналізацію.
Вал Коен є старшим інженером із створення прототипів WWSO, який працює в Лондоні. Вирішувач проблем за своєю природою, Вел любить писати код для автоматизації процесів, створювати одержимі клієнтами інструменти та створювати інфраструктуру для різноманітних програм для своєї глобальної клієнтської бази. Вал має досвід роботи з різноманітними технологіями, такими як інтерфейсна веб-розробка, серверна робота та AI/ML.
Найл Робінсон є керівником відділу ф’ючерсів на продукти Метеорологічного бюро Великобританії. Він і його команда досліджують нові способи, як Метеорологічне бюро може забезпечувати цінність через інноваційну продукцію та стратегічне партнерство. Він мав різноманітну кар’єру, очолював багатодисциплінарну групу досліджень і розробок у галузі інформатики, академічні дослідження в галузі обробки даних і польового вченого, а також досвід роботи з моделювання клімату.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoAiStream. Web3 Data Intelligence. Розширення знань. Доступ тут.
- Карбування майбутнього з Адріенн Ешлі. Доступ тут.
- Купуйте та продавайте акції компаній, які вийшли на IPO, за допомогою PREIPO®. Доступ тут.
- джерело: https://aws.amazon.com/blogs/big-data/build-efficient-cross-regional-i-o-intensive-workloads-with-dask-on-aws/
- : має
- :є
- :де
- $UP
- 1
- 10
- 100
- 11
- 12
- 20
- 24
- 3d
- 40
- 50
- 7
- 9
- a
- здатність
- Здатний
- МЕНЮ
- вище
- РЕЗЮМЕ
- тези
- академічний
- наукові дослідження
- прискорювати
- прискорення
- доступ
- доступний
- розмістити
- виконувати
- рахунки
- Досягає
- через
- адаптує
- доданий
- додати
- Додатковий
- Додатково
- адреса
- адресація
- Додає
- Адміністратори
- прийнята
- Прийняття
- після
- AI / ML
- AIR
- ВСІ
- Дозволити
- дозволяє
- по
- Також
- Amazon
- Amazon EC2
- an
- аналіз
- та
- будь-який
- з'являтися
- додаток
- застосування
- підхід
- підходи
- відповідний
- архітектура
- ЕСТЬ
- AS
- At
- атмосфера
- atmospheric
- автоматизувати
- уникнути
- AWS
- Клієнт AWS
- Хребет
- підтриманий
- Backend
- фон
- Balance
- база
- заснований
- BE
- ставати
- було
- перед тим
- буття
- нижче
- еталонний тест
- Краще
- між
- Великий
- Великий даних
- Bootstrap
- обидва
- Приведення
- Зламаний
- будувати
- Створюємо
- побудований
- вбудований
- бізнес
- але
- by
- обчислювати
- call
- званий
- покликання
- Виклики
- CAN
- можливості
- здатний
- кар'єра
- каталог
- CD
- Клітини
- виклик
- складні
- зміна
- заміна
- заряд
- вантажі
- вибір
- Звернення
- клієнт
- клімат
- ближче
- хмара
- кластер
- CO
- код
- кодова база
- співробітництво
- Збір
- Приходити
- приходить
- майбутній
- коментар
- співтовариство
- Компанії
- повний
- комплекс
- Компоненти
- У складі
- обчислення
- обчислення
- комп'ютер
- Комп'ютерне бачення
- обчислення
- конфігурація
- З'єднуватися
- підключений
- З'єднувальний
- зв'язку
- Споживачі
- споживання
- Контейнер
- містить
- продовжувати
- триває
- copies
- Core
- виправити
- Коштувати
- рентабельним
- може
- з'єднаний
- центральний процесор
- створювати
- створює
- Креатив
- критичний
- урожай
- Перетинати
- цікавість
- Поточний
- виготовлений на замовлення
- клієнт
- Клієнти
- настроюється
- налаштувати
- щодня
- приладова панель
- дані
- наука про дані
- стратегія даних
- набори даних
- день
- десятиліття
- рішення
- дефолт
- Попит
- демонструє
- розгортання
- розгорнути
- розгортання
- розгортає
- призначений
- знищити
- докладно
- деталі
- Визначати
- розвивати
- Розробник
- розробка
- прилади
- різниця
- інвалід
- відкриття
- дисплей
- розподілений
- розподілені обчислення
- DNS
- Docker
- домен
- вниз
- динамічний
- динамічно
- кожен
- простота
- легко
- край
- редагування
- ефективний
- в іншому місці
- включіть
- кінець в кінець
- енергія
- зачеплення
- інженер
- запис
- Навколишнє середовище
- Еквівалент
- Епоха
- оцінка
- Ефір (ETH)
- Кожен
- кожен день
- повсякденний
- еволюціонувати
- приклад
- Приклади
- досвід
- експеримент
- експертиза
- дослідити
- експорт
- піддаватися
- розширення
- швидше
- особливість
- риси
- поле
- Поля
- філе
- Файли
- знайти
- Перший
- фокусується
- стежити
- після
- харчування
- для
- форма
- формат
- форми
- знайдений
- Заснований
- Рамки
- каркаси
- Безкоштовна
- від
- плодоношення
- Повний
- функціональність
- далі
- майбутнє
- Ф'ючерси
- Загальне
- покоління
- отримати
- отримання
- Git
- Глобальний
- глобальна мережа
- Глобально
- земну кулю
- буде
- графік
- великий
- сітка
- Рости
- Зростання
- було
- Половина
- вдвічі зменшено
- Мати
- he
- голова
- допомога
- допомагає
- її
- Високий
- висока продуктивність
- основний момент
- його
- історичний
- господар
- відбувся
- годину
- Як
- How To
- Однак
- HTML
- HTTPS
- читається людиною
- Сотні
- Idle
- ідентифікатори
- if
- ілюструє
- імпорт
- імпорт
- удосконалювати
- поліпшення
- in
- включати
- includes
- збільшений
- індекс
- вказувати
- повідомити
- інформація
- Інфраструктура
- притаманне
- інновація
- вхід
- небезпека
- розуміння
- натхненний
- встановлювати
- екземпляр
- замість
- інструкції
- інтеграція
- Навмисне
- взаємодіяти
- взаємодіючих
- інтерфейс
- внутрішній
- інтернет
- в
- запрошувати
- КАТО
- IP
- IP-адреса
- питання
- IT
- ЙОГО
- робота
- подорож
- JPG
- Jupyter Notebook
- тримати
- ключ
- Знати
- мова
- великий
- останній
- Затримка
- запуск
- провідний
- УЧИТЬСЯ
- вивчення
- бібліотека
- Життєвий цикл
- як
- Зв'язуючий
- список
- загрузка
- місцевий
- локально
- розташований
- розташування
- Лондон
- машина
- навчання за допомогою машини
- основний
- зробити
- управляти
- менеджер
- управляє
- карта
- відображення
- Маса
- Масове усиновлення
- матеріал
- Може..
- значити
- механізм
- метадані
- мільйони
- ML
- модель
- сучасний
- Модулі
- місяць
- щомісячно
- щомісячні дані
- більше
- найбільш
- МОНТАЖ
- мультидисциплінарний
- ім'я
- National
- Природний
- Природна мова
- Обробка природних мов
- природа
- необхідно
- Необхідність
- нужденних
- мережу
- Нові
- наступний
- ніч
- вузол
- вузли
- ноутбук
- ноутбуки
- зараз
- номер
- номера
- of
- пропонувати
- Office
- on
- ONE
- тільки
- відкрити
- відкриті дані
- з відкритим вихідним кодом
- відкритий код
- оперативний
- варіант
- Опції
- or
- оркестровка
- організації
- Інше
- наші
- з
- Результати
- вихід
- над
- загальний
- пакет
- параметр
- частина
- приватність
- особливо
- партнерства
- Пройшов
- Проходження
- Викрійки
- продуктивність
- періодів
- Втілення
- петабайт
- фаза
- план
- Платформи
- plato
- Інформація про дані Платона
- PlatoData
- точка
- басейн
- Порти
- це можливо
- пошта
- потенціал
- влада
- потужний
- практика
- прогноз
- Прогнози
- передумови
- попередній
- первинний
- Головний
- приватний
- Проблема
- проблеми
- процес
- процеси
- обробка
- Вироблений
- Product
- Інновації продукту
- продуктивний
- програма
- Програмування
- проект
- Прототипи
- макетування
- забезпечувати
- за умови
- забезпечує
- забезпечення
- громадськість
- публікувати
- опублікований
- Тягне
- запити
- питань
- R & D
- діапазон
- швидше
- Готовий
- Реальний світ
- реалізувати
- зменшити
- зниження
- скорочення
- регіон
- регіональний
- райони
- невблаганна
- залишається
- видаляти
- Вилучено
- Сховище
- представляє
- дослідження
- ресурси
- ті
- результати
- Роль
- прогін
- біг
- SA
- сейф
- мудрець
- то ж
- зберегти
- масштабовані
- шкала
- ваги
- Масштабування
- наука
- вчений
- Вчені
- scripts
- seconds
- розділ
- побачити
- бачив
- сегменти
- обраний
- вибір
- старший
- Серія
- Без сервера
- служить
- обслуговування
- Послуги
- комплект
- Поділитись
- загальні
- Повинен
- Показувати
- демонстрація
- Шоу
- простий
- просто
- шостий
- сповільнювати
- So
- рішення
- Рішення
- ВИРІШИТИ
- деякі
- Source
- просторовий
- конкретно
- специфікації
- зазначений
- спонсорство
- стек
- етапи
- автономні
- старт
- почалася
- залишатися
- заходи
- зберігання
- зберігати
- зберігати
- магазинів
- просто
- Стратегічний
- Стратегічні партнерства
- Стратегія
- наступні
- Згодом
- успішний
- такі
- поверхню
- сплеск
- Sustainability
- сталого
- система
- Systems
- таблиця
- Приймати
- команда
- технології
- Технології
- Технологія
- тест
- ніж
- Що
- Команда
- інформація
- Джерело
- Великобританія
- світ
- їх
- потім
- Там.
- тим самим
- Ці
- вони
- це
- ті
- три
- Процвітати
- через
- пропускна здатність
- час
- Часовий ряд
- times
- назви
- до
- сьогодні
- разом
- інструменти
- трек
- Відстеження
- переклад
- перетворення
- транзит
- спрацьовування
- ПЕРЕГЛЯД
- два
- тип
- Машинопис
- типовий
- Uk
- при
- відімкнути
- нестійкий
- відповідний сучасним вимогам
- Updates
- на
- URI
- Використання
- використання
- використовуваний
- користувач
- користувачі
- використання
- UTC
- використовує
- VAL
- значення
- різноманітність
- різний
- через
- бачення
- візит
- обсяг
- хотіти
- хоче
- теплий
- було
- шлях..
- способи
- we
- погода
- Web
- Веб-розробка
- були
- Чи
- який
- широкий
- Широкий діапазон
- волі
- побажання
- з
- без
- Work
- робочий
- робочі
- світ
- турбуватися
- б
- лист
- років
- ще
- вихід
- ви
- вашу
- зефірнет