Цей допис написано у співавторстві з Гірішем Кумаром Чіданандою з redBus.
redBus є одним із перших, хто застосував AWS в Індії, і більшість його сервісів і програм розміщено в AWS Cloud. AWS надала redBus гнучкість для швидкого масштабування своєї інфраструктури, зберігаючи надзвичайно низькі витрати. AWS має повний набір послуг, щоб задовольнити більшість їхніх потреб, зокрема надання підтримки клієнтів, за яку може поручитися redBus.
У цій публікації ми розповідаємо про архітектуру платформи даних redBus і про те, як різні компоненти з’єднуються для формування магістралі даних. Ми також обговорюємо проблеми, з якими redBus зіткнувся під час створення інформаційних панелей для своїх сценаріїв використання бізнес-аналітики (BI) у реальному часі, і як вони використовували Amazon QuickSight, швидкий, простий у користуванні хмарний сервіс бізнес-аналітики, який спрощує для всіх співробітників redBus створювати візуалізації та проводити спеціальний аналіз, щоб отримати бізнес-аналітику зі своїх даних у будь-який час і на будь-якому пристрої.
Про redBus
redBus – це найбільша в світі онлайн-платформа для продажу квитків на автобуси, створена в Індії та обслуговує понад 36 мільйонів щасливих клієнтів у всьому світі. Окрім продажу квитків на автобуси, redBus також пропонує послугу продажу квитків на залізничний транспорт redRails і служба оренди автобусів і автомобілів rYde. Це частина групи GO-MMT, яка є провідною індійською компанією онлайн-туристів, з широким портфоліо брендів, що включає інші відомі туристичні онлайн-бренди, такі як MakeMyTrip і Goibibo.
магістраль даних redBus 1.0
RedBus значною мірою покладається на прийняття рішень на основі даних на кожному рівні, починаючи від відстеження подорожей мандрівників, прогнозування попиту під час великого трафіку, виявлення та усунення вузьких місць у процесі реєстрації автобусних операторів тощо. Оскільки бізнес redBus почав зростати з точки зору кількості міст і країн, у яких вони працюють, а також кількості автобусних операторів і мандрівників, які користуються цією послугою в кожному місті, кількість вхідних даних також зросла. Необхідність доступу та аналізу даних в одному місці вимагала від них створення власної платформи даних, як показано на наступній діаграмі.
У наступних розділах ми розглянемо кожен компонент більш детально.
Джерела прийому даних
У платформі даних 1.0 дані надходять із різних джерел:
- Реальний час – Дані в режимі реального часу надходять із мобільних додатків redBus, внутрішніх мікросервісів, а також коли пасажир, оператор автобуса чи додаток виконує будь-яку операцію, як-от бронювання квитків на автобус, пошук в описі автобусів, завантаження документа KYC тощо.
- Пакетний режим – Заплановані завдання отримують дані з кількох постійних сховищ даних, наприклад Служба реляційних баз даних Amazon (Amazon RDS), де зберігаються дані OLTP з усіх додатків, кластери Apache Cassandra, де зберігається інвентаризація шин від різних операторів, Arango DB, де зберігаються графіки ідентифікації користувачів, тощо.
Каталогізація даних
Дані в реальному часі надходять у їхні самокеровані кластери Apache Nifi, платформу даних з відкритим кодом, яка використовується для очищення, аналізу та каталогізації даних за допомогою можливостей маршрутизації перед надсиланням даних до місця призначення.
Зберігання та аналітика
redBus використовує наступні служби для зберігання та аналітичних потреб:
- Служба простого зберігання Amazon (Amazon S3), служба зберігання об’єктів, яка забезпечує основу для їхнього озера даних завдяки своїй практично необмеженій масштабованості та вищій довговічності. Дані в режимі реального часу надходять від Apache Druid, а дані зі сховищ даних надходять через регулярні проміжки часу відповідно до розкладів.
- Apache Druid, сховище даних у стилі OLAP (дані надходять через завантажувач даних Kafka Druid), яке обчислює факти та показники за різними параметрами під час процесу завантаження даних.
- Амазонська червона зміна, служба хмарного сховища даних, яка допомагає аналізувати ексабайти даних і виконувати складні аналітичні запити. redBus використовує Amazon Redshift для зберігання оброблених даних з Amazon S3 і агрегованих даних з Apache Druid.
Запити та візуалізація
Щоб зробити redBus якомога більш керованим даними, вони забезпечили доступ до даних для своїх інженерів SRE, інженерів з обробки даних і бізнес-аналітиків через рівень візуалізації. Цей рівень містить інформаційні панелі, які обслуговуються за допомогою Apache SuperSet, програми візуалізації даних з відкритим кодом, і Амазонка Афіна, інтерактивна служба запитів для аналізу даних в Amazon S3 за допомогою стандартного SQL для спеціальних запитів.
Виклики
Спочатку redBus обробляв дані, які надходили зі швидкістю 10 мільйонів подій на день. Згодом, коли його бізнес почав зростати, зріс і обсяг даних (від гігабайт до терабайтів до петабайтів), надходження даних на день (від 10 мільйонів до 320 мільйонів подій) і потреби в інформаційній панелі бізнес-аналітики. Невдовзі після цього вони почали стикатися з проблемами, пов’язаними з можливостями самокерованого BI Superset, а також зі збільшенням операційної складності.
Обмежені можливості BI
RedBus зіткнувся з такими обмеженнями BI:
- Неможливість створювати візуалізації з кількох джерел даних – Супернабір не дозволяє створювати візуалізації з кількох таблиць у своєму рівні дослідження даних. Розробники даних redBus повинні були попередньо об’єднати таблиці на рівні самого джерела даних. Щоб створити 360-градусний огляд для бізнес-стейкхолдерів redBus, інженерам даних стало незручно підтримувати кілька таблиць, що підтримують рівень візуалізації.
- Немає глобального фільтра для візуальних елементів на інформаційній панелі – Глобальний або основний фільтр для візуальних елементів на інформаційній панелі не підтримується в Superset. Наприклад, уявіть, що на інформаційній панелі є такі візуальні елементи, як «Виграш продажів за регіоном», «Здійснений дохід з початку року за регіоном», «Прохід продажів за регіоном» тощо, а на інформаційну панель додається фільтр «Регіон» із такими значеннями, як EMEA, APAC і США. Фільтр Область застосовуватиметься лише до одного з візуальних елементів, а не до всієї інформаційної панелі. Однак користувачі інформаційної панелі очікували фільтрації на інформаційній панелі.
- Не зручний для бізнес-користувача інструмент – Superset дуже орієнтований на розробника, коли справа доходить до налаштування. Наприклад, якщо бізнес-аналітику redBus довелося налаштувати часове оновлення, яке автоматично виконує повторний запит кожного фрагмента на інформаційній панелі відповідно до попередньо встановленого значення, тоді аналітик повинен оновити поле метаданих JSON на інформаційній панелі. Тому знання JSON та його синтаксису є обов’язковим для виконання будь-яких налаштувань візуальних елементів або інформаційної панелі.
Збільшення експлуатаційних витрат
Хоча Superset є відкритим вихідним кодом, що означає відсутність витрат на ліцензування, це також означає, що потрібно докладати більше зусиль для підтримки всіх компонентів, необхідних для того, щоб він функціонував як інструмент BI корпоративного рівня. redBus розгорнув і обслуговує веб-сервер (Nginx) під керуванням Балансувальник навантаження програми виконувати балансування навантаження; сервер бази даних метаданих (MySQL), де Superset зберігає свою внутрішню інформацію, як-от користувачів, фрагменти та визначення інформаційної панелі; асинхронна черга завдань (Celery) для підтримки тривалих запитів; брокер повідомлень (RabbitMQ); і сервер розподіленого кешування (Redis) для кешування результатів, даних діаграм тощо Обчислювальна хмара Amazon Elastic (Amazon EC2). Наступна діаграма ілюструє цю архітектуру.
Команді redBus DevOps довелося виконати важку роботу з підготовки інфраструктури, створення резервних копій, масштабування компонентів вручну за потреби, оновлення компонентів окремо тощо. Для внесення змін у конфігурацію, щоб усі компоненти безперебійно працювали разом, також потрібен був веб-розробник Python. Усі ці ручні операції збільшили загальну вартість володіння redBus.
Подорож до QuickSight
redBus почав досліджувати BI-рішення в першу чергу з кількох вимог до приладної дошки:
- Інформаційні панелі BI для зацікавлених сторін і аналітиків, де дані надходять через Amazon S3 і Amazon Redshift.
- Інформаційна панель моніторингу продуктивності додатків (APM) у режимі реального часу, щоб допомогти інженерам і розробникам SRE визначити першопричину проблеми в розгортанні мікросервісів, щоб вони могли виправити проблеми, перш ніж вони вплинуть на роботу клієнтів. У цьому випадку дані надходять через Druid.
QuickSight відповідає більшості вимог redBus до інформаційних панелей бізнес-аналізу, і в найкоротші терміни команда платформи даних розпочала перевірку концепції (POC) для кількох своїх складних інформаційних панелей. Наприкінці POC, який тривав місяць, команда поділилася своїми висновками.
По-перше, QuickSight має багато можливостей BI, зокрема:
- Це BI-рішення самообслуговування з функціями перетягування, яке може допомогти аналітикам redBus комфортно використовувати його без будь-яких зусиль з кодування.
- Візуалізація з кількох джерел даних на одній інформаційній панелі може допомогти зацікавленим сторонам бізнесу redBus отримати 360-градусний огляд продажів, прогнозів і статистичних даних на одній панелі.
- Каскадні фільтри між візуальними елементами та аркушами на інформаційній панелі є вкрай необхідними функціями для вимог BI redBus.
- QuickSight пропонує візуальні елементи, схожі на Excel — таблиці з обчисленнями, зведені таблиці з групуванням комірок і стиль привабливі для глядачів.
- Супершвидкий механізм паралельних обчислень у пам’яті (SPICE) у QuickSight може допомогти redBus масштабувати до сотень тисяч користувачів, які можуть одночасно виконувати швидкий інтерактивний аналіз у різноманітних джерелах даних AWS.
- Готова інформація та прогнозування ML без додаткових витрат дозволили б команді redBus з вивчення даних зосередитися на моделях ML, окрім прогнозування продажів і подібних моделей.
- Вбудований захист на рівні рядків (RLS) може дозволити redBus надавати відфільтрований доступ для своїх глядачів. Наприклад, redBus має багато бізнес-аналітиків, які керують різними країнами. За допомогою RLS кожен бізнес-аналітик бачить лише дані, пов’язані з визначеною ним країною, на одній інформаційній панелі.
- redBus використовує OneLogin як свого постачальника ідентифікаційних даних, який підтримує мову розмітки Security Assertion Markup Language 2.0 (SAML 2.0). Завдяки об’єднанню ідентифікаційних даних і підтримці єдиного входу від QuickSight redBus може забезпечити простий процес адаптації для своїх користувачів QuickSight.
- QuickSight пропонує вбудовані оповіщення та сповіщення електронною поштою.
По-друге, QuickSight — це повністю керована хмарна безсерверна служба бізнес-аналізу від AWS із такими функціями:
- Інженерам redBus не потрібно зосереджуватися на важкій роботі з ініціалізації, масштабування та підтримки свого BI-рішення на примірниках EC2.
- QuickSight пропонує вбудовану інтеграцію з такими службами AWS, як Amazon Redshift, Amazon S3 і Athena, а також іншими популярними фреймворками, такими як Presto, Snowflake, Teradata тощо. QuickSight підключається до більшості джерел даних, які вже є в redBus, за винятком Apache Druid, оскільки власна інтеграція з Druid була недоступна станом на грудень 2022 року. Повний список підтримуваних джерел даних див. Підтримувані джерела даних.
Результат
Враховуючи всі багаті функції та нижчу загальну вартість володіння, redBus обрала QuickSight для своїх вимог до інформаційної панелі BI. За допомогою QuickSight інженери з обробки даних redBus миттєво створили низку інформаційних панелей, щоб надати зацікавленим сторонам і аналітикам уявлення про петабайти даних. Магістраль даних redBus розвинулася, щоб надати бізнес-аналітику набагато ширшій аудиторії в їхній організації з кращою продуктивністю та швидшим часом окупності. Станом на листопад 2022 року він поєднує в собі QuickSight для бізнес-користувачів і Superset для інформаційних панелей APM у реальному часі (на момент написання статті QuickSight не пропонує вбудований з’єднувач для Druid), як показано на наступній діаграмі.
Інформаційна панель виявлення аномалій продажів
Незважаючи на те, що redBus розгорнув багато інформаційних панелей у виробництві, виявлення аномалій продажів є однією з цікавих інформаційних панелей, створених redBus. Він використовує власну модель прогнозування продажів redBus, яка, у свою чергу, отримується на основі історичних даних про продажі з таблиць Amazon Redshift і даних про продажі в реальному часі з таблиць Druid, як показано на малюнку нижче.
Через регулярні проміжки часу заплановані завдання надсилають модель прогнозування redBus даними про продажі в реальному часі та історичними даними, а потім прогнозовані дані надсилаються в таблицю Amazon Redshift. Інформаційна панель виявлення аномалій продажів у QuickSight обслуговується отриманою таблицею Amazon Redshift.
Нижче наведено один із візуальних елементів інформаційної панелі виявлення аномалій продажів. Він побудований за допомогою лінійної діаграми, що відображає погодинні фактичні продажі, прогнозовані продажі та порогове значення сповіщень для часового ряду для певної бізнес-когорти в redBus.
У цьому візуальному зображенні кожна смужка відображає кількість аномалій продажів, ініційованих у певний момент часового ряду.
Аналітики redBus могли б детальніше ознайомитися з деталями продажів і аномаліями на хвилинному рівні, як показано на наступній діаграмі. Ця функція деталізації поставляється безпосередньо з QuickSight.
Щоб отримати додаткові відомості про додавання деталей до візуальних елементів приладної панелі QuickSight, див Додавання деталей у візуальні дані в Amazon QuickSight.
Окрім візуальних ефектів, вона стала однією з улюблених інформаційних панелей глядачів на redBus завдяки таким помітним функціям:
- Оскільки фільтрування візуальних елементів є готовою функцією QuickSight, на інформаційну панель додано фільтр на основі часових позначок. Це допомагає відфільтрувати кілька візуальних елементів на інформаційній панелі одним клацанням миші.
- Дії URL-адрес, налаштовані на візуальних елементах, допомагають глядачам переходити до контекстно-залежних внутрішніх програм.
- Сповіщення електронною поштою, налаштовані на KPI та візуальні елементи Gauge, допомагають глядачам отримувати сповіщення вчасно.
Наступні кроки
Окрім створення нових інформаційних панелей для своїх потреб у панелях BI, redBus робить наступні кроки:
- Дослідження QuickSight Embedded Analytics для кількох вимог до додатків, щоб пришвидшити час для отримання інформації для користувачів за допомогою візуальних даних у контексті, інтерактивних інформаційних панелей тощо безпосередньо в програмах
- Дослідження QuickSight Q, які могли б дозволити зацікавленим сторонам їхнього бізнесу ставити запитання природною мовою та отримувати точні відповіді з відповідними візуалізаціями, які можуть допомогти їм отримати розуміння з даних
- Створення уніфікованого рішення інформаційної панелі за допомогою QuickSight, що охоплює всі їхні джерела даних, коли стане доступною інтеграція
Висновок
У цій публікації ми показали вам, як redBus побудував свою платформу даних за допомогою різноманітних служб AWS і фреймворків Apache, виклики, через які пройшла платформа (особливо щодо вимог до інформаційної панелі BI та проблеми під час масштабування), і як вони використали QuickSight і знизили загальну вартість права власності.
Щоб дізнатися більше про техніку в redBus, перегляньте їх середні дописи в блозі. Щоб дізнатися більше про те, що відбувається в QuickSight, або якщо у вас виникли запитання, зверніться до Спільнота QuickSight, який дуже активний і пропонує кілька ресурсів.
Про авторів
Гіріш Кумар Чідананда працює старшим інженерним менеджером – розробка даних у redBus, де протягом останніх 5 років розробляв різноманітні додатки для інженерії даних і компоненти для redBus. До того, як розпочати свій шлях в ІТ-індустрії, він працював інженером з механіки та систем керування в різних організаціях, а також отримав ступінь магістра з гідроенергетики в Університеті Бата.
Каялвіжі Кандасами працює з цифровими компаніями, щоб підтримувати їхні інновації. Як старший архітектор рішень (APAC) в Amazon Web Services, вона використовує свій досвід, щоб допомогти людям втілити їхні ідеї в життя, зосереджуючись насамперед на архітектурах мікросервісів і хмарних рішеннях за допомогою сервісів AWS. Поза роботою вона любить грати в шахи і є шахісткою з рейтингом FIDE. Вона також навчає своїх дочок мистецтву гри в шахи, готує їх до різноманітних шахових турнірів.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
- джерело: https://aws.amazon.com/blogs/big-data/a-dive-into-redbuss-data-platform-and-how-they-used-amazon-quicksight-to-accelerate-business-insights/
- $ 10 мільйонів
- 1
- 10
- 100
- 2022
- 360-градус
- a
- МЕНЮ
- прискорювати
- доступ
- доступною
- За
- точний
- через
- дії
- активний
- Ad
- доданий
- Додатковий
- адресація
- усиновлювачів
- впливати
- після
- проти
- Оповіщення
- ВСІ
- вже
- Amazon
- Amazon EC2
- Amazon QuickSight
- Amazon RDS
- Amazon Web Services
- кількість
- аналіз
- аналітик
- аналітики
- Аналітичний
- аналітика
- аналізувати
- та
- виявлення аномалії
- Відповіді
- APAC
- Apache
- додаток
- застосування
- Застосовувати
- додатка
- архітектура
- навколо
- Art
- призначений
- привабливий
- аудиторія
- автор
- автоматично
- доступний
- AWS
- Backend
- резервне копіювання
- бар
- заснований
- оскільки
- ставати
- перед тим
- буття
- Краще
- Блог
- Box
- марка
- бренди
- приносити
- брокер
- будувати
- Створюємо
- побудований
- вбудований
- bus
- бізнес
- бізнес-аналітика
- званий
- можливості
- автомобіль
- випадок
- випадків
- каталог
- Викликати
- проблеми
- Зміни
- Графік
- графіків
- перевірка
- Chess
- вибрав
- Міста
- Місто
- хмара
- Кодування
- Когорта
- комбінати
- Компанії
- компанія
- повний
- комплекс
- складності
- компонент
- Компоненти
- всеосяжний
- обчислення
- концепція
- підключений
- з'єднує
- Вважати
- контроль
- Коштувати
- витрати
- може
- країни
- країна
- Пара
- покриття
- створювати
- створення
- клієнт
- підтримка клієнтів
- Клієнти
- настройка
- налаштувати
- приладова панель
- дані
- Озеро даних
- Платформа даних
- наука про дані
- візуалізація даних
- сховище даних
- керовані даними
- Database
- день
- Грудень
- рішення
- Ступінь
- Попит
- розгорнути
- розгортання
- призначення
- деталь
- деталі
- Виявлення
- Розробник
- розробників
- пристрій
- DevOps
- DID
- різний
- розміри
- безпосередньо
- обговорювати
- розподілений
- документ
- Ні
- справи
- Не знаю
- вниз
- друїд
- довговічність
- під час
- кожен
- легкий у використанні
- зусилля
- зусилля
- вбудований
- в регіоні EMEA
- співробітників
- включіть
- двигун
- інженер
- Машинобудування
- Інженери
- підприємства
- Весь
- особливо
- Ефір (ETH)
- Події
- еволюціонували
- приклад
- Крім
- очікуваний
- досвід
- дослідження
- Дослідження
- обширний
- надзвичайно
- стикаються
- облицювання
- ШВИДКО
- швидше
- Улюблений
- особливість
- риси
- Федерація
- поле
- Рисунок
- фільтрувати
- фільтрація
- Фільтри
- відповідати
- виправляти
- Гнучкість
- потік
- Потоки
- Сфокусувати
- фокусування
- після
- форма
- фонд
- каркаси
- дружній
- від
- Спротив
- повністю
- функція
- далі
- Отримувати
- отримати
- Давати
- скло
- Глобальний
- надавати
- графіки
- Group
- Зростання
- щасливий
- має
- сильно
- допомога
- допомагає
- Високий
- вище
- дуже
- Шосе
- історичний
- тримає
- відбувся
- Як
- Однак
- HTML
- HTTPS
- Сотні
- ідеї
- ідентифікувати
- ідентифікує
- Особистість
- in
- includes
- У тому числі
- Вхідний
- збільшений
- Індію
- Індивідуально
- промисловість
- інформація
- Інфраструктура
- інновація
- розуміння
- інтеграція
- інтеграцій
- Інтелект
- інтерактивний
- цікавий
- внутрішній
- інвентаризація
- питання
- питання
- IT
- ІТ-індустрія
- сам
- Джобс
- приєднався
- подорож
- json
- кафка
- зберігання
- Знати
- знання
- ЗСК
- озеро
- мова
- найбільших
- останній
- шар
- провідний
- УЧИТЬСЯ
- рівень
- ліцензування
- життя
- підйомний
- недоліки
- Лінія
- список
- загрузка
- завантажувач
- погрузка
- подивитися
- низький
- підтримувати
- зробити
- РОБОТИ
- Робить
- управляти
- вдалося
- менеджер
- обов'язковий
- керівництво
- вручну
- багато
- засоби
- механічний
- повідомлення
- метадані
- Метрика
- мікросервіс
- мільйона
- хвилин
- ML
- Mobile
- мобільні Програми-
- модель
- Моделі
- моніторинг
- більше
- найбільш
- MS
- множинний
- MySQL
- рідний
- Природний
- Природна мова
- Переміщення
- Необхідність
- необхідний
- потреби
- Нові
- наступний
- NGINX
- Помітний
- сповіщення
- Повідомлення
- Листопад
- номер
- об'єкт
- Об'єкт зберігання
- пропонувати
- пропонує
- Пропозиції
- На борту
- ONE
- онлайн
- відкрити
- з відкритим вихідним кодом
- працювати
- операція
- оперативний
- операції
- оператор
- Оператори
- порядок
- організація
- організації
- Інше
- поза
- власний
- власність
- pane
- Паралельні
- частина
- приватність
- Люди
- виконувати
- продуктивність
- трубопровід
- Стрижень
- місце
- платформа
- plato
- Інформація про дані Платона
- PlatoData
- гравець
- ігри
- PoC
- точка
- популярний
- портфель
- це можливо
- пошта
- влада
- передвіщений
- Готує
- в першу чергу
- первинний
- попередній
- процес
- Production
- видатний
- доказ
- доказ концепції
- власником
- забезпечувати
- за умови
- Постачальник
- забезпечує
- забезпечення
- штовхнув
- Python
- питань
- рейковий
- швидко
- ставка
- досягати
- реального часу
- дані в режимі реального часу
- зрозумів,
- отримати
- регіон
- регулярний
- пов'язаний
- доречний
- представляє
- представляє
- вимагається
- Вимога
- ресурси
- результати
- revenue
- Багаті
- корінь
- прогін
- продажів
- масштабованість
- шкала
- Масштабування
- плановий
- Планові роботи
- наука
- плавно
- Грати короля карти - безкоштовно Nijumi логічна гра гри
- розділам
- безпеку
- бачить
- Самообслуговування
- відправка
- старший
- Серія
- Без сервера
- обслуговування
- Послуги
- виступаючої
- кілька
- Поділитись
- загальні
- показаний
- аналогічний
- простий
- одночасно
- один
- Скибочка
- So
- рішення
- Рішення
- Скоро
- Source
- Джерела
- спеції
- SQL
- зацікавлених сторін
- standard
- почалася
- Починаючи
- заходи
- зберігання
- зберігати
- зберігати
- магазинів
- набір
- підтримка
- Підтриманий
- Підтримуючий
- Опори
- синтаксис
- Systems
- таблиця
- взяття
- Завдання
- команда
- terms
- Команда
- світ
- їх
- отже
- тисячі
- поріг
- через
- квитки
- квитки
- час
- Часовий ряд
- Приурочений
- до
- разом
- інструмент
- Усього:
- турніри
- до
- Відстеження
- трафік
- подорожувати
- мандрівник
- мандрівники
- спрацьовує
- ПЕРЕГЛЯД
- єдиний
- університет
- необмежений
- Оновити
- Завантаження
- us
- використання
- користувач
- користувачі
- значення
- Цінності
- різноманітність
- різний
- через
- вид
- глядачів
- фактично
- візуалізації
- обсяг
- Склад
- Web
- Веб-сервер
- веб-сервіси
- Що
- Що таке
- який
- в той час як
- ВООЗ
- широкий
- ширше
- волі
- Перемоги
- в
- без
- Work
- працювати разом
- працював
- працює
- світ
- світі
- б
- лист
- років
- зефірнет