Федеративне навчання – це a навчання за допомогою машини техніка, яка дозволяє декільком сторонам тренувати модель без обміну своїми даними. Він використовується в кількох галузях, від клавіатур мобільних пристроїв до охорони здоров’я, автономних транспортних засобів і нафтових вишок. Це особливо корисно в ситуаціях, коли обмін даними обмежений нормативними актами, є конфіденційними або конфіденційними, оскільки дозволяє організаціям співпрацювати над проектами машинного навчання без шкоди для конфіденційності даних. Це також корисно в ситуаціях, коли розміри даних непомірно великі, що робить централізацію даних повільною та дорогою.
Однією з головних перешкод у машинному навчанні є потреба у великих обсягах даних. Це може бути проблемою для організацій, які не мають доступу до великих наборів даних, або для тих, хто працює з конфіденційними даними, якими не можна поділитися. Інтегроване навчання дозволяє цим організаціям робити внесок у спільну модель без необхідності обмінюватися своїми даними.
Інтегроване навчання також може допомогти подолати проблему однорідності даних. У багатьох випадках моделі навчаються на даних з невеликої групи джерел, які не представляють загальну сукупність. Моделі, навчені на вузьких наборах даних, погано узагальнюють і, отже, мають низьку ефективність, якщо розгортати їх ширше. Інтегроване навчання дозволяє тренувати моделі на більшому та більш різноманітному наборі джерел даних, не вимагаючи централізації даних із усіх цих джерел даних, що призводить до більш надійних моделей із кращою продуктивністю.
Крім того, вартість ресурсів хмарних обчислень може бути перешкодою для машинного навчання. Навчання моделей машинного навчання може потребувати інтенсивних обчислень, вимагаючи дорогого апаратного забезпечення, наприклад графічних процесорів (GPU). Використання хмарних екземплярів для навчання може дуже швидко стати дорогим. Інтегроване навчання дозволяє організаціям розподіляти навантаження, пов’язане з навчанням моделей, і використовувати недостатньо завантажені обчислювальні ресурси або сервери, які вони вже мають у своїх центрах обробки даних. Це може призвести до значної економії коштів у великих обчислювальних процесах навчання.
Багато організацій також стурбовані створенням надлишкових копій великих наборів даних. Це може спричинити високі витрати на зберігання, а також витрати хмарних постачальників на передачу даних між локальними центрами обробки даних і хмарними обліковими записами або між різними хмарними обліковими записами. Інтегроване навчання дозволяє організаціям зберігати єдину копію своїх даних і не потребує переміщення їх у інше місце чи хмарний обліковий запис для навчання моделей із даними.
Іншою проблемою, яка може обмежити використання машинного навчання, є конфіденційність і нормативні обмеження. Дані, які використовуються для навчання моделей, можуть містити конфіденційну інформацію, таку як особиста інформація (PII) або особиста інформація про здоров’я (PHI). Інтегроване навчання дозволяє організаціям навчати моделі без необхідності ділитися їхніми даними, що може допомогти пом’якшити проблеми конфіденційності та нормативні вимоги.
Інтегроване навчання вже використовується в кількох галузях, щоб розблокувати потужність більших і різноманітніших наборів даних без спільного використання даних. Наприклад, у 2021 р Алгоритм підтримки прийняття рішень щодо COVID навчався з даними з 20 лікарень у всьому світі за допомогою федеративного навчання (повне розкриття інформації: цей проект очолював наш співзасновник і генеральний директор), а в 2022 році алгоритм виявлення краю раку мозку було навчено з використанням даних із 71 лікарні по всьому світу. Google використовує інтегроване навчання, щоб передбачити наступне введене слово на клавіатурах Google Android з 2018 року (повне розкриття інформації: до заснування своєї компанії я працював у Google і брав участь у проектах із застосуванням федеративного навчання).
Таким чином, інтегроване навчання допомагає подолати низку перешкод у машинному навчанні, включаючи потребу у великих обсягах даних, вартість обчислювальних ресурсів, зберігання та передачі даних, проблему однорідності даних, а також проблеми конфіденційності та нормативні вимоги. Це дозволяє організаціям співпрацювати над проектами машинного навчання без шкоди для конфіденційності даних, демократизуючи використання машинного навчання та доступ до великих різноманітних навчальних даних, створюючи більш надійні та ефективніші моделі.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
- джерело: https://www.dataversity.net/how-federated-learning-is-helping-to-overcome-obstacles-in-machine-learning/
- 2018
- 2021
- 2022
- a
- МЕНЮ
- доступ
- рахунки
- Рахунки
- через
- ВСІ
- дозволяє
- вже
- суми
- та
- чоловіча
- навколо
- автономний
- автономні транспортні засоби
- ставати
- перед тим
- буття
- Краще
- між
- широко
- рак
- не може
- який
- випадків
- Центри
- Централізація
- централізована
- Генеральний директор
- виклик
- хмара
- Співзасновник
- співпрацювати
- компанія
- обчислення
- стурбований
- Турбота
- сприяти
- Коштувати
- економія на витратах
- витрати
- створення
- дані
- центрів обробки даних
- конфіденційність даних
- набори даних
- обмін даними
- зберігання даних
- набори даних
- ПЕРЕДАЧА
- рішення
- Демократизувати
- розгорнути
- Виявлення
- пристрій
- різний
- розкриття
- Різне
- Ні
- Не знаю
- приклад
- дорогий
- від
- Повний
- Загальне
- Графічні процесори
- апаратні засоби
- має
- здоров'я
- Охорона здоров'я
- інформація про стан здоров'я
- допомога
- корисний
- допомогу
- Високий
- лікарні
- Як
- HTTPS
- in
- У тому числі
- промисловості
- інформація
- залучений
- питання
- IT
- великий
- більше
- вести
- провідний
- вивчення
- Led
- МЕЖА
- обмеженою
- загрузка
- розташування
- машина
- навчання за допомогою машини
- головний
- підтримувати
- Робить
- багато
- Маржа
- Пом'якшити
- Mobile
- мобільний пристрій
- модель
- Моделі
- більше
- переміщення
- множинний
- природа
- Необхідність
- наступний
- номер
- перешкода
- перешкодами
- Нафта
- порядок
- організації
- Подолати
- особливо
- Сторони
- продуктивність
- персонал
- Особисте здоров'я
- Особисто
- пій
- plato
- Інформація про дані Платона
- PlatoData
- населення
- влада
- недоторканність приватного життя
- процеси
- обробка
- проект
- проектів
- власником
- провайдери
- швидко
- Регулювання
- регуляторні
- представляти
- вимагати
- ресурси
- міцний
- жертвуючи
- Економія
- чутливий
- комплект
- набори
- кілька
- Поділитись
- загальні
- поділ
- значний
- з
- один
- ситуацій
- розміри
- сповільнювати
- невеликий
- Джерела
- зберігання
- такі
- РЕЗЮМЕ
- підтримка
- Команда
- світ
- їх
- до
- поїзд
- навчений
- Навчання
- переклад
- Передача
- одиниць
- відімкнути
- використання
- використовує
- Транспортні засоби
- який
- без
- слово
- працював
- робочий
- світ
- поступаючись
- зефірнет