После многих лет шумихи и обещаний наконец-то появился искусственный интеллект (ИИ). Организации всех типов и размеров стремятся интегрировать ИИ в свои бизнес-процессы, чтобы сделать свою деятельность более мощной, эффективной и прибыльной. А ученый данных и инженер по машинному обучению — две из самых интересных и передовых профессий в сфере технологий. Хотя обе эти роли связаны с реализацией перспектив применения ИИ в бизнесе, выбор между карьерой инженера по машинному обучению и специалиста по обработке данных требует понимания, чем эти две роли отличаются и как они дополняют друг друга.
Инженеры по машинному обучению и ученые, работающие с данными, являются членами команды, стоящей за разработкой компании. платформа машинного обучения (ML). Каждая должность выполняет важные обязанности по разработке, внедрению и обслуживанию приложений машинного обучения.
Тем не менее, роли, набор навыков и обязанности инженера по машинному обучению и специалиста по обработке данных существенно различаются. Понимание различий и сходств этих двух должностей поможет вам решить, какая роль лучше соответствует вашим карьерным целям.
Роль инженера по машинному обучению и специалиста по данным
Целью машинного обучения и других видов деятельности на основе искусственного интеллекта является создание программных приложений, которые улучшают нашу жизнь, будь то в бизнесе или в нашей повседневной деятельности вне работы. Инженеры по машинному обучению и ученые, работающие с данными, играют жизненно важную роль в разработке и использовании интеллектуальных систем, которые естественным образом совершенствуются с течением времени, с помощью человека или без него.
Один из способов разграничить роли инженеров по машинному обучению и специалистов по данным в проектировании интеллектуальных систем — рассматривать специалистов по обработке данных как архитекторов структуры, а инженеров по машинному обучению — как строителей, которые преобразуют чертежи и модели в функционирующую систему.
Это одни из основные обязанности специалистов по данным в создании интеллектуальных систем:
- Определите, какие бизнес-задачи подходят для решений ML
- Визуализируйте множество этапов Жизненный цикл машинного обучения (сбор данных, подготовка данных, обработка данных, анализ данных, обучение моделированию, тестирование моделей, развертывание)
- Разрабатывайте собственные алгоритмы и модели данных
- Определить дополнительные наборы данных и сгенерировать синтетические данные что модели глубокого обучения (DL) требуют
- Определите требования к аннотациям данных системы.
- Поддерживать постоянную связь со всеми заинтересованными сторонами
- Создавайте собственные инструменты для оптимизации рабочего процесса моделирования.
Напротив, роль инженеров машинного обучения подчеркивает развертывание и эксплуатацию моделей ML и DL:
- Развертывание и оптимизация моделей ML и DL в производственных условиях.
- Мониторинг производительности моделей для определения задержки, памяти, пропускной способности и других рабочих параметров.
- Выполняйте тестирование вывода на процессорах, графических процессорах, периферийных устройствах и другом оборудовании.
- Поддерживать и отлаживать модели ML и DL.
- Управление контролем версий для моделей, метаданных и экспериментов.
- Оптимизируйте рабочие процессы модели с помощью пользовательских инструментов
Ученые, работающие с данными, принимают непосредственное участие в анализ и интерпретация полученных результатов извлекаются из моделей ML и DL путем применения статистических и математических методов для выявления закономерностей, тенденций и взаимосвязей в данных.
Инженеры по машинному обучению больше полагаются на свой опыт программирования и инженерии, чтобы преобразовать концепции науки о данных в функциональные системы, которые являются гибкими, масштабируемыми и прозрачными.
Инженер по машинному обучению против специалиста по данным: навыки, образование и обязанности
Квалификации, необходимые для карьеры в области машинного обучения и науки о данных, во многом совпадают. Например, обе области требуют технической хватки, аналитического мышления и навыков решения проблем. Они также полагаются на опыт программирования, который обычно включает программирование на Python и R, облачные системы (AWS, Microsoft Azure и Google Cloud Platform или GPC) и хранилище метаданных и оптимизация.
Однако более важным, чем сходство в образовании и навыках инженеров машинного обучения и специалистов по обработке данных, являются различия в их техническом и образовательном опыте:
- Ученые, работающие с данными, должны владеть статистикой, анализом данных, визуализацией данных, письменными и устными коммуникациями и презентациями.
- Инженеры по машинному обучению должны обладать глубокими знаниями о структурах данных, моделировании данных, разработке программного обеспечения и концепциях, лежащих в основе моделей ML и DL.
Ученые, работающие с данными, как правило, имеют более широкий набор хорошие навыки чем инженеры по машинному обучению, включая опыт работы со статистическим и математическим программным обеспечением, языками запросов, инструментами визуализации данных, управлением базами данных, Microsoft Excel и обработкой данных.
Ассоциация самые важные критерии для инженеров по машинному обучению включают знания Платформы машинного обучения и Библиотеки машинного обучения, структуры данных, методы моделирования данных и архитектуры программного обеспечения.
Это одни из навыков, необходимых для карьера инженера по машинному обучению:
- Операционные системы Linux/Unix
- Языки программирования Java, C и C++.
- Архитектуры графических процессоров и программирование CUDA
- Моделирование и оценка данных
- Архитектуры нейронных сетей
- Обработка естественного языка (НЛП)
- Распределенных вычислений
- Укрепление обучения
- Искра и Hadoop Программирование
Ассоциация набор навыков специалистов по данным охватывают следующие области:
- Кодирование SQL и Python
- Проектирование и программирование баз данных, включая NoSQL и облачные базы данных
- Инструменты сбора и очистки данных, включая инструменты бизнес-аналитики (BI).
- Инструменты статистического анализа, такие как SPSS, Matlab и SAS.
- Описательный, диагностический, прогнозирующий и предписывающий статистический анализ
- Линейная алгебра и исчисление
- Построение модели машинного обучения
- Инструменты проверки и развертывания моделей (SAS, Neptune, Kubeflow и Google AI)
- Инструменты разработки API, такие как Amazon AWS (Amazon API Gateway) и IBM Cloud (IBM API Connect)
Бюро статистики труда США (BLS) отмечает, что большинство специалистов по данным иметь степень магистра или докторскую степень в области математики, статистики, информатики, бизнеса или техники. (Группы BLS инженеры машинного обучения относятся к категории ученых, занимающихся данными.) Языки программирования которые считаются важными для специалистов по данным, — это Python, R, SQL, Git и GitHub.
Ожидается, что инженеры по машинному обучению будут знание Java, R, Python и C++, а также при использовании библиотек машинного обучения, таких как CNTK от Microsoft, MLlib от Apache Spark и TensorFlow от Google. Также ожидается, что они будут хорошо разбираться в веб-API, а также динамических и статических библиотеках API.
Перспективы для инженеров машинного обучения и специалистов по обработке данных
BLS прогнозирует, что количество рабочих мест, доступных для специалистов по данным, увеличится рост на 36% между 2021 и 2031 годами, что намного быстрее, чем средний рост во всех профессиях.
Всемирный экономический форум «Отчет о будущем рабочих мест 2023В отчете отмечается, что 30% опрошенных компаний намерены уделить приоритетное внимание обучению работников применению ИИ и больших данных в следующем году. пять лет.
Оценка заработной платы специалистов по обработке данных включает отчеты BLS о средняя годовая заработная плата 100,910 XNUMX долларов по состоянию на май 2021 года, а опрос PayScale показывает, средняя базовая зарплата 99,344 XNUMX долларов США в 2023 году — в диапазоне от 71,000 138,000 до XNUMX XNUMX долларов в год.
PayScale, напротив, ставит средняя базовая зарплата инженеров машинного обучения на уровне 115,243 80,000 долларов США в диапазоне от примерно 157,000 XNUMX до XNUMX XNUMX долларов США в год.
По данным PayScale, наибольшее влияние на зарплаты инженеров по машинному обучению оказывают навыки обработки изображений (на 26 % выше среднего), обучение с подкреплением (выше на 22 %), DevOps (выше на 22 %) и Scala (на 20 %). выше).
Заработная плата специалиста по данным увеличивается за счет владения навыками программирования на C++ (на 42% выше среднего), кибербезопасности (выше на 39%), исследовательского анализа (выше на 26%), библиотеки программного обеспечения PyTorch (выше на 24%) и прогнозирования (выше на 22%). ).
Растущей областью для ученых, занимающихся данными, являются квантовые вычисления, в частности квантовая информатика – что требует знаний квантовой механики и использования квантовых алгоритмов в приложениях для решения проблем.
Аналогичным образом, инженеры машинного обучения могут ожидать улучшения своих перспектив трудоустройства в ближайшие годы в результате появления генеративный ИИ, который, как ожидается, добавит экономическая стоимость целых 4.4 триллиона долларов за счет повышения общей производительности, согласно отчету McKinsey «Перспективы технологических тенденций на 2023 год».
Инженер по машинному обучению и специалист по данным: на гребне следующей технологической волны
Технологии искусственного интеллекта окажут огромное влияние на экономику и рынки труда во всем мире в ближайшие годы, но, как и в случае с любой технологией, меняющей правила игры, здесь будут победители и проигравшие. По оценкам Центра исследований экономической политики (CEPR), ИИ увеличивать глобальный рост на 4–6% каждый год, по сравнению со средним ежегодным ростом на 4% за последние несколько десятилетий.
Влияние ИИ на занятость менее однозначно, но, по оценкам Всемирного экономического форума, хотя ИИ заменит 85 миллионов рабочих мест по всему миру в период с 2020 по 2025 гг., он также создать 97 миллионов рабочих мест, прежде всего в таких областях, как большие данные, машинное обучение и цифровой маркетинг. Как показывают эти цифры, спрос на инженеров по машинному обучению и специалистов по обработке данных, вероятно, останется высоким в течение многих лет.
Изображение использовано по лицензии Shutterstock.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://www.dataversity.net/machine-learning-engineer-vs-data-scientist/
- :имеет
- :является
- 000
- 2020
- 2021
- 2023
- 2025
- 2031
- 224
- 300
- 97
- a
- О нас
- По
- активно
- сообразительность
- адрес
- искусный
- приход
- AI
- AI в бизнесе
- алгоритмы
- Все
- причислены
- Amazon
- Шлюз API Amazon
- среди
- количество
- an
- анализ
- Аналитические фармацевтические услуги
- аналитика
- и
- годовой
- апаш
- API
- API
- Приложения
- Применить
- Применение
- Архитекторы
- МЫ
- области
- около
- прибывший
- искусственный
- искусственный интеллект
- Искусственный интеллект (AI)
- AS
- Помощь
- At
- доступен
- в среднем
- AWS
- Лазурный
- фон
- фоны
- Использование темпера с изогнутым основанием
- BE
- становление
- за
- Лучшая
- между
- большой
- Big Data
- повышение
- Повышенный
- изоферменты печени
- шире
- Строители
- офис
- бюро статистики труда
- растущий
- бизнес
- бизнес-аналитика
- деловые процессы
- но
- by
- C + +
- CAN
- Карьера
- карьера
- Категории
- Центр
- определенный
- Выбирая
- Уборка
- облако
- Облачная платформа
- лыжных шлемов
- как
- приход
- Связь
- Связь
- Компании
- сравненный
- комплемент
- дополнительный
- компьютер
- Информатика
- вычисление
- понятия
- Свяжитесь
- значительный
- считается
- контраст
- контроль
- конвертировать
- Создайте
- создание
- критической
- изготовленный на заказ
- передовой
- Информационная безопасность
- данным
- анализ данных
- Анализ данных
- Подготовка данных
- наука о данных
- ученый данных
- наборы данных
- визуализация данных
- База данных
- ДАТАВЕРСИЯ
- дня в день
- десятилетия
- решать
- глубоко
- глубокое обучение
- Спрос
- развертывание
- Проект
- Развитие
- Инструменты разработки
- Устройства
- DevOps
- диагностический
- отличаться
- Различия
- Интернет
- цифровой маркетинг
- непосредственно
- выделить
- динамический
- каждый
- Экономические
- Экономический форум
- Экономическая политика
- экономия
- Edge
- Обучение
- образовательных
- эффект
- эффективный
- подчеркивает
- занятость
- охватывала
- инженер
- Проект и
- Инженеры
- повышать
- существенный
- Оценки
- Каждая
- пример
- Excel
- захватывающий
- ожидать
- ожидаемый
- опыт
- быстрее
- несколько
- поле
- Поля
- цифры
- в заключение
- 5
- гибкого
- Что касается
- Forbes
- Прогнозы
- Форум
- от
- функциональная
- функционирование
- будущее
- шлюз
- сбор
- порождать
- идти
- GitHub
- Глобальный
- цель
- Цели
- google ai
- Google Cloud
- Виртуальная платформа Google
- Графические процессоры
- величайший
- Рост
- Есть
- помогает
- High
- высший
- Как
- HTTPS
- Людей
- Обман
- IBM
- IBM Cloud
- определения
- изображение
- Влияние
- реализация
- важную
- улучшать
- in
- углубленный
- включают
- включает в себя
- В том числе
- Увеличение
- повышение
- указывать
- с указанием
- информация
- интегрировать
- Интеллекта
- Умный
- намереваться
- интерпретация
- в
- включать в себя
- вовлеченный
- IT
- Java
- работа
- Джобс
- отчет о рабочих местах
- знания
- Kubeflow
- труд
- язык
- Языки
- Задержка
- изучение
- обучающиеся инженеры
- Меньше
- библиотеки
- Библиотека
- Лицензия
- Вероятно
- Живет
- Проигравшие
- машина
- обучение с помощью машины
- техническое обслуживание
- сделать
- управление
- многих
- Маркетинг
- Области применения:
- магистра
- Совпадение
- математический
- математика
- макс-ширина
- Май..
- McKinsey
- механика
- Участники
- Память
- Метаданные
- Microsoft
- Microsoft Azure
- Microsoft Excel
- миллиона
- ML
- модель
- Тестирование модели
- моделирование
- Модели
- БОЛЕЕ
- более эффективным
- самых
- много
- должен
- необходимо
- необходимый
- Neptune
- сеть
- следующий
- НЛП
- номер
- of
- on
- постоянный
- операционный
- операция
- оперативный
- Операционный отдел
- оптимизация
- Оптимизировать
- оптимизирующий
- or
- организации
- Другое
- наши
- внешний
- Outlook
- внешнюю
- за
- общий
- мимо
- паттеранами
- для
- производительность
- Мест
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- пунктов
- политика
- должность
- позиции
- обладать
- мощный
- интеллектуального
- подготовка
- Presentations
- в первую очередь
- Расставляйте приоритеты
- решение проблем
- проблемам
- Процессы
- обработка
- Производство
- производительность
- выгодную
- Программирование
- обещание
- перспектива
- Оферты
- Питон
- pytorch
- квалификации
- Квантовый
- квантовые алгоритмы
- квантовые вычисления
- Квантовая механика
- R
- гоночный
- ассортимент
- понимая,
- усиление обучения
- Отношения
- полагаться
- оставаться
- замещать
- отчету
- Reporting
- требовать
- требуется
- исследованиям
- ответственности
- результат
- Роли
- роли
- Run
- s
- зарплаты
- заработная плата
- ПАВ
- масштаб
- масштабируемые
- Наука
- Ученый
- Ученые
- видя
- набор
- Наборы
- настройки
- сходство
- Размеры
- умение
- навыки
- Software
- разработка программного обеспечения
- специалисты
- SQL
- этапы
- статистический
- статистика
- сильный
- Структура
- структур
- такие
- подходящее
- Опрос
- опрошенных
- система
- системы
- команда
- технологии
- Технический
- снижения вреда
- технологии
- Технологии
- Тенденцию
- tensorflow
- Тестирование
- чем
- который
- Ассоциация
- мир
- их
- Там.
- Эти
- они
- мышление
- Через
- пропускная способность
- время
- в
- инструменты
- Обучение
- Transform
- прозрачный
- огромный
- Тенденции
- Триллион
- Тьюринга
- два
- Типы
- типично
- нам
- под
- лежащий в основе
- понимание
- использование
- используемый
- через
- Проверка
- версия
- контроль версий
- визуализация
- жизненный
- vs
- заработная плата
- Путь..
- способы
- Web
- ЧТО Ж
- будь то
- который
- в то время как
- КТО
- будете
- Победители
- в
- без
- Работа
- рабочие
- Рабочие процессы
- Мир
- Всемирный экономический форум
- по всему миру
- письменный
- год
- лет
- являетесь
- ВАШЕ
- зефирнет