데이터 과학을 위한 클라우드 컴퓨팅 소개 - KDnuggets

플라톤에 의해 재발행

팔로워 : 0

데이터 과학을 위한 클라우드 컴퓨팅 소개
이미지로 스타라인

오늘날 세계에서는 두 가지 주요 세력이 게임 체인저로 등장했습니다.

데이터 과학 및 클라우드 컴퓨팅.

매초마다 엄청난 양의 데이터가 생성되는 세상을 상상해 보세요.

글쎄... 상상하지 않아도 됩니다... 그곳은 우리의 세상입니다!

소셜 미디어 상호작용부터 금융 거래, 의료 기록부터 전자상거래 선호도까지 데이터는 어디에나 있습니다.

하지만 가치를 얻을 수 없다면 이 데이터가 무슨 소용이 있을까요?

이것이 바로 데이터 과학이 하는 일입니다.

그리고 우리는 이 데이터를 어디에 저장, 처리, 분석합니까?

클라우드 컴퓨팅이 빛을 발하는 곳이 바로 여기입니다.

이 두 기술의 경이로움 사이의 얽힌 관계를 이해하기 위한 여정을 시작해 보겠습니다.

모두 함께 발견해 볼까요!

데이터 과학?-?인사이트를 그리는 기술

데이터 과학은 방대하고 다양한 데이터에서 의미 있는 통찰력을 추출하는 기술이자 과학입니다.

통계, 기계 학습 등 다양한 분야의 전문 지식을 결합하여 데이터를 해석하고 정보에 입각한 결정을 내립니다.

데이터가 폭발적으로 증가함에 따라 원시 데이터를 금으로 바꾸는 데 데이터 과학자의 역할이 가장 중요해졌습니다.

클라우드 컴퓨팅?-?디지털 스토리지 혁명

클라우드 컴퓨팅은 인터넷을 통해 컴퓨팅 서비스를 주문형으로 제공하는 것을 말합니다.

스토리지, 처리 능력 또는 데이터베이스 서비스가 필요한지 여부에 관계없이 클라우드 컴퓨팅은 기업과 전문가가 물리적 인프라를 유지 관리하는 오버헤드 없이 운영할 수 있는 유연하고 확장 가능한 환경을 제공합니다.

그런데 여러분 중 대부분은 왜 연관되어 있는지 생각하고 계실 것입니다.

처음으로 돌아가자…

클라우드 컴퓨팅이 데이터 과학의 중추적 또는 보완적 구성 요소로 등장한 데에는 두 가지 주요 이유가 있습니다.

#1. 협업의 절실한 필요성

데이터 과학 여정을 시작할 때 후배 데이터 전문가는 일반적으로 개인용 컴퓨터에 Python과 R을 설정하는 것으로 시작합니다. 그런 다음 Jupyter 노트북 애플리케이션 또는 RStudio와 같은 로컬 통합 개발 환경(IDE)을 사용하여 코드를 작성하고 실행합니다.

그러나 데이터 과학 팀이 확장되고 고급 분석이 더욱 일반화됨에 따라 통찰력, 예측 분석 및 추천 시스템을 제공하는 협업 도구에 대한 수요가 증가하고 있습니다.

이것이 협업 도구의 필요성이 가장 중요한 이유입니다. 통찰력 도출, 예측 분석 및 추천 시스템에 필수적인 이러한 도구는 재현 가능한 연구, 노트북 도구 및 코드 소스 제어를 통해 강화됩니다. 클라우드 기반 플랫폼의 통합은 이러한 협업 잠재력을 더욱 증폭시킵니다.

데이터 과학을 위한 클라우드 컴퓨팅 소개
이미지로 매크로 벡터

협업이 데이터 과학 팀에만 국한되지 않는다는 점을 기억하는 것이 중요합니다.

여기에는 경영진, 부서 리더 및 기타 데이터 중심 역할과 같은 이해관계자를 포함하여 훨씬 더 다양한 사람들이 포함됩니다.

#2. 빅데이터 시대

용어 빅 데이터 특히 대형 기술 기업들 사이에서 인기가 급상승했습니다. 정확한 정의는 아직 파악하기 어렵지만, 일반적으로 표준 데이터베이스 시스템 및 분석 방법의 기능을 능가할 정도로 방대한 데이터세트를 의미합니다.

이러한 데이터 세트는 합리적인 기간 내에 데이터를 캡처, 저장, 관리 및 처리하는 측면에서 일반적인 소프트웨어 도구 및 스토리지 시스템의 한계를 초과합니다.

빅데이터를 고려할 때 항상 3V를 기억하세요.

음량: 엄청난 양의 데이터를 나타냅니다.
종류: 데이터의 다양한 형식, 유형 및 분석 적용을 나타냅니다.
Velocity : 데이터가 발전하거나 생성되는 속도를 나타냅니다.

데이터가 계속해서 증가함에 따라 더욱 강력한 인프라와 보다 효율적인 분석 기술이 절실히 필요합니다.

따라서 이 두 가지 주요 이유는 우리가 데이터 과학자로서 로컬 컴퓨터 이상으로 확장해야 하는 이유입니다.

기업과 전문가는 자체 컴퓨팅 인프라나 데이터 센터를 소유하는 대신 클라우드 서비스 제공업체로부터 애플리케이션부터 스토리지까지 모든 것에 대한 액세스를 임대할 수 있습니다.

이를 통해 기업과 전문가는 사용할 때 사용한 만큼만 비용을 지불할 수 있습니다. 로컬 IT 인프라를 자체적으로 유지 관리하는 데 드는 비용과 복잡성을 처리하는 대신

간단히 말해서 생명과학 혁신을 위한 주문형 컴퓨팅 서비스는 애플리케이션에서 스토리지 및 처리 능력까지 일반적으로 인터넷을 통해 종량제 방식으로 제공됩니다.

가장 일반적인 공급자에 관해서는 여러분 모두가 그 중 적어도 하나에 대해 잘 알고 있다고 확신합니다. Google(Google Cloud), Amazon(Amazon Web Services) 및 Microsoft(Microsoft Azure)는 가장 일반적인 세 가지 클라우드 기술로 자리 잡고 있으며 거의 모든 시장을 통제합니다.

용어 클라우드 추상적으로 들릴 수도 있지만 실질적인 의미가 있습니다.

클라우드의 핵심은 네트워크로 연결된 컴퓨터가 리소스를 공유하는 것입니다. 인터넷을 가장 광범위한 컴퓨터 네트워크라고 생각하세요. 더 작은 예로는 LAN이나 WiFi SSID와 같은 홈 네트워크가 있습니다. 이러한 네트워크는 웹페이지부터 데이터 저장소까지 다양한 리소스를 공유합니다.

이러한 네트워크에서는 개별 컴퓨터를 개인 컴퓨터라고 합니다. 노드. 상태 업데이트 및 데이터 요청을 포함한 다양한 목적을 위해 HTTP와 같은 프로토콜을 사용하여 통신합니다. 이러한 컴퓨터는 현장이 아닌 필수 인프라를 갖춘 데이터 센터에 있는 경우가 많습니다.

컴퓨터와 스토리지의 경제성으로 인해 이제 하나의 값비싼 컴퓨터 대신 상호 연결된 여러 대의 컴퓨터를 사용하는 것이 일반적입니다. 이러한 상호 연결된 접근 방식은 한 대의 컴퓨터에 오류가 발생하더라도 지속적인 작동을 보장하고 시스템이 증가된 로드를 처리할 수 있도록 해줍니다.

Twitter, Facebook, Netflix와 같은 인기 있는 플랫폼은 충돌 없이 매일 수백만 명의 사용자를 관리할 수 있는 클라우드 기반 애플리케이션의 예입니다. 동일한 네트워크에 있는 컴퓨터들이 공통의 목표를 위해 협력하는 것을 '협력'이라고 합니다. 클러스터.

단일 단위로 작동하는 클러스터는 향상된 성능, 가용성 및 확장성을 제공합니다.

분산 컴퓨팅 활용하도록 설계된 소프트웨어를 말합니다. 클러스터 Hadoop 및 Spark와 같은 특정 작업에 사용됩니다.

그럼... 또... 클라우드가 뭐죠?

공유 리소스 외에도 클라우드는 단일 엔터티에서 관리하는 서버, 서비스, 네트워크 등을 포괄합니다.

인터넷은 광대한 네트워크이지만 어느 누구도 이를 소유하지 않으므로 클라우드는 아닙니다.

요약하자면, 데이터 과학과 클라우드 컴퓨팅은 동전의 양면입니다.

데이터 과학은 전문가에게 데이터에서 가치를 추출하는 데 필요한 모든 이론과 기술을 제공합니다.

클라우드 컴퓨팅은 이와 동일한 데이터를 저장하고 처리할 수 있는 인프라를 제공하는 것입니다.

첫 번째는 모든 프로젝트를 평가할 수 있는 지식을 제공하는 반면, 두 번째는 이를 실행할 수 있는 타당성을 제공합니다.

이들은 함께 기술 혁신을 촉진하는 강력한 협력체를 형성합니다.

우리가 앞으로 나아갈수록 이 둘 사이의 시너지 효과는 더욱 강력해지며 더욱 데이터 중심적인 미래를 위한 길을 열어줄 것입니다.

데이터 기반 및 클라우드 기반 미래를 수용하세요!

조셉 페레르 바르셀로나 출신의 분석 엔지니어입니다. 물리공학과를 졸업하고 현재 인간의 이동성을 응용한 데이터 사이언스 분야에서 일하고 있다. 그는 데이터 과학 및 기술에 중점을 둔 파트 타임 콘텐츠 제작자입니다. 당신은 그에게 연락 할 수 있습니다 링크드인, 트위터 or 중급.