Introdução à computação em nuvem para ciência de dados - KDnuggets

Republicado por Platão

seguidores: 0

Introdução à computação em nuvem para ciência de dados
Imagem por linha estelar

No mundo de hoje, duas forças principais emergiram como transformadoras:

Ciência de Dados e Computação em Nuvem.

Imagine um mundo onde quantidades colossais de dados são geradas a cada segundo.

Bem… você não precisa imaginar… É o nosso mundo!

Desde interações nas redes sociais até transações financeiras, desde registros de saúde até preferências de comércio eletrônico, os dados estão em toda parte.

Mas de que adianta esses dados se não conseguimos obter valor?

É exatamente isso que a Ciência de Dados faz.

E onde armazenamos, processamos e analisamos esses dados?

É aí que a computação em nuvem brilha.

Vamos embarcar em uma jornada para compreender a relação entrelaçada entre essas duas maravilhas tecnológicas.

Vamos (tentar) descobrir tudo juntos!

Ciência de dados?-?A arte de desenhar insights

Data Science é a arte e a ciência de extrair insights significativos de dados vastos e variados.

Combina conhecimentos de vários domínios, como estatística e aprendizagem de máquina, para interpretar dados e tomar decisões informadas.

Com a explosão dos dados, o papel dos cientistas de dados tornou-se fundamental na transformação de dados brutos em ouro.

Computação em nuvem?-?A revolução do armazenamento digital

A computação em nuvem refere-se à entrega sob demanda de serviços de computação pela Internet.

Quer precisemos de armazenamento, poder de processamento ou serviços de banco de dados, a computação em nuvem oferece um ambiente flexível e escalável para empresas e profissionais operarem sem as despesas gerais de manutenção da infraestrutura física.

No entanto, a maioria de vocês deve estar pensando por que eles estão relacionados?

Voltemos ao início…

Existem duas razões principais pelas quais a computação em nuvem emergiu como um componente fundamental - ou complementar - da ciência de dados.

#1. A necessidade imperiosa de colaborar

No início de sua jornada em ciência de dados, os profissionais de dados juniores geralmente iniciam configurando Python e R em seus computadores pessoais. Posteriormente, eles escrevem e executam código usando um ambiente de desenvolvimento integrado (IDE) local, como Jupyter Notebook Application ou RStudio.

No entanto, à medida que as equipas de ciência de dados se expandem e a análise avançada se torna mais comum, há uma procura crescente por ferramentas colaborativas para fornecer insights, análises preditivas e sistemas de recomendação.

É por isso que a necessidade de ferramentas colaborativas se torna fundamental. Essas ferramentas, essenciais para obter insights, análises preditivas e sistemas de recomendação, são reforçadas por pesquisas reproduzíveis, ferramentas de notebook e controle de código-fonte. A integração de plataformas baseadas na nuvem amplifica ainda mais este potencial colaborativo.

Introdução à computação em nuvem para ciência de dados
Imagem por macrovetor

É crucial observar que a colaboração não se limita apenas às equipes de ciência de dados.

Abrange uma variedade muito mais ampla de pessoas, incluindo partes interessadas como executivos, líderes departamentais e outras funções centradas em dados.

#2. A era do Big Data

O termo Big Data aumentou em popularidade, especialmente entre grandes empresas de tecnologia. Embora sua definição exata permaneça indefinida, geralmente se refere a conjuntos de dados que são tão vastos que ultrapassam as capacidades dos sistemas de banco de dados padrão e dos métodos analíticos.

Esses conjuntos de dados excedem os limites das ferramentas de software e sistemas de armazenamento típicos em termos de captura, armazenamento, gerenciamento e processamento de dados em um prazo razoável.

Ao considerar Big Data, lembre-se sempre dos 3 V’s:

Volume: Refere-se à grande quantidade de dados.
Variedade: Aponta para os diversos formatos, tipos e aplicações analíticas de dados.
Velocidade: Indica a velocidade com que os dados evoluem ou são gerados.

À medida que os dados continuam a crescer, há uma necessidade urgente de infra-estruturas mais poderosas e técnicas de análise mais eficientes.

Portanto, essas duas razões principais são as razões pelas quais nós - como cientistas de dados - precisamos ir além dos computadores locais.

Em vez de possuir sua própria infraestrutura de computação ou data centers, empresas e profissionais podem alugar acesso a qualquer coisa, desde aplicativos até armazenamento, de um provedor de serviços em nuvem.

Isso permite que empresas e profissionais paguem pelo que usam quando usam, em vez de lidar com o custo e a complexidade de manter uma infraestrutura de TI local – própria.

Então, para simplificar, Cloud Computing é a entrega de serviços de computação sob demanda? - desde aplicativos até armazenamento e poder de processamento? - normalmente pela Internet e com base no pagamento conforme o uso.

Em relação aos provedores mais comuns, tenho certeza de que todos vocês conhecem pelo menos um deles. Google (Google Cloud), Amazon (Amazon Web Services) e Microsoft (Microsoft Azure são as três tecnologias de nuvem mais comuns e controlam quase todo o mercado.

O termo Nuvem pode parecer abstrato, mas tem um significado tangível.

Basicamente, a nuvem trata de computadores em rede compartilhando recursos. Pense na Internet como a rede de computadores mais expansiva, enquanto exemplos menores incluem redes domésticas como LAN ou WiFi SSID. Essas redes compartilham recursos que vão desde páginas da web até armazenamento de dados.

Nessas redes, os computadores individuais são denominados nós. Eles se comunicam usando protocolos como HTTP para diversos fins, incluindo atualizações de status e solicitações de dados. Muitas vezes, esses computadores não estão no local, mas sim em data centers equipados com infraestrutura essencial.

Com a acessibilidade dos computadores e do armazenamento, agora é comum usar vários computadores interconectados em vez de uma central elétrica cara. Essa abordagem interconectada garante operação contínua mesmo se um computador falhar e permite que o sistema lide com cargas maiores.

Plataformas populares como Twitter, Facebook e Netflix exemplificam aplicativos baseados em nuvem que podem gerenciar milhões de usuários diários sem travar. Quando computadores na mesma rede colaboram para um objetivo comum, isso é chamado de cacho.

Os clusters, agindo como uma unidade singular, oferecem desempenho, disponibilidade e escalabilidade aprimorados.

Computação distribuída refere-se a software projetado para utilizar cachos para tarefas específicas, como Hadoop e Spark.

Então... de novo... o que é a nuvem?

Além dos recursos compartilhados, a nuvem abrange servidores, serviços, redes e muito mais, gerenciados por uma única entidade.

Embora a Internet seja uma vasta rede, não é uma nuvem, uma vez que nenhuma parte é proprietária dela.

Resumindo, Ciência de Dados e Computação em Nuvem são as duas faces da mesma moeda.

Data Science fornece aos profissionais toda a teoria e técnicas necessárias para extrair valor dos dados.

Cloud Computing é quem concede infraestrutura para armazenar e processar esses mesmos dados.

Enquanto o primeiro nos dá o conhecimento para avaliar qualquer projeto, o segundo nos dá a viabilidade de executá-lo.

Juntos, eles formam um conjunto poderoso que promove a inovação tecnológica.

À medida que avançamos, a sinergia entre estes dois ficará mais forte, abrindo caminho para um futuro mais baseado em dados.

Abrace o futuro, pois ele é orientado por dados e alimentado pela nuvem!

Joseph Ferrer é um engenheiro analítico de Barcelona. Formou-se em engenharia física e atualmente trabalha na área de Data Science aplicada à mobilidade humana. Ele é um criador de conteúdo em tempo parcial focado em ciência e tecnologia de dados. Você pode contatá-lo em LinkedIn, Twitter or Médio.