Introducción a la computación en la nube para la ciencia de datos - KDnuggets

Reeditado por Platón

seguidores: 0

Introducción a la computación en la nube para la ciencia de datos
Imagen de starline

En el mundo actual, han surgido dos fuerzas principales que están cambiando las reglas del juego:

Ciencia de datos y computación en la nube.

Imagine un mundo donde cada segundo se generan cantidades colosales de datos.

Bueno… no tienes que imaginarlo… ¡Es nuestro mundo!

Desde las interacciones en las redes sociales hasta las transacciones financieras, desde los registros sanitarios hasta las preferencias del comercio electrónico, los datos están en todas partes.

Pero, ¿de qué sirven estos datos si no podemos obtener valor?

Eso es exactamente lo que hace la ciencia de datos.

¿Y dónde almacenamos, procesamos y analizamos estos datos?

Ahí es donde brilla la computación en la nube.

Embárcate en un viaje para comprender la relación entrelazada entre estas dos maravillas tecnológicas.

¡Intentemos) descubrirlo todos juntos!

¿Ciencia de datos? -? El arte de extraer conocimientos

La ciencia de datos es el arte y la ciencia de extraer información significativa a partir de datos vastos y variados.

Combina experiencia de varios dominios, como estadística y aprendizaje automático, para interpretar datos y tomar decisiones informadas.

Con la explosión de datos, el papel de los científicos de datos se ha vuelto primordial para convertir los datos en bruto en oro.

¿Computación en la nube? -? La revolución del almacenamiento digital

La computación en la nube se refiere a la prestación de servicios informáticos bajo demanda a través de Internet.

Ya sea que necesitemos almacenamiento, potencia de procesamiento o servicios de bases de datos, Cloud Computing ofrece un entorno flexible y escalable para que empresas y profesionales operen sin los gastos generales de mantenimiento de la infraestructura física.

Sin embargo, la mayoría de ustedes deben estar pensando ¿por qué están relacionados?

Volvamos al principio…

Hay dos razones principales por las que la computación en la nube se ha convertido en un componente fundamental o complementario de la ciencia de datos.

#1. La necesidad imperiosa de colaborar

Al comienzo de su viaje en ciencia de datos, los profesionales de datos junior generalmente inician configurando Python y R en sus computadoras personales. Posteriormente, escriben y ejecutan código utilizando un entorno de desarrollo integrado (IDE) local como la aplicación Jupyter Notebook o RStudio.

Sin embargo, a medida que los equipos de ciencia de datos se expanden y los análisis avanzados se vuelven más comunes, existe una creciente demanda de herramientas colaborativas para brindar conocimientos, análisis predictivos y sistemas de recomendación.

Es por eso que la necesidad de herramientas colaborativas se vuelve primordial. Estas herramientas, esenciales para obtener conocimientos, análisis predictivos y sistemas de recomendación, se ven reforzadas por investigaciones reproducibles, herramientas portátiles y control de fuente de código. La integración de plataformas basadas en la nube amplifica aún más este potencial de colaboración.

Introducción a la computación en la nube para la ciencia de datos
Imagen de macrovector

Es fundamental tener en cuenta que la colaboración no se limita únicamente a los equipos de ciencia de datos.

Abarca una variedad mucho más amplia de personas, incluidas partes interesadas como ejecutivos, líderes departamentales y otros roles centrados en datos.

#2. La era de los grandes datos

El término Big Data ha ganado popularidad, particularmente entre las grandes empresas de tecnología. Si bien su definición exacta sigue siendo difícil de alcanzar, generalmente se refiere a conjuntos de datos que son tan vastos que superan las capacidades de los sistemas de bases de datos y métodos analíticos estándar.

Estos conjuntos de datos exceden los límites de las herramientas de software y sistemas de almacenamiento típicos en términos de captura, almacenamiento, gestión y procesamiento de datos en un período de tiempo razonable.

Al considerar Big Data, recuerda siempre las 3 V:

Volumen: Se refiere a la gran cantidad de datos.
Variedad: Señala los diversos formatos, tipos y aplicaciones analíticas de los datos.
Velocidad: Indica la velocidad a la que evolucionan o se generan los datos.

A medida que los datos continúan creciendo, existe una necesidad urgente de contar con infraestructuras más poderosas y técnicas de análisis más eficientes.

Entonces, estas dos razones principales son las que explican por qué nosotros, como científicos de datos, necesitamos escalar más allá de las computadoras locales.

En lugar de poseer su propia infraestructura informática o centros de datos, las empresas y los profesionales pueden alquilar el acceso a cualquier cosa, desde aplicaciones hasta almacenamiento, a un proveedor de servicios en la nube.

Esto permite a las empresas y profesionales pagar por lo que utilizan cuando lo utilizan, en lugar de lidiar con el costo y la complejidad de mantener una infraestructura de TI local propia.

En pocas palabras, Computación en la nube (Cloud Computing) es la entrega de servicios informáticos bajo demanda, desde aplicaciones hasta almacenamiento y potencia de procesamiento, normalmente a través de Internet y mediante un sistema de pago por uso.

En cuanto a los proveedores más comunes, estoy bastante seguro de que todos conocéis al menos uno de ellos. Google (Google Cloud), Amazon (Amazon Web Services) y Microsoft (Microsoft Azure son las tres tecnologías de nube más comunes y controlan casi todo el mercado.

El término cloud Puede parecer abstracto, pero tiene un significado tangible.

En esencia, la nube se trata de computadoras en red que comparten recursos. Piense en Internet como la red informática más amplia, mientras que los ejemplos más pequeños incluyen redes domésticas como LAN o WiFi SSID. Estas redes comparten recursos que van desde páginas web hasta almacenamiento de datos.

En estas redes, las computadoras individuales se denominan nodos. Se comunican mediante protocolos como HTTP para diversos fines, incluidas actualizaciones de estado y solicitudes de datos. A menudo, estas computadoras no están en el sitio sino en centros de datos equipados con infraestructura esencial.

Con la asequibilidad de las computadoras y el almacenamiento, ahora es común usar varias computadoras interconectadas en lugar de una costosa central eléctrica. Este enfoque interconectado garantiza un funcionamiento continuo incluso si falla una computadora y permite que el sistema maneje cargas mayores.

Plataformas populares como Twitter, Facebook y Netflix son ejemplos de aplicaciones basadas en la nube que pueden gestionar millones de usuarios diarios sin fallar. Cuando las computadoras en la misma red colaboran para un objetivo común, se llama grupo.

Los clústeres, que actúan como una unidad singular, ofrecen rendimiento, disponibilidad y escalabilidad mejorados.

Computación distribuída Se refiere al software diseñado para utilizar grupos para tareas específicas, como Hadoop y Spark.

Entonces… de nuevo… ¿qué es la nube?

Más allá de los recursos compartidos, la nube abarca servidores, servicios, redes y más, administrados por una única entidad.

Si bien Internet es una red vasta, no es una nube, ya que ninguna de las partes es propietaria de ella.

En resumen, la ciencia de datos y la computación en la nube son dos caras de la misma moneda.

Data Science proporciona a los profesionales toda la teoría y técnicas necesarias para extraer valor de los datos.

Cloud Computing es quien otorga la infraestructura para almacenar y procesar estos mismos datos.

Mientras el primero nos brinda el conocimiento para evaluar cualquier proyecto, el segundo nos brinda la factibilidad para ejecutarlo.

Juntos forman un poderoso tándem que está fomentando la innovación tecnológica.

A medida que avancemos, la sinergia entre estos dos se fortalecerá, allanando el camino para un futuro más impulsado por los datos.

¡Acepte el futuro, porque está impulsado por datos y impulsado por la nube!

Josep Ferrer es un ingeniero analítico de Barcelona. Se graduó en ingeniería física y actualmente trabaja en el campo de la Ciencia de Datos aplicada a la movilidad humana. Es un creador de contenido a tiempo parcial centrado en la ciencia y la tecnología de datos. Puedes contactarlo en Etiqueta LinkedIn, Twitter or Mediana.