Günümüzün veri odaklı dünyasında, verileri farklı platformlar arasında zahmetsizce taşıma ve analiz etme yeteneği çok önemlidir. Amazon Uygulama AkışıTamamen yönetilen bir veri entegrasyonu hizmeti olan , AWS hizmetleri, hizmet olarak yazılım (SaaS) uygulamaları ve şimdi de Google BigQuery arasındaki veri aktarımını kolaylaştırma konusunda ön sıralarda yer almaktadır. Bu blog yazısında yeni şeyleri keşfedeceksiniz Google BigQuery bağlayıcı Amazon AppFlow'da ve Google'ın veri ambarından veri ambarına veri aktarma sürecini nasıl basitleştirdiğini keşfedin Amazon Basit Depolama Hizmeti (Amazon S3)Çoklu bulut veri erişiminin demokratikleştirilmesi de dahil olmak üzere, veri profesyonelleri ve kuruluşları için önemli faydalar sağlar.
Amazon AppFlow'a Genel Bakış
Amazon Uygulama Akışı Google BigQuery, Salesforce, SAP, Hubspot ve ServiceNow gibi SaaS uygulamaları ile Amazon S3 ve AWS hizmetleri arasında güvenli bir şekilde veri aktarmak için kullanabileceğiniz, tam olarak yönetilen bir entegrasyon hizmetidir. Amazon Kırmızıya Kaydırmasadece birkaç tıklamayla. Amazon AppFlow ile veri akışlarını hemen hemen her ölçekte, seçtiğiniz sıklıkta (planlı olarak, bir iş olayına yanıt olarak veya talep üzerine) çalıştırabilirsiniz. Ek adımlara gerek kalmadan akışın bir parçası olarak zengin, kullanıma hazır veriler oluşturmak için filtreleme ve doğrulama gibi veri dönüştürme yeteneklerini yapılandırabilirsiniz. Amazon AppFlow, hareket halindeki verileri otomatik olarak şifreler ve Amazon AppFlow ile entegre olan SaaS uygulamaları için verilerin genel internet üzerinden akışını kısıtlamanıza olanak tanır. AWS Özel Bağlantıgüvenlik tehditlerine maruz kalma oranını azaltır.
Google BigQuery bağlayıcıyla tanışın
Yeni Google BigQuery bağlayıcı Amazon AppFlow, Google'ın veri ambarının analitik yeteneğini kullanmak ve BigQuery'deki verileri zahmetsizce entegre etmek, analiz etmek, depolamak veya daha fazla işleyerek bunları eyleme geçirilebilir içgörülere dönüştürmek isteyen kuruluşlar için olanakları ortaya koyuyor.
mimari
Amazon AppFlow'u kullanarak Google BigQuery'den Amazon S3'e veri aktarmaya yönelik mimariyi inceleyelim.
- Bir veri kaynağı seçin: İçinde Amazon Uygulama Akışı, veri kaynağınız olarak Google BigQuery'yi seçin. Veri çıkarmak istediğiniz tabloları veya veri kümelerini belirtin.
- Saha eşleme ve dönüşüm: Amazon AppFlow'un sezgisel görsel arayüzünü kullanarak veri aktarımını yapılandırın. Verileri gereksinimlerinize göre hizalamak için veri alanlarını eşleyebilir ve gerektiği şekilde dönüşümler uygulayabilirsiniz.
- Aktarım sıklığı: Esnekliği ve otomasyonu destekleyerek verileri ne sıklıkta (günlük, haftalık veya aylık gibi) aktarmak istediğinize karar verin.
- Hedef: Verilerinizin hedefi olarak bir S3 paketi belirtin. Amazon AppFlow, verileri verimli bir şekilde taşıyarak Amazon S3 depolama alanınızda erişilebilir hale getirir.
- Tüketim: Kullanım Amazon Atina Amazon S3'teki verileri analiz etmek için.
Önkoşullar
Bu çözümde kullanılan veri kümesi, sentezsentetik bir hasta popülasyonu simülatörü ve açık kaynak projesidir. Apache Lisansı 2.0. Bu verileri Google BigQuery'ye yükleyin veya mevcut veri kümenizi kullanın.
Amazon AppFlow'u Google BigQuery hesabınıza bağlayın
Bu gönderi için bir Google hesabı, uygun izinlere sahip OAuth istemcisi ve Google BigQuery verilerini kullanacaksınız. Amazon AppFlow'dan Google BigQuery erişimini etkinleştirmek için önceden yeni bir OAuth istemcisi ayarlamanız gerekir. Talimatlar için bkz. Amazon AppFlow için Google BigQuery bağlayıcı.
Amazon S3'ü kurun
Amazon S3'teki her nesne bir klasörde depolanır. Verileri Amazon S3'te depolayabilmeniz için önce şunları yapmanız gerekir: S3 paketi oluştur sonuçları saklamak için
Amazon AppFlow sonuçları için yeni bir S3 klasörü oluşturun
Bir S3 paketi oluşturmak için aşağıdaki adımları tamamlayın:
- AWS Yönetim konsolunda Amazon S3, seçmek Grup oluştur.
- Global olarak benzersiz bir girin kovanın adı; Örneğin,
appflow-bq-sample
. - Klinik Kova oluştur.
Amazon Athena sonuçları için yeni bir S3 klasörü oluşturun
Bir S3 paketi oluşturmak için aşağıdaki adımları tamamlayın:
- AWS Yönetim konsolunda Amazon S3, seçmek Grup oluştur.
- Global olarak benzersiz bir girin kovanın adı; Örneğin,
athena-results
. - Klinik Kova oluştur.
AWS Glue Data Catalog için kullanıcı rolü (IAM rolü)
Akışınızla aktardığınız verileri kataloglamak için uygun kullanıcı rolüne sahip olmanız gerekir. AWS Kimlik ve Erişim Yönetimi (IAM). Bu rolü, Amazon AppFlow'un bir uygulama oluşturmak için ihtiyaç duyduğu izinleri vermesi için sağlarsınız. AWS Tutkal Veri Kataloğu, tablolar, veritabanları ve bölümler.
Gerekli izinlere sahip örnek bir IAM politikası için bkz. Amazon AppFlow için kimlik tabanlı politika örnekleri.
Tasarımın izlenecek yolu
Şimdi Amazon AppFlow Google BigQuery'den Amazon S3'e bağlayıcının nasıl çalıştığını görmek için pratik bir kullanım örneğini inceleyelim. Kullanım örneğinde, uzun vadeli depolama ve analiz amacıyla geçmiş verileri Google BigQuery'den Amazon S3'e arşivlemek için Amazon AppFlow'u kullanacaksınız.
Amazon AppFlow'u kurun
Verileri Google Analytics'ten Amazon S3'e aktarmak için yeni bir Amazon AppFlow akışı oluşturun.
- Üzerinde Amazon AppFlow konsolu, seçmek Akış oluştur.
- Akışınız için bir ad girin; Örneğin,
my-bq-flow
. - Gerekli ekle Etiketler; örneğin, için anahtar girmek
env
ve için Özellik girmekdev
.
- Klinik Sonraki.
- İçin Kaynak adı, seçmek Google BigQuery.
- Klinik Yeni bağlantı oluştur.
- OAuth'unuzu girin müşteri kimliği ve Müşteri Sırrı, ardından bağlantınıza bir ad verin; Örneğin,
bq-connection
.
- Açılan pencerede amazon.com'un Google BigQuery API'sine erişmesine izin vermeyi seçin.
- İçin Google BigQuery nesnesini seçin, seçmek tablo.
- İçin Google BigQuery alt nesnesini seçin, seçmek BigQueryProjectName.
- İçin Google BigQuery alt nesnesini seçin, seçmek Veri tabanı ismi.
- İçin Google BigQuery alt nesnesini seçin, seçmek Tablo ismi.
- İçin Hedef adı, seçmek Amazon S3.
- İçin kova ayrıntılarıönkoşullarda Amazon AppFlow sonuçlarını depolamak için oluşturduğunuz Amazon S3 klasörünü seçin.
- Keşfet
raw
bir şekilde önek.
- Daha sonra sağlayın AWS Tutkal Veri Kataloğu Daha fazla analiz için bir tablo oluşturmak için ayarlar.
- seçmek Kullanıcı rolü (IAM rolü) önkoşullarda oluşturulmuştur.
- Yeni oluştur veritabanı örneğin,
healthcare
. - Bir sağlayın Tablo öneki örneğin ayarlama,
bq
.
- seç Talep üzerine çalıştırın.
- Klinik Sonraki.
- seç Alanları manuel olarak eşleyin.
- Aşağıdaki altı alanı seçin Kaynak alan adı Tablodan Alerjiler:
- Başlama
- Hasta
- Kod
- Açıklama
- Tip
- Kategoriler
- Klinik Alanları doğrudan eşleyin.
- Klinik Sonraki.
- In Filtre ekle bölümü, seçim Sonraki.
- Klinik Akış oluştur.
akışı çalıştır
Yeni akışınızı oluşturduktan sonra talep üzerine çalıştırabilirsiniz.
- Üzerinde Amazon AppFlow konsolu, seçmek
my-bq-flow
. - Klinik Akışı çalıştır.
Bu izlenecek yol için, anlaşılmasını kolaylaştırmak amacıyla işi isteğe bağlı olarak çalıştırmayı seçin. Uygulamada, zamanlanmış bir işi seçebilir ve yalnızca yeni eklenen verileri periyodik olarak çıkarabilirsiniz.
Amazon Athena aracılığıyla sorgulama
İsteğe bağlı AWS Glue Data Catalog ayarlarını seçtiğinizde Data Catalog, veriler için katalog oluşturarak Amazon Athena'nın sorgu gerçekleştirmesine olanak tanır.
Bir sorgu sonuçları konumu yapılandırmanız istenirse şuraya gidin: Ayarlar sekme ve seçim Yönet. Altında Ayarları yönet, önkoşullarda oluşturulan Athena sonuç grubunu seçin ve İndirim.
- Üzerinde Amazon Athena konsoluolarak Veri Kaynağını seçin
AWSDataCatalog
. - Sonra seçin veritabanı as
healthcare
. - Artık AWS Glue tarayıcısı tarafından oluşturulan tabloyu seçip önizleyebilirsiniz.
- Aşağıdaki sorguda gösterildiği gibi en iyi 10 alerjiyi bulmak için özel bir sorgu da çalıştırabilirsiniz.
not: Aşağıdaki sorguda tablo adını değiştirin, bu durumda bq_appflow_mybqflow_1693588670_latest
, AWS hesabınızda oluşturulan tablonun adını içerir.
- Klinik Sorguyu çalıştır.
Bu sonuç, vaka sayısına göre ilk 10 alerjiyi gösterir.
Temizlemek
Ücretlendirmeyi önlemek için aşağıdaki adımları tamamlayarak AWS hesabınızdaki kaynakları temizleyin:
- Amazon AppFlow konsolunda, Akışları Gezinti bölmesinde.
- Akış listesinden akışı seçin
my-bq-flow
ve silin. - Akışı silmek için silme girin.
- Klinik Bağlantılar Gezinti bölmesinde.
- Klinik Google BigQuery bağlayıcı listesinden seçin
bq-connector
ve silin. - Bağlayıcıyı silmek için sil girin.
- IAM konsolunda, Roller gezinme sayfasında AWS Glue tarayıcısı için oluşturduğunuz rolü seçip silin.
- Amazon Athena konsolunda:
- Veritabanı altında oluşturulan tabloları silin
healthcare
AWS Glue tarayıcısını kullanarak. - Veritabanını bırak
healthcare
- Veritabanı altında oluşturulan tabloları silin
- Amazon S3 konsolunda oluşturduğunuz Amazon AppFlow sonuç grubunu arayın, boş nesneleri silmek için, ardından kovayı silin.
- Amazon S3 konsolunda oluşturduğunuz Amazon Athena sonuç grubunu arayın, boş nesneleri silmek için, ardından kovayı silin.
- Google BigQuery kaynaklarını içeren projeyi silerek Google hesabınızdaki kaynakları temizleyin. Belgeleri takip ederek Google kaynaklarını temizleyin.
Sonuç
Amazon AppFlow'daki Google BigQuery bağlayıcı, Google'ın veri ambarından Amazon S3'e veri aktarma sürecini kolaylaştırır. Bu entegrasyon, analitiği ve makine öğrenimini, arşivlemeyi ve uzun vadeli depolamayı basitleştirerek her iki platformun analitik yeteneklerinden yararlanmak isteyen veri uzmanları ve kuruluşlar için önemli faydalar sağlar.
Amazon AppFlow ile veri entegrasyonunun karmaşıklıkları ortadan kaldırılarak verilerinizden eyleme dönüştürülebilir içgörüler elde etmeye odaklanmanıza olanak sağlanır. İster geçmiş verileri arşivliyor, ister karmaşık analizler gerçekleştiriyor, ister makine öğrenimi için veri hazırlıyor olun, bu bağlayıcı süreci basitleştirerek daha geniş bir yelpazedeki veri profesyonellerinin erişebilmesini sağlar.
Amazon AppFlow'u kullanarak Google BigQuery'den Amazon S3'e veri aktarımının nasıl yapıldığını görmek istiyorsanız adım adım göz atın Video öğretici. Bu eğitimde, bağlantının kurulmasından veri aktarım akışının çalıştırılmasına kadar tüm süreci adım adım anlatacağız. Amazon AppFlow hakkında daha fazla bilgi için şu adresi ziyaret edin: Amazon Uygulama Akışı.
yazarlar hakkında
Kartikay Khator Amazon Web Services'te Küresel Yaşam Bilimi alanında Çözüm Mimarıdır. AWS analiz hizmetlerine odaklanarak müşterilerin bulut yolculuklarında yardımcı olma konusunda tutkuludur. Kendisi hevesli bir koşucudur ve yürüyüş yapmaktan hoşlanır.
Kamen Sharlandjiev Kıdemli Büyük Veri ve ETL Çözümleri Mimarı ve Amazon AppFlow uzmanıdır. Karmaşık veri entegrasyonu zorluklarıyla karşı karşıya kalan müşterilerin hayatını kolaylaştırma misyonundadır. Onun gizli silahı mı? İşin minimum çabayla ve kodlama gerektirmeden yapılmasını sağlayan, tam olarak yönetilen, az kodlu AWS hizmetleri.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/big-data/simplify-data-transfer-google-bigquery-to-amazon-s3-using-amazon-appflow/
- :vardır
- :dır-dir
- $UP
- 10
- 100
- 14
- 16
- 17
- 22
- 321
- 8
- 9
- a
- kabiliyet
- Hakkımızda
- erişim
- erişim yönetimi
- ulaşılabilir
- Hesap
- karşısında
- eklemek
- katma
- Ek
- ilerlemek
- hizalamak
- Alerjiler
- izin vermek
- Izin
- veriyor
- Ayrıca
- Amazon
- Amazon Atina
- Amazon Web Servisleri
- Amazon.com
- an
- analiz
- Analitik
- analytics
- çözümlemek
- ve
- herhangi
- api
- uygulamaları
- Tamam
- uygun
- mimari
- Arşiv
- ARE
- AS
- At
- otomatik olarak
- Otomasyon
- önlemek
- AWS
- AWS Tutkal
- AWS Yönetim Konsolu
- olmuştur
- önce
- altında
- faydaları
- arasında
- Büyük
- büyük Veri
- BigQuery
- Blog
- her ikisi de
- Daha geniş
- iş
- by
- CAN
- Alabilirsin
- yetenekleri
- kabiliyet
- dava
- durumlarda
- katalog
- Kategoriler
- zorluklar
- yükler
- Klinik
- müşteri
- bulut
- kodlama
- COM
- tamamlamak
- tamamladıktan
- karmaşık
- karmaşıklıklar
- bağ
- konsolos
- içeren
- paletli
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- Oluşturma
- görenek
- Müşteriler
- günlük
- veri
- veri erişim
- veri entegrasyonu
- veri ambarı
- veri-güdümlü
- veritabanı
- veritabanları
- veri kümeleri
- karar vermek
- Talep
- demokratikleşme
- tanım
- hedef
- keşfetmek
- çeşitli
- belgeleme
- yapılmış
- kolaylaştırmak
- kolay
- verimli biçimde
- çaba
- zahmetsizce
- elimine
- etkinleştirmek
- etkinleştirme
- Tüm
- gerekli
- Eter (ETH)
- Etkinlikler
- örnek
- örnekler
- mevcut
- uzman
- keşfetmek
- Maruz kalma
- çıkarmak
- karşı
- az
- alan
- Alanlar
- süzme
- bulmak
- Esneklik
- akış
- Akan
- Akışları
- odak
- takip et
- takip etme
- İçin
- Forefront
- Sıklık
- sık sık
- itibaren
- tamamen
- daha fazla
- oluşturmak
- oluşturulan
- almak
- Küresel
- Küresel
- Google Analytics
- Google'ın
- vermek
- grup
- koşum
- Var
- he
- sağlık
- yardım
- yürüyüş
- onun
- tarihsel
- Ne kadar
- HTML
- http
- HTTPS
- HubSpot
- IAM
- Kimlik
- kimlik ve erişim yönetimi
- in
- Dahil olmak üzere
- bilgi
- anlayışlar
- talimatlar
- entegre
- entegre
- bütünleşme
- ilgili
- arayüzey
- Internet
- içine
- sezgisel
- IT
- kendisi
- İş
- seyahat
- sadece
- öğrenme
- Lisans
- hayat
- Hayat Bilgisi
- LİMİT
- Liste
- yük
- yer
- uzun süreli
- Bakın
- makine
- makine öğrenme
- yapmak
- Yapımı
- yönetilen
- yönetim
- harita
- haritalama
- en az
- Misyonumuz
- Daha
- hareket
- hareket
- şart
- isim
- Gezin
- Navigasyon
- neredeyse
- gerekli
- gerekli
- ihtiyaçlar
- yeni
- yeni
- yok hayır
- şimdi
- numara
- oauth
- nesne
- nesneler
- of
- on
- On-Demand
- bir tek
- açık kaynak
- or
- sipariş
- organizasyonlar
- tekrar
- Kanal
- bölmesi
- Bölüm
- tutkulu
- hasta
- yapmak
- icra
- izinleri
- Platformlar
- Platon
- Plato Veri Zekası
- PlatoVeri
- politika
- pop-up
- nüfus
- olanakları
- Çivi
- Pratik
- uygulama
- hazırlanması
- önkoşullar
- Önizleme
- süreç
- profesyoneller
- proje
- sağlamak
- sağlama
- halka açık
- sorgular
- menzil
- azaltarak
- değiştirmek
- gereklidir
- Yer Alan Kurallar
- Kaynaklar
- yanıt
- kısıtlamak
- sonuç
- Sonuçlar
- yorum
- Zengin
- Rol
- koşmak
- koşucu
- koşu
- SaaS
- satış ekibi
- özsu
- ölçek
- program
- tarifeli
- Bilim
- Ara
- Gizli
- Bölüm
- Güvenli
- güvenlik
- Güvenlik tehditleri
- görmek
- arayan
- hizmet
- ServiceNow
- Hizmetler
- set
- ayar
- ayarlar
- gösterilen
- Gösteriler
- önemli
- Basit
- basitleştirmek
- simülatör
- ALTINCI
- Yazılım
- hizmet olarak yazılım
- çözüm
- Çözümler
- Kaynak
- Basamaklar
- hafızası
- mağaza
- saklı
- düzene
- böyle
- sentetik
- tablo
- Bizi daha iyi tanımak için
- o
- The
- ve bazı Asya
- sonra
- Re-Tweet
- tehditler
- İçinden
- için
- bugünkü
- üst
- Üst 10
- transfer
- aktarma
- Dönüşüm
- dönüşümler
- dönüşüm
- öğretici
- tip
- altında
- anlayış
- benzersiz
- Tanıttı
- kullanım
- kullanım durumu
- Kullanılmış
- kullanıcı
- kullanma
- onaylama
- değer
- Türkiye Dental Sosyal Medya Hesaplarından bizi takip edebilirsiniz.
- yürümek
- örneklerde
- istemek
- depo
- we
- ağ
- web hizmetleri
- haftalık
- olup olmadığını
- DSÖ
- irade
- pencere
- ile
- olmadan
- çalışır
- Dünya
- sen
- Youtube
- zefirnet