Finansal hizmetler için Amazon Redshift'te işlem, akış ve üçüncü taraf verilerini birleştirin | Amazon Web Hizmetleri

Finansal hizmet müşterileri, gerçek zamanlı, toplu ve arşivlenmiş veri kümeleri dahil olmak üzere, farklı frekanslardan kaynaklanan farklı kaynaklardan gelen verileri kullanıyor. Ayrıca artan ticaret hacimleri, piyasa değişkenliği ve düzenleyici taleplerle başa çıkabilmek için akış mimarilerine ihtiyaçları var. Bu ihtiyacı vurgulayan temel iş kullanım örneklerinden bazıları aşağıda verilmiştir:

• Ticari raporlama – 2007-2008 küresel mali krizinden bu yana, düzenleyiciler düzenleyici raporlamaya ilişkin taleplerini ve incelemelerini artırdılar. Düzenleyiciler, hem işlem raporlaması yoluyla tüketiciyi korumaya (tipik olarak T+1, işlem tarihinden 1 iş günü sonra anlamına gelir) hem de neredeyse gerçek zamanlı ticari raporlama gereklilikleri aracılığıyla piyasalarda şeffaflığı artırmaya daha fazla odaklandılar.
• Risk yönetimi – Sermaye piyasaları karmaşıklaştıkça ve düzenleyiciler aşağıdaki gibi yeni risk çerçeveleri başlattıkça: Ticaret Kitabının Temel İncelemesi (FRTB) ve Basel IIIFinansal kurumlar genel piyasa riski, likidite riski, karşı taraf riski ve diğer risk ölçümlerine ilişkin hesaplamaların sıklığını artırmanın yollarını arıyor ve gerçek zamanlı hesaplamalara mümkün olduğunca yaklaşmak istiyor.
• Ticaret kalitesi ve optimizasyon – Ticaret kalitesini izlemek ve optimize etmek için hacim, yön, pazar derinliği, doluluk oranı gibi piyasa özelliklerini ve işlemlerin tamamlanmasıyla ilgili diğer kriterleri sürekli olarak değerlendirmeniz gerekir. Ticaretin kalitesi yalnızca komisyoncunun performansıyla ilgili değildir, aynı zamanda düzenleyicilerin bir gerekliliğidir. MiFID II.

Buradaki zorluk, bu farklı kaynakları, çeşitli frekansları ve düşük gecikmeli tüketim gereksinimlerini karşılayabilecek bir çözüm bulmaktır. Çözüm ölçeklenebilir, uygun maliyetli ve benimsenmesi ve çalıştırılması kolay olmalıdır. Amazon Kırmızıya Kaydırma akış alımı gibi özellikler, Amazon Aurora'sı sıfır ETL entegrasyonuve veri paylaşımı AWS Veri Değişimi ticari raporlama, risk yönetimi ve ticaret optimizasyonu için neredeyse gerçek zamanlı işlemeyi etkinleştirin.

Bu gönderide, üç farklı kaynak türünden (akış, işlem ve üçüncü taraf referans verileri) gelen verileri nasıl işleyebileceğinizi ve bunları iş zekası (BI) raporlaması için Amazon Redshift'te nasıl toplayabileceğinizi açıklayan bir çözüm mimarisi sunuyoruz.

Çözüme genel bakış

Bu çözüm mimarisi, aşağıdaki yol gösterici ilkelerle az kodlu/kodsuz yaklaşıma öncelik verilerek oluşturulmuştur:

• Kullanım kolaylığı – Sezgisel kullanıcı arayüzlerini uygulamak ve çalıştırmak daha az karmaşık olmalıdır
• Ölçek – Talep üzerine kapasiteyi sorunsuz bir şekilde artırıp azaltabilmelisiniz
• Yerel entegrasyon – Bileşenler ek konektörler veya yazılım olmadan entegre edilmelidir
• Maliyet açısından verimli – Dengeli fiyat/performans sağlamalı
• Düşük bakım – Daha az yönetim ve operasyonel ek yük gerektirmelidir

Aşağıdaki şemada çözüm mimarisini ve bu yol gösterici ilkelerin alım, toplama ve raporlama bileşenlerine nasıl uygulandığı gösterilmektedir.

Çözümü dağıtın

Aşağıdakileri kullanabilirsiniz AWS CloudFormation çözümü dağıtmak için şablon.

Bu yığın, hizmetleri entegre etmek için aşağıdaki kaynakları ve gerekli izinleri oluşturur:

yeme

Verileri almak için şunları kullanırsınız: Amazon Redshift Akış Alımı Kinesis veri akışından akış verilerini yüklemek için. İşlem verileri için şunu kullanırsınız: Redshift sıfır ETL entegrasyonu Amazon Aurora MySQL ile. Üçüncü taraf referans verileri için şu avantajlardan yararlanırsınız: AWS Data Exchange veri paylaşımları. Bu yetenekler, hızlı bir şekilde ölçeklenebilir veri işlem hatları oluşturmanıza olanak tanır; çünkü Kinesis Veri Akışı parçalarının kapasitesini artırabilir, sıfır ETL kaynakları ve hedefleri için hesaplama yapabilir ve verileriniz büyüdüğünde veri paylaşımları için Redshift hesaplamasını gerçekleştirebilirsiniz. Redshift akış alımı ve sıfır ETL entegrasyonu, karmaşık özel kod geliştirmeye önemli miktarda zaman ve para harcamadan basit SQL'lerle oluşturabileceğiniz düşük kodlu/kodsuz çözümlerdir.

Bu çözümü oluşturmak için kullanılan veriler için aşağıdakilerle ortaklık kurduk: Bilgi Kümesi, lider bir finansal veri, analiz ve açık teknoloji sağlayıcısıdır. FactSet'te birkaç tane var veri kümeleri Referans verileri için kullandığımız AWS Data Exchange pazarında mevcuttur. Ayrıca FactSet'i de kullandık piyasa veri çözümleri tarihsel ve akışlı piyasa fiyatları ve işlemleri için.

İşlemde

Veriler Amazon Redshift'te ayıklama, yükleme ve dönüştürme (ELT) metodolojisine bağlı kalarak işlenir. Neredeyse sınırsız ölçek ve iş yükü yalıtımıyla ELT, bulut veri ambarı çözümleri için daha uygundur.

Kinesis veri akışından akış tekliflerinin (teklif/talk) gerçek zamanlı olarak doğrudan akışla gerçekleştirilmiş bir görünüme aktarılması için Redshift akış alımını kullanırsınız ve bir sonraki adımda veri akışı girişlerini ayrıştırmak için PartiQL'i kullanarak verileri işlersiniz. Akışlı materyalleştirilmiş görünümlerin, otomatik yenilemenin nasıl çalıştığı ve kullanılan veri yönetimi SQL komutları açısından normal materyalleştirilmiş görünümlerden farklı olduğunu unutmayın. Bakınız Akış beslemeyle ilgili hususlar Ayrıntılar için.

OLTP kaynaklarından işlem verilerini (işlemler) almak için sıfır ETL Aurora entegrasyonunu kullanırsınız. Bakınız Sıfır ETL entegrasyonlarıyla çalışma Şu anda desteklenen kaynaklar için. Görünümleri kullanarak tüm bu kaynaklardan gelen verileri birleştirebilir ve sektörler ve borsalar genelinde ağırlıklı ortalamaların hesaplanması gibi iş dönüştürme kurallarını uygulamak için saklı prosedürleri kullanabilirsiniz.

Geçmiş ticaret ve fiyat teklifi veri hacimleri çok büyük ve sıklıkla sorgulanmıyor. Kullanabilirsiniz Amazon Kırmızıya Kaydırma Spektrumu Bu verilere Amazon Redshift'e yüklemeden yerinde erişmek için. Verilere işaret eden harici tablolar oluşturursunuz. Amazon Basit Depolama Hizmeti (Amazon S3) ve Amazon Redshift'teki diğer yerel tabloları sorgulama şeklinize benzer şekilde sorgulama yapın. Birden fazla Redshift veri ambarı, her veri ambarı için verilerin kopyalarını oluşturmaya gerek kalmadan Amazon S3'teki aynı veri kümelerini eş zamanlı olarak sorgulayabilir. Bu özellik, karmaşık ETL işlemleri yazmaya gerek kalmadan harici verilere erişimi basitleştirir ve genel çözümün kullanım kolaylığını artırır.

Fiyat tekliflerini ve işlemleri analiz etmek için kullanılan birkaç örnek sorguyu inceleyelim. Örnek sorgularda aşağıdaki tabloları kullanıyoruz:

• dt_hist_quote – Alış fiyatı ve hacmi, satış fiyatı ve hacmi, borsalar ve sektörleri içeren geçmiş kotasyon verileri. Kuruluşunuzda bu veri özelliklerini içeren ilgili veri kümelerini kullanmalısınız.
• dt_hist_trades – İşlem gören fiyat, hacim, sektör ve döviz ayrıntılarını içeren geçmiş işlem verileri. Kuruluşunuzda bu veri özelliklerini içeren ilgili veri kümelerini kullanmalısınız.
• factset_sector_map – Sektörler ve borsalar arasında haritalama. Bunu şu adresten alabilirsiniz: FactSet Fundamentals ADX veri kümesi.

Geçmiş alıntıları analiz etmek için örnek sorgu

Fiyat tekliflerindeki ağırlıklı ortalama spreadleri bulmak için aşağıdaki sorguyu kullanabilirsiniz:

select
date_dt :: date,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
sector_name,
sum(spread * weight)/sum(weight) :: decimal (30,5) as weighted_average_spread
from
(
select date_dt,exchange_name,
factset_sector_desc sector_name,
((bid_price*bid_volume) + (ask_price*ask_volume))as weight,
((ask_price - bid_price)/ask_price) as spread
from
dt_hist_quotes a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
where ask_price <> 0 and bid_price <> 0
)
group by 1,2,3

Geçmiş işlemleri analiz etmek için örnek sorgu

Bulmak için aşağıdaki sorguyu kullanabilirsiniz $-volume detaylı borsaya, sektöre ve büyük borsaya (NYSE ve Nasdaq) göre işlemler hakkında:

select
cast(date_dt as date) as date_dt,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
factset_sector_desc sector_name,
sum((price * volume):: decimal(30,4)) total_transaction_amt
from
dt_hist_trades a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
group by 1,2,3

Raporlama

Sen kullanabilirsiniz Amazon QuickSight ve Amazon Tarafından Yönetilen Grafana sırasıyla BI ve gerçek zamanlı raporlama için. Bu hizmetler, arada ek bağlayıcı veya yazılım kullanılmasına gerek kalmadan Amazon Redshift ile yerel olarak entegre olur.

BI raporlaması ve kontrol panelleri için QuickSight'tan doğrudan sorgu çalıştırabilirsiniz. QuickSight ile verileri, düşük gecikme süresi için otomatik yenilemeyle SPICE önbelleğinde yerel olarak da depolayabilirsiniz. Bakınız Amazon QuickSight'tan Amazon Redshift kümelerine bağlantı yetkilendirme QuickSight'ın Amazon Redshift ile nasıl entegre edileceğine ilişkin kapsamlı ayrıntılar için.

Birkaç saniyede bir yenilenen, neredeyse gerçek zamanlı ticaret panoları için Amazon Yönetilen Grafana'yı kullanabilirsiniz. Ticari alım gecikmelerini izlemeye yönelik gerçek zamanlı kontrol panelleri Grafana kullanılarak oluşturulur ve veriler Amazon Redshift'teki sistem görünümlerinden alınır. Bakınız Amazon Redshift veri kaynağını kullanma Amazon Redshift'i Grafana için veri kaynağı olarak nasıl yapılandıracağınızı öğrenmek için.

Düzenleyici raporlama sistemleriyle etkileşime giren kullanıcılar arasında analistler, risk yöneticileri, operatörler ve iş ve teknoloji operasyonlarını destekleyen diğer kişiler yer alır. Düzenleyici raporlar oluşturmanın yanı sıra, bu ekipler raporlama sistemlerinin durumuna ilişkin görünürlüğe de ihtiyaç duyar.

Tarihsel alıntı analizi

Bu bölümde, tarihsel alıntı analizinin bazı örneklerini inceliyoruz. Amazon QuickSight gösterge panosu.

Sektörlere göre ağırlıklı ortalama spread

Aşağıdaki grafik, 3 ay boyunca NASDAQ ve NYSE'deki tüm bireysel işlemlerin ağırlıklı ortalama alış-satış spreadlerinin sektör bazında günlük toplamını göstermektedir. Ortalama günlük spreadi hesaplamak için her spread, alış ve dolar satış hacminin toplamına göre ağırlıklandırılır. Bu grafiği oluşturmaya yönelik sorgu toplamda 103 milyar veri noktasını işler, her ticareti sektör referans tablosuyla birleştirir ve 10 saniyeden kısa sürede çalışır.

Borsalara göre ağırlıklı ortalama spread

Aşağıdaki grafik, NASDAQ ve NYSE'deki tüm bireysel işlemlerin ağırlıklı ortalama alış-satış spreadlerinin 3 ay boyunca günlük toplamını göstermektedir. Hesaplama metodolojisi ve sorgu performansı ölçümleri önceki tablodakilere benzer.

Geçmiş ticaret analizi

Bu bölümde, tarihsel ticaret analizinin bazı örneklerini inceliyoruz. Amazon QuickSight gösterge panosu.

Sektörlere göre ticaret hacimleri

Aşağıdaki grafik, NASDAQ ve NYSE'deki tüm bireysel işlemlerin 3 ay boyunca sektörlere göre günlük toplamını göstermektedir. Bu grafiği oluşturmaya yönelik sorgu toplamda 3.6 milyar işlemi işler, her işlemi sektör referans tablosuyla birleştirir ve 5 saniyeden kısa sürede çalışır.

Büyük borsaların ticaret hacimleri

Aşağıdaki grafik, 3 ay boyunca tüm bireysel işlemlerin borsa grubuna göre günlük toplamını göstermektedir. Bu grafiği oluşturmaya yönelik sorgu, önceki grafikle benzer performans ölçümlerine sahiptir.

Gerçek zamanlı panolar

İzleme ve gözlemlenebilirlik, ticari raporlama, risk yönetimi ve ticari yönetim sistemleri gibi tüm kritik iş uygulamaları için önemli bir gerekliliktir. Sistem düzeyindeki ölçümlerin yanı sıra, operatörlerin uyarılabilmesi ve işi etkileyen olaylara mümkün olan en kısa sürede yanıt verebilmesi için temel performans göstergelerinin gerçek zamanlı olarak izlenmesi de önemlidir. Bu gösterim için Grafana'da sırasıyla Kinesis veri akışından ve Aurora'dan gelen fiyat teklifi ve ticaret verilerinin gecikmesini izleyen kontrol panelleri oluşturduk.

Fiyat teklifi alımı gecikme kontrol paneli, her bir fiyat teklifi kaydının veri akışından alınması ve Amazon Redshift'te sorgulanmaya hazır olması için gereken süreyi gösterir.

Ticari alım gecikmesi kontrol paneli, Aurora'daki bir işlemin Amazon Redshift'te sorgulanmak üzere kullanılabilir hale gelmesi için geçen süreyi gösterir.

Temizlemek

Kaynaklarınızı temizlemek için AWS CloudFormation kullanarak dağıttığınız yığını silin. Talimatlar için bkz. AWS CloudFormation konsolunda bir yığını silme.

Sonuç

Artan ticari faaliyet hacimleri, daha karmaşık risk yönetimi ve geliştirilmiş düzenleyici gereklilikler, sermaye piyasası şirketlerinin, gün sonu ve gece işlemlerinin yapıldığı orta ve arka ofis platformlarında bile gerçek zamanlı ve gerçek zamana yakın veri işlemeyi benimsemesine yol açıyor. standarttı. Bu yazıda kullanım kolaylığı, düşük bakım ve maliyet verimliliği için Amazon Redshift özelliklerini nasıl kullanabileceğinizi gösterdik. Verileri analiz ve raporlama için kullanılabilir hale getirmeden önce, akışlı piyasa verilerini almak, OLTP veritabanlarından güncellemeleri işlemek ve karmaşık ve pahalı ETL veya ELT işlemlerini gerçekleştirmek zorunda kalmadan üçüncü taraf referans verilerini kullanmak için çapraz hizmetler entegrasyonlarını da tartıştık.

Bu çözümün uygulanmasında rehberliğe ihtiyacınız olursa lütfen bize ulaşın. Bakınız Amazon Redshift akış alımıyla gerçek zamanlı analiz, Amazon Redshift ile Amazon Aurora sıfır ETL entegrasyonunu kullanarak neredeyse gerçek zamanlı operasyonel analizler için başlangıç ​​kılavuzu, ve Üretici olarak AWS Data Exchange veri paylaşımlarıyla çalışma daha fazla bilgi için.

Yazarlar Hakkında

Sateş Sonti Atlanta merkezli, kurumsal veri platformları, veri ambarı ve analitik çözümleri oluşturma konusunda uzmanlaşmış bir Kıdemli Analitik Uzman Çözüm Mimarıdır. Dünya genelinde bankacılık ve sigorta müşterileri için veri varlıkları oluşturma ve karmaşık veri platformu programlarına liderlik etme konusunda 18 yılı aşkın deneyime sahiptir.

Alket Memuşaj AWS'de Finansal Hizmetler Piyasası Geliştirme ekibinde Baş Mimar olarak çalışmaktadır. Alket, sermaye piyasalarına yönelik teknik stratejiden sorumludur ve piyasa bağlantısı, ticaret sistemleri ve ticaret öncesi ve sonrası analiz ve araştırma platformları da dahil olmak üzere ticaret yaşam döngüsü boyunca uygulamaları AWS Cloud'a dağıtmak için iş ortakları ve müşterilerle birlikte çalışır.

Ruben Falk Yapay zeka, veri ve analitik konularına odaklanan bir Sermaye Piyasası Uzmanıdır. Ruben, modern veri mimarisi ve sistematik yatırım süreçleri konusunda sermaye piyasası katılımcılarına danışmanlık yapıyor. AWS'ye, Yatırım Yönetimi Çözümleri Küresel Başkanı olarak görev yaptığı S&P Global Market Intelligence'dan katıldı.

Jeff Wilson analitik platformlarla çalışma konusunda 15 yıllık deneyime sahip, Dünya Çapında Pazara Çıkış Uzmanıdır. Şu anki odak noktası, Amazon'un yerel bulut veri ambarı olan Amazon Redshift'i kullanmanın avantajlarını paylaşmaktır. Jeff Florida'da yaşıyor ve 2019'dan beri AWS'de çalışıyor.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/big-data/combine-transactional-streaming-and-third-party-data-on-amazon-redshift-for-financial-services/