Gabungkan data transaksional, streaming, dan pihak ketiga di Amazon Redshift untuk layanan keuangan | Layanan Web Amazon

Pelanggan jasa keuangan menggunakan data dari berbagai sumber yang berasal dari frekuensi berbeda, yang mencakup kumpulan data real-time, batch, dan arsip. Selain itu, mereka memerlukan arsitektur streaming untuk menangani pertumbuhan volume perdagangan, volatilitas pasar, dan tuntutan peraturan. Berikut adalah beberapa kasus penggunaan bisnis utama yang menyoroti kebutuhan ini:

• Pelaporan perdagangan – Sejak krisis keuangan global tahun 2007–2008, regulator telah meningkatkan tuntutan dan pengawasan mereka terhadap pelaporan peraturan. Regulator telah meningkatkan fokus untuk melindungi konsumen melalui pelaporan transaksi (biasanya T+1, artinya 1 hari kerja setelah tanggal perdagangan) dan meningkatkan transparansi pasar melalui persyaratan pelaporan perdagangan yang hampir real-time.
• Manajemen risiko – Ketika pasar modal menjadi lebih kompleks dan regulator meluncurkan kerangka risiko baru, seperti Tinjauan Mendasar Buku Perdagangan (FRTB) dan Basel III, lembaga keuangan berupaya meningkatkan frekuensi penghitungan risiko pasar secara keseluruhan, risiko likuiditas, risiko pihak lawan, dan pengukuran risiko lainnya, serta ingin sedapat mungkin melakukan penghitungan secara real-time.
• Kualitas dan optimalisasi perdagangan – Untuk memantau dan mengoptimalkan kualitas perdagangan, Anda perlu terus mengevaluasi karakteristik pasar seperti volume, arah, kedalaman pasar, rasio pengisian, dan tolok ukur lain yang terkait dengan penyelesaian perdagangan. Kualitas perdagangan tidak hanya terkait dengan kinerja broker, tetapi juga menjadi persyaratan dari regulator, mulai dari MIFID II.

Tantangannya adalah menemukan solusi yang dapat menangani sumber-sumber yang berbeda, frekuensi yang bervariasi, dan kebutuhan konsumsi latensi rendah. Solusinya harus terukur, hemat biaya, dan mudah diadopsi dan dioperasikan. Pergeseran Merah Amazon fitur seperti penyerapan streaming, Amazon Aurora integrasi nol-ETL, dan berbagi data dengan Pertukaran Data AWS memungkinkan pemrosesan hampir real-time untuk pelaporan perdagangan, manajemen risiko, dan optimalisasi perdagangan.

Dalam postingan ini, kami menyediakan arsitektur solusi yang menjelaskan bagaimana Anda dapat memproses data dari tiga jenis sumber berbeda—streaming, transaksional, dan data referensi pihak ketiga—dan menggabungkannya dalam pelaporan Amazon Redshift untuk intelijen bisnis (BI).

Ikhtisar solusi

Arsitektur solusi ini dibuat dengan memprioritaskan pendekatan low-code/no-code dengan prinsip panduan berikut:

• Mudah digunakan – Implementasi dan pengoperasiannya harus lebih mudah dengan antarmuka pengguna yang intuitif
• scalable – Anda seharusnya dapat meningkatkan dan menurunkan kapasitas sesuai permintaan dengan lancar
• Integrasi asli – Komponen harus terintegrasi tanpa konektor atau perangkat lunak tambahan
• Hemat biaya – Ini harus memberikan harga/kinerja yang seimbang
• Perawatan yang rendah – Hal ini memerlukan lebih sedikit biaya manajemen dan operasional

Diagram berikut mengilustrasikan arsitektur solusi dan bagaimana prinsip panduan ini diterapkan pada komponen penyerapan, agregasi, dan pelaporan.

Terapkan solusinya

Anda dapat menggunakan yang berikut ini: Formasi AWS Cloud templat untuk menyebarkan solusi.

Tumpukan ini menciptakan sumber daya berikut dan izin yang diperlukan untuk mengintegrasikan layanan:

Proses menelan

Untuk menyerap data, Anda menggunakan Penyerapan Streaming Amazon Redshift untuk memuat data streaming dari aliran data Kinesis. Untuk data transaksional, Anda menggunakan Integrasi nol-ETL pergeseran merah dengan Amazon Aurora MySQL. Untuk data referensi pihak ketiga, Anda manfaatkan Berbagi data AWS Data Exchange. Kemampuan ini memungkinkan Anda dengan cepat membangun alur data yang dapat diskalakan karena Anda dapat meningkatkan kapasitas pecahan Kinesis Data Streams, melakukan komputasi untuk sumber dan target zero-ETL, dan komputasi Redshift untuk berbagi data saat data Anda bertambah. Penyerapan streaming redshift dan integrasi zero-ETL adalah solusi kode rendah/tanpa kode yang dapat Anda buat dengan SQL sederhana tanpa menginvestasikan banyak waktu dan uang untuk mengembangkan kode khusus yang rumit.

Untuk data yang digunakan untuk membuat solusi ini, kami bermitra dengan Kumpulan Fakta, penyedia data keuangan, analitik, dan teknologi terbuka terkemuka. FactSet memiliki beberapa kumpulan data tersedia di pasar AWS Data Exchange, yang kami gunakan untuk data referensi. Kami juga menggunakan FactSet solusi data pasar untuk kutipan dan perdagangan pasar historis dan streaming.

Pengolahan

Data diproses di Amazon Redshift dengan mengikuti metodologi ekstrak, muat, dan transformasi (ELT). Dengan skala dan isolasi beban kerja yang hampir tidak terbatas, ELT lebih cocok untuk solusi gudang data cloud.

Anda menggunakan penyerapan streaming Redshift untuk penyerapan kutipan streaming (bid/ask) secara real-time dari aliran data Kinesis langsung ke tampilan materialisasi streaming dan memproses data pada langkah berikutnya menggunakan PartiQL untuk mengurai input aliran data. Perhatikan bahwa tampilan materialisasi streaming berbeda dari tampilan materialisasi biasa dalam hal cara kerja penyegaran otomatis dan perintah SQL manajemen data yang digunakan. Mengacu pada Pertimbangan penyerapan streaming untuk rincian.

Anda menggunakan integrasi Aurora zero-ETL untuk menyerap data transaksional (perdagangan) dari sumber OLTP. Mengacu pada Bekerja dengan integrasi zero-ETL untuk sumber yang didukung saat ini. Anda dapat menggabungkan data dari semua sumber ini menggunakan tampilan, dan menggunakan prosedur tersimpan untuk menerapkan aturan transformasi bisnis seperti menghitung rata-rata tertimbang di seluruh sektor dan bursa.

Volume data perdagangan dan kuotasi historis sangat besar dan sering kali tidak sering ditanyakan. Anda dapat gunakan Spektrum Pergeseran Merah Amazon untuk mengakses data ini tanpa memuatnya ke Amazon Redshift. Anda membuat tabel eksternal yang menunjuk ke data masuk Layanan Penyimpanan Sederhana Amazon (Amazon S3) dan melakukan kueri serupa dengan cara Anda menanyakan tabel lokal lainnya di Amazon Redshift. Beberapa gudang data Redshift dapat secara bersamaan melakukan kueri terhadap kumpulan data yang sama di Amazon S3 tanpa perlu membuat salinan data untuk setiap gudang data. Fitur ini menyederhanakan pengaksesan data eksternal tanpa menulis proses ETL yang rumit dan meningkatkan kemudahan penggunaan solusi keseluruhan.

Mari kita tinjau beberapa contoh pertanyaan yang digunakan untuk menganalisis kuotasi dan perdagangan. Kami menggunakan tabel berikut dalam contoh kueri:

• dt_hist_quote – Data kutipan historis yang berisi harga dan volume penawaran, harga dan volume permintaan, serta bursa dan sektor. Anda harus menggunakan kumpulan data yang relevan di organisasi Anda yang berisi atribut data ini.
• dt_hist_trades – Data perdagangan historis yang berisi rincian harga, volume, sektor, dan bursa yang diperdagangkan. Anda harus menggunakan kumpulan data yang relevan di organisasi Anda yang berisi atribut data ini.
• kumpulan fakta_sektor_peta – Pemetaan antar sektor dan bursa. Anda dapat memperoleh ini dari Kumpulan data ADX Dasar-Dasar FactSet.

Contoh kueri untuk menganalisis kutipan sejarah

Anda dapat menggunakan kueri berikut untuk menemukan spread rata-rata tertimbang pada kuotasi:

select
date_dt :: date,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
sector_name,
sum(spread * weight)/sum(weight) :: decimal (30,5) as weighted_average_spread
from
(
select date_dt,exchange_name,
factset_sector_desc sector_name,
((bid_price*bid_volume) + (ask_price*ask_volume))as weight,
((ask_price - bid_price)/ask_price) as spread
from
dt_hist_quotes a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
where ask_price <> 0 and bid_price <> 0
)
group by 1,2,3

Contoh kueri untuk menganalisis perdagangan historis

Anda dapat menggunakan kueri berikut untuk menemukannya $-volume pada perdagangan berdasarkan bursa terperinci, berdasarkan sektor, dan bursa utama (NYSE dan Nasdaq):

select
cast(date_dt as date) as date_dt,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
factset_sector_desc sector_name,
sum((price * volume):: decimal(30,4)) total_transaction_amt
from
dt_hist_trades a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
group by 1,2,3

Pelaporan

Anda dapat menggunakan Amazon QuickSight dan Grafana yang Dikelola Amazon untuk BI dan pelaporan real-time. Layanan ini terintegrasi secara alami dengan Amazon Redshift tanpa perlu menggunakan konektor atau perangkat lunak tambahan di antaranya.

Anda dapat menjalankan kueri langsung dari QuickSight untuk pelaporan dan dasbor BI. Dengan QuickSight, Anda juga dapat menyimpan data secara lokal di cache SPICE dengan penyegaran otomatis untuk latensi rendah. Mengacu pada Mengotorisasi koneksi dari Amazon QuickSight ke klaster Amazon Redshift untuk detail komprehensif tentang cara mengintegrasikan QuickSight dengan Amazon Redshift.

Anda dapat menggunakan Amazon Managed Grafana untuk dasbor perdagangan hampir real-time yang diperbarui setiap beberapa detik. Dasbor real-time untuk memantau latensi penyerapan perdagangan dibuat menggunakan Grafana dan datanya bersumber dari tampilan sistem di Amazon Redshift. Mengacu pada Menggunakan sumber data Amazon Redshift untuk mempelajari tentang cara mengonfigurasi Amazon Redshift sebagai sumber data untuk Grafana.

Pengguna yang berinteraksi dengan sistem pelaporan peraturan mencakup analis, manajer risiko, operator, dan personel lain yang mendukung operasi bisnis dan teknologi. Selain menghasilkan laporan peraturan, tim-tim ini memerlukan visibilitas terhadap kesehatan sistem pelaporan.

Analisis kutipan sejarah

Pada bagian ini, kita mengeksplorasi beberapa contoh analisis kutipan sejarah dari Amazon QuickSight dasbor.

Rata-rata tertimbang penyebaran berdasarkan sektor

Bagan berikut menunjukkan agregasi harian berdasarkan sektor rata-rata tertimbang bid-ask spread dari semua perdagangan individual di NASDAQ dan NYSE selama 3 bulan. Untuk menghitung rata-rata spread harian, setiap spread dibobotkan berdasarkan jumlah bid dan volume dolar yang diminta. Kueri untuk menghasilkan bagan ini memproses total 103 miliar titik data, menggabungkan setiap perdagangan dengan tabel referensi sektor, dan berjalan dalam waktu kurang dari 10 detik.

Rata-rata tertimbang spread berdasarkan bursa

Bagan berikut menunjukkan agregasi harian rata-rata tertimbang spread bid-ask dari semua perdagangan individual di NASDAQ dan NYSE selama 3 bulan. Metodologi penghitungan dan metrik kinerja kueri serupa dengan diagram sebelumnya.

Analisis perdagangan historis

Pada bagian ini, kita mengeksplorasi beberapa contoh analisis perdagangan historis dari Amazon QuickSight dasbor.

Volume perdagangan berdasarkan sektor

Bagan berikut menunjukkan agregasi harian berdasarkan sektor dari semua perdagangan individu di NASDAQ dan NYSE selama 3 bulan. Kueri untuk menghasilkan grafik ini memproses total 3.6 miliar perdagangan, menggabungkan setiap perdagangan dengan tabel referensi sektor, dan berjalan dalam waktu kurang dari 5 detik.

Volume perdagangan untuk bursa utama

Bagan berikut menunjukkan agregasi harian berdasarkan grup bursa dari semua perdagangan individu selama 3 bulan. Kueri untuk membuat diagram ini memiliki metrik performa yang serupa dengan diagram sebelumnya.

Dasbor waktu nyata

Pemantauan dan observasi merupakan persyaratan penting untuk setiap aplikasi bisnis penting seperti pelaporan perdagangan, manajemen risiko, dan sistem manajemen perdagangan. Selain metrik tingkat sistem, penting juga untuk memantau indikator kinerja utama secara real-time sehingga operator dapat diberitahu dan merespons peristiwa yang berdampak pada bisnis sesegera mungkin. Untuk demonstrasi ini, kami telah membuat dasbor di Grafana yang memantau penundaan data kuotasi dan perdagangan dari aliran data Kinesis dan Aurora.

Dasbor penundaan penyerapan kutipan menunjukkan jumlah waktu yang diperlukan untuk setiap catatan kutipan untuk diserap dari aliran data dan tersedia untuk kueri di Amazon Redshift.

Dasbor penundaan penyerapan perdagangan menunjukkan jumlah waktu yang diperlukan agar transaksi di Aurora tersedia di Amazon Redshift untuk kueri.

Membersihkan

Untuk membersihkan sumber daya Anda, hapus tumpukan yang Anda terapkan menggunakan AWS CloudFormation. Untuk instruksi, lihat Menghapus tumpukan di konsol AWS CloudFormation.

Kesimpulan

Meningkatnya volume aktivitas perdagangan, manajemen risiko yang lebih kompleks, dan peningkatan persyaratan peraturan mendorong perusahaan pasar modal untuk menerapkan pemrosesan data secara real-time dan hampir real-time, bahkan pada platform mid-office dan back-office di mana pemrosesan dilakukan pada siang hari dan dalam semalam. adalah standarnya. Dalam postingan ini, kami menunjukkan bagaimana Anda dapat menggunakan kemampuan Amazon Redshift untuk kemudahan penggunaan, pemeliharaan rendah, dan efisiensi biaya. Kami juga membahas integrasi lintas layanan untuk menyerap data pasar streaming, memproses pembaruan dari database OLTP, dan menggunakan data referensi pihak ketiga tanpa harus melakukan pemrosesan ETL atau ELT yang rumit dan mahal sebelum membuat data tersedia untuk analisis dan pelaporan.

Silakan hubungi kami jika Anda memerlukan panduan dalam menerapkan solusi ini. Mengacu pada Analitik waktu nyata dengan penyerapan streaming Amazon Redshift, Panduan memulai untuk analisis operasional hampir real-time menggunakan integrasi Amazon Aurora zero-ETL dengan Amazon Redshift, dan Bekerja dengan berbagi data AWS Data Exchange sebagai produsen for more information.

Tentang Penulis

Satesh Sonti adalah Sr. Analytics Specialist Solutions Architect yang berbasis di Atlanta, berspesialisasi dalam membangun platform data perusahaan, pergudangan data, dan solusi analitik. Dia memiliki pengalaman lebih dari 18 tahun dalam membangun aset data dan memimpin program platform data kompleks untuk klien perbankan dan asuransi di seluruh dunia.

Alket Memushaj bekerja sebagai Arsitek Utama di tim Pengembangan Pasar Jasa Keuangan di AWS. Alket bertanggung jawab atas strategi teknis untuk pasar modal, bekerja sama dengan mitra dan pelanggan untuk menerapkan aplikasi di seluruh siklus perdagangan ke AWS Cloud, termasuk konektivitas pasar, sistem perdagangan, serta platform analisis dan penelitian sebelum dan sesudah perdagangan.

Ruben Falk adalah Spesialis Pasar Modal yang berfokus pada AI dan data & analitik. Ruben berkonsultasi dengan pelaku pasar modal mengenai arsitektur data modern dan proses investasi sistematis. Dia bergabung dengan AWS dari S&P Global Market Intelligence dan menjabat sebagai Global Head of Investment Management Solutions.

Jeff Wilson adalah Spesialis Go-to-market di Seluruh Dunia dengan pengalaman 15 tahun bekerja dengan platform analitik. Fokusnya saat ini adalah berbagi manfaat menggunakan Amazon Redshift, gudang data cloud asli Amazon. Jeff berbasis di Florida dan telah bergabung dengan AWS sejak 2019.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/big-data/combine-transactional-streaming-and-third-party-data-on-amazon-redshift-for-financial-services/