Združite transakcijske, pretočne podatke in podatke tretjih oseb na Amazon Redshift za finančne storitve | Spletne storitve Amazon

Stranke finančnih storitev uporabljajo podatke iz različnih virov, ki izvirajo z različnimi frekvencami, kar vključuje nabore podatkov v realnem času, pakete in arhivirane podatke. Poleg tega potrebujejo pretočne arhitekture za obvladovanje naraščajočega obsega trgovine, nestanovitnosti trga in regulativnih zahtev. Sledi nekaj ključnih primerov poslovne uporabe, ki poudarjajo to potrebo:

• Poročanje o trgovini – Od svetovne finančne krize 2007–2008 so regulatorji povečali svoje zahteve in nadzor nad regulativnim poročanjem. Regulatorji so se bolj osredotočili na zaščito potrošnika s poročanjem o transakcijah (običajno T+1, kar pomeni 1 delovni dan po datumu trgovanja) in povečali preglednost trgov prek zahtev za poročanje o trgovanju v skoraj realnem času.
• Upravljanje s tveganji – Ker kapitalski trgi postajajo bolj zapleteni in regulatorji uvajajo nove okvire tveganj, kot je npr Temeljni pregled trgovalne knjige (FRTB) in Basel III, si finančne institucije prizadevajo povečati pogostost izračunov za celotno tržno tveganje, likvidnostno tveganje, tveganje nasprotne stranke in druge meritve tveganja ter se želijo čim bolj približati izračunom v realnem času.
• Kakovost trgovine in optimizacija – Da bi spremljali in optimizirali kakovost trgovanja, morate nenehno ocenjevati tržne značilnosti, kot so obseg, smer, globina trga, stopnja izpolnjenosti in druga merila, povezana z zaključkom trgovanja. Kakovost trgovanja ni povezana le z uspešnostjo posrednika, ampak je tudi zahteva regulatorjev, začenši z MiFID II.

Izziv je najti rešitev, ki bo kos tem različnim virom, različnim frekvencam in zahtevam po porabi z nizko zakasnitvijo. Rešitev mora biti razširljiva, stroškovno učinkovita in enostavna za uporabo in delovanje. Amazon RedShift funkcije, kot je pretakanje, Amazonska Aurora zero-ETL integracijo, in deljenje podatkov z Izmenjava podatkov AWS omogočajo obdelavo v skoraj realnem času za poročanje o trgovanju, obvladovanje tveganja in optimizacijo trgovanja.

V tej objavi nudimo arhitekturo rešitve, ki opisuje, kako lahko obdelate podatke iz treh različnih vrst virov – pretočnih, transakcijskih in referenčnih podatkov tretjih oseb – ter jih združite v Amazon Redshift za poročanje poslovne inteligence (BI).

Pregled rešitev

Ta arhitektura rešitve je ustvarjena tako, da daje prednost pristopu z nizko kodo/brez kode z naslednjimi vodilnimi načeli:

• Enostavnost uporabe – Moralo bi biti manj zapleteno za implementacijo in upravljanje z intuitivnimi uporabniškimi vmesniki
• Prilagodljiv – Morali bi imeti možnost brezhibnega povečevanja in zmanjševanja zmogljivosti na zahtevo
• Domača integracija – Komponente je treba integrirati brez dodatnih priključkov ali programske opreme
• Stroškovno učinkovito – Zagotavljati mora uravnoteženo ceno/zmogljivost
• Nizki stroški vzdrževanja – Zahtevati bi moralo manj upravnih in operativnih stroškov

Naslednji diagram ponazarja arhitekturo rešitve in kako so bila ta vodilna načela uporabljena za komponente za vnos, združevanje in poročanje.

Uvedite rešitev

Uporabite lahko naslednje Oblikovanje oblaka AWS predlogo za uvedbo rešitve.

Ta sklad ustvari naslednje vire in potrebna dovoljenja za integracijo storitev:

Zaužitje

Za vnos podatkov uporabite Zaužitje Amazon Redshift Streaming za nalaganje pretočnih podatkov iz podatkovnega toka Kinesis. Za podatke o transakcijah uporabite Redshift zero-ETL integracija z Amazon Aurora MySQL. Za referenčne podatke tretjih oseb izkoristite AWS Data Exchange deli podatke. Te zmožnosti vam omogočajo hitro gradnjo razširljivih podatkovnih cevovodov, ker lahko povečate zmogljivost drobcev Kinesis Data Streams, izračunate za vire in cilje brez ETL ter izračunate Redshift za deljenje podatkov, ko vaši podatki rastejo. Pretakanje Redshift in integracija brez ETL sta rešitvi z nizko kodo/brez kode, ki ju lahko zgradite s preprostimi SQL-ji, ne da bi vložili veliko časa in denarja v razvoj kompleksne kode po meri.

Za podatke, uporabljene za ustvarjanje te rešitve, smo sodelovali z nabor dejstev, vodilni ponudnik finančnih podatkov, analitike in odprte tehnologije. FactSet jih ima več nabor podatkov na voljo na tržnici AWS Data Exchange, ki smo jo uporabili za referenčne podatke. Uporabili smo tudi FactSet rešitve tržnih podatkov za zgodovinske in tekoče tržne kotacije in posle.

Obravnavano

Podatki se obdelujejo v Amazon Redshift z upoštevanjem metodologije ekstrahiranja, nalaganja in preoblikovanja (ELT). S skoraj neomejenim obsegom in izolacijo delovne obremenitve je ELT bolj primeren za rešitve skladišč podatkov v oblaku.

Pretakanje Redshift uporabljate za vnos pretočnih ponudb (ponudba/povpraševanje) v realnem času iz toka podatkov Kinesis neposredno v materializirani pogled pretakanja in obdelavo podatkov v naslednjem koraku z uporabo PartiQL za razčlenjevanje vnosov toka podatkov. Upoštevajte, da se pretočni materializirani pogledi razlikujejo od navadnih materializiranih pogledov v smislu delovanja samodejnega osveževanja in uporabljenih ukazov SQL za upravljanje podatkov. Nanašati se na Upoštevanje vnosa pretakanja za podrobnosti.

Integracijo zero-ETL Aurora uporabljate za vnos transakcijskih podatkov (poslov) iz virov OLTP. Nanašati se na Delo z integracijami brez ETL za trenutno podprte vire. Podatke iz vseh teh virov lahko združite s pomočjo pogledov in uporabite shranjene procedure za implementacijo pravil poslovne transformacije, kot je izračun tehtanih povprečij po sektorjih in borzah.

Obseg podatkov o zgodovinskem trgovanju in ponudbah je ogromen in pogosto ni pogosto poizvedovan. Lahko uporabiš Amazonov rdeči premik spektra za dostop do teh podatkov na mestu, ne da bi jih naložili v Amazon Redshift. Ustvarite zunanje tabele, ki kažejo na podatke v Preprosta storitev shranjevanja Amazon (Amazon S3) in poizvedujte podobno kot poizvedujete po kateri koli drugi lokalni tabeli v Amazon Redshift. Več podatkovnih skladišč Redshift lahko hkrati poizveduje po istih naborih podatkov v Amazonu S3, ne da bi bilo treba narediti kopije podatkov za vsako podatkovno skladišče. Ta funkcija poenostavi dostop do zunanjih podatkov brez pisanja zapletenih procesov ETL in poveča enostavnost uporabe celotne rešitve.

Oglejmo si nekaj vzorčnih poizvedb, ki se uporabljajo za analizo kotacij in poslov. V vzorčnih poizvedbah uporabljamo naslednje tabele:

• dt_hist_quote – Podatki o zgodovinskih ponudbah, ki vsebujejo ponudbeno ceno in obseg, povpraševano ceno in obseg ter borze in sektorje. V svoji organizaciji morate uporabiti ustrezne nabore podatkov, ki vsebujejo te atribute podatkov.
• dt_hist_trades – Podatki o zgodovinskih poslih, ki vsebujejo podatke o trgovani ceni, obsegu, sektorju in borzi. V svoji organizaciji morate uporabiti ustrezne nabore podatkov, ki vsebujejo te atribute podatkov.
• factset_sector_map – Kartiranje med sektorji in izmenjavami. To lahko dobite pri Nabor podatkov ADX FactSet Fundamentals.

Vzorčna poizvedba za analizo zgodovinskih ponudb

Za iskanje tehtanih povprečnih razmikov na ponudbah lahko uporabite naslednjo poizvedbo:

select
date_dt :: date,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
sector_name,
sum(spread * weight)/sum(weight) :: decimal (30,5) as weighted_average_spread
from
(
select date_dt,exchange_name,
factset_sector_desc sector_name,
((bid_price*bid_volume) + (ask_price*ask_volume))as weight,
((ask_price - bid_price)/ask_price) as spread
from
dt_hist_quotes a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
where ask_price <> 0 and bid_price <> 0
)
group by 1,2,3

Vzorčna poizvedba za analizo preteklih poslov

Za iskanje lahko uporabite naslednjo poizvedbo $-volume o poslih po podrobni borzi, po sektorju in po glavni borzi (NYSE in Nasdaq):

select
cast(date_dt as date) as date_dt,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
factset_sector_desc sector_name,
sum((price * volume):: decimal(30,4)) total_transaction_amt
from
dt_hist_trades a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
group by 1,2,3

Poročanje

Lahko uporabite Amazon QuickSight in Grafana, ki jo upravlja Amazon za BI oziroma poročanje v realnem času. Te storitve se izvorno integrirajo z Amazon Redshift brez potrebe po uporabi dodatnih priključkov ali vmesne programske opreme.

Za poročanje in nadzorne plošče BI lahko zaženete neposredno poizvedbo iz QuickSighta. S QuickSightom lahko tudi lokalno shranite podatke v predpomnilnik SPICE s samodejnim osveževanjem za nizko zakasnitev. Nanašati se na Odobritev povezav iz Amazon QuickSight v gruče Amazon Redshift za izčrpne podrobnosti o tem, kako integrirati QuickSight z Amazon Redshift.

Grafano, ki jo upravlja Amazon, lahko uporabite za trgovalne nadzorne plošče v skoraj realnem času, ki se osvežijo vsakih nekaj sekund. Nadzorne plošče v realnem času za spremljanje zakasnitev vnosa trgovanja so ustvarjene z uporabo Grafane, podatki pa so pridobljeni iz sistemskih pogledov v Amazon Redshift. Nanašati se na Uporaba podatkovnega vira Amazon Redshift če želite izvedeti, kako konfigurirati Amazon Redshift kot vir podatkov za Grafano.

Uporabniki, ki sodelujejo z regulativnimi sistemi poročanja, vključujejo analitike, upravljavce tveganj, operaterje in druge osebe, ki podpirajo poslovne in tehnološke operacije. Poleg ustvarjanja regulativnih poročil te skupine zahtevajo vpogled v zdravje sistemov poročanja.

Analiza zgodovinskih citatov

V tem razdelku raziskujemo nekaj primerov analize zgodovinskih citatov iz Amazon QuickSight armaturna plošča.

Tehtano povprečje razmika po sektorjih

Naslednji grafikon prikazuje dnevno združevanje tehtanih povprečnih razmikov ponudbe in povpraševanja po sektorjih za vse posamezne posle na NASDAQ in NYSE za 3 mesece. Za izračun povprečnega dnevnega razmika se vsak razmik ponderira z vsoto ponudbe in povpraševanja v dolarjih. Poizvedba za ustvarjanje tega grafikona skupaj obdela 103 milijarde podatkovnih točk, združi vsako trgovino z referenčno tabelo sektorja in se izvede v manj kot 10 sekundah.

Tehtano povprečje razmika po borzah

Naslednji grafikon prikazuje dnevno združevanje tehtanih povprečnih razmikov ponudbe in povpraševanja vseh posameznih poslov na NASDAQ in NYSE za 3 mesece. Metodologija izračuna in meritve uspešnosti poizvedb so podobne tistim iz prejšnjega grafikona.

Analiza zgodovinskih poslov

V tem razdelku raziskujemo nekaj primerov zgodovinskih analiz trgovanja iz Amazon QuickSight armaturna plošča.

Obseg trgovine po sektorjih

Naslednji grafikon prikazuje dnevno združevanje po sektorjih vseh posameznih poslov na NASDAQ in NYSE za 3 mesece. Poizvedba za ustvarjanje tega grafikona obdela skupno 3.6 milijarde poslov, združi vsako trgovino z referenčno tabelo sektorja in se izvede v manj kot 5 sekundah.

Obseg trgovanja za glavne borze

Naslednji grafikon prikazuje dnevno združevanje po borznih skupinah vseh posameznih poslov za 3 mesece. Poizvedba za ustvarjanje tega grafikona ima podobne meritve uspešnosti kot prejšnji grafikon.

Nadzorne plošče v realnem času

Spremljanje in opazovanje je pomembna zahteva za vsako kritično poslovno aplikacijo, kot so poročanje o trgovini, obvladovanje tveganja in sistemi za upravljanje trgovine. Poleg meritev na sistemski ravni je pomembno tudi spremljanje ključnih kazalnikov uspešnosti v realnem času, tako da so operaterji lahko opozorjeni in se čim prej odzovejo na dogodke, ki vplivajo na poslovanje. Za to predstavitev smo v Grafani zgradili nadzorne plošče, ki spremljajo zakasnitev ponudb in trgovalnih podatkov iz podatkovnega toka Kinesis oziroma Aurora.

Nadzorna plošča zakasnitve vnosa ponudb prikazuje čas, ki je potreben, da se vsak zapis ponudbe vnese iz toka podatkov in je na voljo za poizvedovanje v Amazon Redshift.

Nadzorna plošča za zakasnitev vnosa trgovanja prikazuje čas, ki je potreben, da transakcija v Aurori postane na voljo v Amazon Redshift za poizvedovanje.

Čiščenje

Če želite počistiti svoje vire, izbrišite sklad, ki ste ga uvedli z uporabo AWS CloudFormation. Za navodila glejte Brisanje sklada na konzoli AWS CloudFormation.

zaključek

Naraščajoči obseg trgovalne dejavnosti, bolj zapleteno obvladovanje tveganja in okrepljene regulativne zahteve vodijo podjetja na kapitalskih trgih, da sprejmejo obdelavo podatkov v realnem in skoraj realnem času, tudi v sredinskih in zalednih platformah, kjer obdelava poteka ob koncu dneva in čez noč. je bil standard. V tej objavi smo pokazali, kako lahko uporabite zmožnosti Amazon Redshift za enostavno uporabo, malo vzdrževanja in stroškovno učinkovitost. Razpravljali smo tudi o integracijah med storitvami za vnos pretočnih tržnih podatkov, obdelavo posodobitev iz podatkovnih baz OLTP in uporabo referenčnih podatkov tretjih oseb, ne da bi morali izvajati zapleteno in drago obdelavo ETL ali ELT, preden so podatki na voljo za analizo in poročanje.

Prosimo, stopite v stik z nami, če potrebujete kakršna koli navodila za implementacijo te rešitve. Nanašati se na Analitika v realnem času s pretakanjem Amazon Redshift, Priročnik za začetnike za operativno analitiko v skoraj realnem času z integracijo Amazon Aurora zero-ETL z Amazon Redshiftin Delo z deljenjem podatkov AWS Data Exchange kot proizvajalec za več informacij.

O avtorjih

Satesh Sonti je starejši arhitekt za rešitve za analitiko iz Atlante, specializiran za gradnjo podatkovnih platform podjetij, skladiščenja podatkov in analitičnih rešitev. Ima več kot 18 let izkušenj z gradnjo podatkovnih sredstev in vodenjem kompleksnih programov podatkovnih platform za bančne in zavarovalniške stranke po vsem svetu.

Alket Memushaj dela kot glavni arhitekt v ekipi za razvoj trga finančnih storitev pri AWS. Alket je odgovoren za tehnično strategijo za kapitalske trge, sodeluje s partnerji in strankami pri uvajanju aplikacij v celotnem življenjskem ciklu trgovanja v oblaku AWS, vključno s povezljivostjo trga, trgovalnimi sistemi ter analitiko in raziskovalnimi platformami pred in po trgovanju.

Ruben Falk je strokovnjak za kapitalske trge, osredotočen na AI ter podatke in analitiko. Ruben se posvetuje z udeleženci kapitalskih trgov o sodobni arhitekturi podatkov in sistematičnih naložbenih procesih. AWS se je pridružil iz S&P Global Market Intelligence, kjer je bil globalni vodja rešitev za upravljanje naložb.

Jeff Wilson je svetovni strokovnjak za trženje s 15-letnimi izkušnjami pri delu z analitičnimi platformami. Trenutno se osredotoča na delitev prednosti uporabe Amazon Redshift, Amazonovega izvornega skladišča podatkov v oblaku. Jeff ima sedež na Floridi in je pri AWS zaposlen od leta 2019.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/big-data/combine-transactional-streaming-and-third-party-data-on-amazon-redshift-for-financial-services/