Kombineerige finantsteenuste jaoks tehingute, voogesituse ja kolmandate osapoolte andmeid Amazon Redshiftis | Amazoni veebiteenused

Finantsteenuste kliendid kasutavad erinevatest allikatest pärit andmeid, mis pärinevad erinevatel sagedustel, sealhulgas reaalajas, pakett- ja arhiveeritud andmekogumid. Lisaks vajavad nad voogedastusarhitektuure, et tulla toime kasvavate kaubandusmahtude, turu volatiilsuse ja regulatiivsete nõudmistega. Järgmised on mõned peamised ärikasutusjuhtumid, mis seda vajadust rõhutavad.

• Kaubanduse aruandlus – Alates 2007.–2008. aasta ülemaailmsest finantskriisist on reguleerivad asutused suurendanud oma nõudmisi ja kontrolli regulatiivse aruandluse suhtes. Reguleerivad asutused on pööranud suuremat tähelepanu nii tarbija kaitsmisele tehingute aruandluse kaudu (tavaliselt T+1, mis tähendab 1 tööpäev pärast kauplemiskuupäeva) kui ka turgude läbipaistvuse suurendamisele peaaegu reaalajas kauplemise aruandluse nõuete kaudu.
• Riskijuhtimine – Kuna kapitaliturud muutuvad keerukamaks ja reguleerivad asutused käivitavad uusi riskiraamistikke, nt Kauplemisraamatu põhiülevaade (FRTB) ja Basel III, soovivad finantsasutused suurendada üldise tururiski, likviidsusriski, vastaspoole riski ja muude riskimõõtmiste arvutuste sagedust ning saada võimalikult lähedale reaalajas tehtud arvutustele.
• Kaubanduse kvaliteet ja optimeerimine – Kauplemise kvaliteedi jälgimiseks ja optimeerimiseks peate pidevalt hindama turu omadusi, nagu maht, suund, turu sügavus, täituvus ja muud tehingute lõpuleviimisega seotud võrdlusalused. Kaubanduse kvaliteet ei ole seotud ainult maakleri tulemuslikkusega, vaid on ka regulaatorite nõue, alustades sellest MiFID II.

Väljakutse on leida lahendus, mis suudaks toime tulla nende erinevate allikate, erinevate sageduste ja madala latentsusajaga tarbimisnõuetega. Lahendus peaks olema skaleeritav, kulutõhus ning lihtsalt kasutatav ja toimiv. Amazoni punane nihe funktsioone, nagu voogesituse allaneelamine, Amazonase Aurora null-ETL integratsioonja andmete jagamine AWS-i andmevahetus võimaldavad peaaegu reaalajas töötlemist kaubanduse aruandluse, riskijuhtimise ja kaubanduse optimeerimise jaoks.

Selles postituses pakume lahenduse arhitektuuri, mis kirjeldab, kuidas saate töödelda kolme erinevat tüüpi allikast – voogedastus-, tehingu- ja kolmanda osapoole võrdlusandmed – pärinevaid andmeid ning koondada need Amazon Redshiftis ärianalüüsi (BI) aruandluse jaoks.

Lahenduse ülevaade

See lahenduse arhitektuur on loodud, eelistades madala koodi/koodita lähenemisviisi järgmiste juhtpõhimõtetega:

• Kasutusmugavus – Selle juurutamine ja intuitiivsete kasutajaliidestega töötamine peaks olema vähem keerukas
• skaleeritav – Peaksite suutma nõudluse korral võimsust sujuvalt suurendada ja vähendada
• Natiivne integratsioon – Komponendid peaksid integreeruma ilma täiendavate pistikute või tarkvarata
• Kuluefektiivne - See peaks tagama tasakaalustatud hinna ja jõudluse
• Madal hooldus – See peaks nõudma vähem juhtimis- ja tegevuskulusid

Järgmine diagramm illustreerib lahenduse arhitektuuri ja seda, kuidas neid juhtpõhimõtteid allaneelamise, koondamise ja aruandluse komponentidele rakendati.

Rakendage lahendus

Võite kasutada järgmist AWS CloudFormation malli lahenduse juurutamiseks.

See virn loob teenuste integreerimiseks järgmised ressursid ja vajalikud load:

Allaneelamine

Andmete neelamiseks kasutate Amazon Redshift Streaming Ingestion voogesituse andmete laadimiseks Kinesise andmevoost. Tehinguandmete jaoks kasutate Punase nihke null-ETL integratsioon Amazon Aurora MySQL-iga. Kolmanda osapoole viiteandmete puhul kasutate ära AWS-i andmevahetuse andmejagamised. Need võimalused võimaldavad teil kiiresti luua skaleeritavaid andmekonveierte, kuna saate suurendada Kinesis Data Streamsi kildude mahtu, arvutada null-ETL-i allikaid ja sihtmärke ning punanihkega arvutada andmejagamisi, kui teie andmed kasvavad. Redshift voogesituse sissevõtmine ja null-ETL-i integreerimine on madala koodi/koodita lahendused, mida saate luua lihtsate SQL-idega, ilma et peaksite keeruka kohandatud koodi väljatöötamisse investeerima märkimisväärset aega ja raha.

Selle lahenduse loomiseks kasutatud andmete osas tegime koostööd FactSet, juhtiv finantsandmete, analüütika ja avatud tehnoloogia pakkuja. FactSetil on mitu andmekogumid saadaval AWS-i andmevahetuse turul, mida kasutasime võrdlusandmete jaoks. Kasutasime ka FactSeti turuandmete lahendused ajalooliste ja voogesituse turu noteeringute ja tehingute jaoks.

Töötlemine

Andmeid töödeldakse Amazon Redshiftis, järgides ekstraktimise, laadimise ja teisendamise (ELT) metoodikat. Praktiliselt piiramatu ulatuse ja töökoormuse isolatsiooniga ELT sobib paremini pilvandmelao lahendusteks.

Kasutate Redshifti voogesituse sissevõtmist voogesituse hinnapakkumiste (pakkumine/küsimine) reaalajas sisestamiseks Kinesise andmevoost otse voogesituse materialiseeritud vaatesse ja töötlete andmeid järgmises etapis, kasutades andmevoo sisendite sõelumiseks PartiQL-i. Pange tähele, et voogesituse materialiseeritud vaated erinevad tavalistest materialiseeritud vaadetest automaatse värskendamise ja kasutatavate andmehalduse SQL-käskude poolest. Viitama Voogesituse allaneelamise kaalutlused üksikasjad.

Te kasutate OLTP-allikatest tehinguandmete (tehingute) allaneelamiseks null-ETL-i Aurora integratsiooni. Viitama Töötamine null-ETL-i integratsioonidega praegu toetatud allikate jaoks. Saate kombineerida kõigist nendest allikatest pärinevaid andmeid vaadete abil ja kasutada salvestatud protseduure ettevõtte ümberkujundamise reeglite rakendamiseks, näiteks sektorite ja börside kaalutud keskmiste arvutamiseks.

Ajalooliste kaubandus- ja noteeringuandmete mahud on suured ja sageli ei küsita neid sageli. Sa võid kasutada Amazonase punase nihke spekter et pääseda nendele andmetele paigas juurde ilma neid Amazon Redshifti laadimata. Saate luua väliseid tabeleid, mis osutavad andmetele Amazoni lihtne salvestusteenus (Amazon S3) ja esitage päring sarnaselt Amazon Redshifti muudele kohalikele tabelitele. Mitu Redshift andmeladu saavad samaaegselt teha päringuid Amazon S3 samade andmekogumite kohta, ilma et oleks vaja iga andmelao jaoks andmetest koopiaid teha. See funktsioon lihtsustab juurdepääsu välisandmetele ilma keerulisi ETL-protsesse kirjutamata ja suurendab üldise lahenduse kasutusmugavust.

Vaatame üle mõned näidispäringud, mida hinnapakkumiste ja tehingute analüüsimiseks kasutatakse. Näidispäringutes kasutame järgmisi tabeleid:

• dt_hist_tsitaat – Ajaloolised noteeringute andmed, mis sisaldavad pakkumishinda ja -mahtu, müügihinda ja -mahtu ning börse ja sektoreid. Peaksite kasutama oma organisatsioonis asjakohaseid andmekogumeid, mis sisaldavad neid andmeatribuute.
• dt_hist_trades – Ajaloolised tehingute andmed, mis sisaldavad kaubeldatud hinda, mahtu, sektorit ja börsi üksikasju. Peaksite kasutama oma organisatsioonis asjakohaseid andmekogumeid, mis sisaldavad neid andmeatribuute.
• factset_sector_map – Sektorite ja börside vaheline kaardistamine. Selle saate aadressilt FactSet Fundamentals ADX-i andmestik.

Näidispäring ajalooliste tsitaatide analüüsimiseks

Hinnapakkumiste kaalutud keskmise hinnavahe leidmiseks saate kasutada järgmist päringut:

select
date_dt :: date,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
sector_name,
sum(spread * weight)/sum(weight) :: decimal (30,5) as weighted_average_spread
from
(
select date_dt,exchange_name,
factset_sector_desc sector_name,
((bid_price*bid_volume) + (ask_price*ask_volume))as weight,
((ask_price - bid_price)/ask_price) as spread
from
dt_hist_quotes a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
where ask_price <> 0 and bid_price <> 0
)
group by 1,2,3

Näidispäring ajalooliste tehingute analüüsimiseks

Leidmiseks saate kasutada järgmist päringut $-volume tehingute kohta üksikasjalike börside, sektorite ja suuremate börside kaupa (NYSE ja Nasdaq):

select
cast(date_dt as date) as date_dt,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
factset_sector_desc sector_name,
sum((price * volume):: decimal(30,4)) total_transaction_amt
from
dt_hist_trades a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
group by 1,2,3

Aruandlus

Võite kasutada Amazon QuickSight ja Amazoni hallatav Grafana vastavalt BI ja reaalajas aruandluse jaoks. Need teenused integreeruvad natiivselt Amazon Redshiftiga, ilma et oleks vaja vahepeal kasutada lisapistikuid või tarkvara.

Saate käivitada otsepäringu QuickSightist BI aruandluse ja armatuurlaudade jaoks. QuickSighti abil saate automaatse värskendusega madala latentsusaja jaoks andmeid ka lokaalselt salvestada SPICE vahemällu. Viitama Ühenduste lubamine Amazon QuickSightilt Amazon Redshifti klastritesse üksikasjaliku teabe saamiseks QuickSighti integreerimise kohta Amazon Redshiftiga.

Saate kasutada Amazon Managed Grafanat peaaegu reaalajas toimuvate kaubanduse armatuurlaudade jaoks, mida värskendatakse iga paari sekundi järel. Reaalajas armatuurlauad kaubanduse allaneelamise latentsusaegade jälgimiseks luuakse Grafana abil ja andmed pärinevad Amazon Redshifti süsteemivaadetest. Viitama Amazon Redshift andmeallika kasutamine et saada teavet selle kohta, kuidas konfigureerida Amazon Redshifti Grafana andmeallikana.

Regulatiivsete aruandlussüsteemidega suhtlevad kasutajad on analüütikud, riskijuhid, operaatorid ja muud isikud, kes toetavad äri- ja tehnoloogiatoiminguid. Lisaks regulatiivsete aruannete koostamisele vajavad need meeskonnad aruandlussüsteemide seisundi nähtavust.

Ajalooliste tsitaatide analüüs

Selles jaotises uurime mõningaid näiteid ajalooliste tsitaatide analüüsist Amazon QuickSight armatuurlaud.

Kaalutud keskmine jaotus sektorite lõikes

Järgnev diagramm näitab NASDAQ-i ja NYSE kõigi üksikute tehingute kaalutud keskmiste ostu-müügihinna vahede igapäevast koondamist sektorite kaupa 3 kuu jooksul. Keskmise päevase hinnavahe arvutamiseks kaalutakse iga hinnavahet pakkumise ja müügidollari müügimahu summaga. Selle diagrammi genereerimise päring töötleb kokku 103 miljardit andmepunkti, ühendab iga tehingu sektori võrdlustabeliga ja käivitatakse vähem kui 10 sekundiga.

Kaalutud keskmine hinnavahe börside lõikes

Järgmine diagramm näitab kõigi NASDAQ-i ja NYSE-i üksikute tehingute kaalutud keskmiste ostu-müügihinna vahede igapäevast summeerimist 3 kuu jooksul. Arvutusmetoodika ja päringu toimivusmõõdikud on sarnased eelmise diagrammiga.

Ajalooline tehingute analüüs

Selles jaotises uurime mõningaid näiteid ajaloolisest tehingute analüüsist Amazon QuickSight armatuurlaud.

Kaubandusmahud sektorite kaupa

Järgmine diagramm näitab NASDAQi ja NYSE kõigi üksikute tehingute igapäevast koondamist sektorite kaupa 3 kuu jooksul. Selle diagrammi genereerimise päring töötleb kokku 3.6 miljardit tehingut, ühendab iga tehingu sektori võrdlustabeliga ja jookseb vähem kui 5 sekundiga.

Kaubandusmahud suuremate börside jaoks

Järgmine diagramm näitab kõigi üksikute tehingute igapäevast koondamist börsirühmade kaupa 3 kuu jooksul. Selle diagrammi loomise päringul on sarnased toimivusmõõdikud kui eelmisel diagrammil.

Reaalajas armatuurlauad

Järelevalve ja jälgitavus on oluline nõue mis tahes kriitilise ärirakenduse jaoks, nagu kaubandusaruandlus, riskijuhtimine ja kaubanduse juhtimissüsteemid. Lisaks süsteemitaseme mõõdikutele on oluline jälgida ka peamisi jõudlusnäitajaid reaalajas, et operaatorid saaksid hoiatada ja reageerida võimalikult kiiresti äritegevust mõjutavatele sündmustele. Selle demonstratsiooni jaoks oleme loonud Grafana armatuurlauad, mis jälgivad vastavalt Kinesise andmevoo ja Aurora noteeringu- ja kauplemisandmete viivitust.

Hinnapakkumise sisestamise viivituse armatuurlaud näitab aega, mis kulub iga hinnapakkumise kirje andmevoost allaneelamiseks ja Amazon Redshiftis päringute tegemiseks kättesaadavaks tegemiseks.

Kaubanduse allaneelamise viivituse armatuurlaud näitab aega, mis kulub Auroras tehtud tehingu tegemiseks Amazon Redshiftis päringute tegemiseks.

Koristage

Ressursside puhastamiseks kustutage AWS CloudFormationi abil juurutatud virn. Juhiste saamiseks vaadake AWS CloudFormationi konsoolil virna kustutamine.

Järeldus

Kauplemistegevuse suurenemine, keerulisem riskijuhtimine ja rangemad regulatiivsed nõuded sunnivad kapitaliturgude ettevõtteid kasutama reaalajas ja peaaegu reaalajas andmetöötlust isegi kesk- ja tagakontori platvormidel, kus töötlemine toimub päeva lõpus ja üleöö. oli standard. Selles postituses demonstreerisime, kuidas saate kasutada Amazon Redshifti võimalusi kasutusmugavuse, vähese hoolduse ja kuluefektiivsuse tagamiseks. Arutasime ka teenusteüleseid integratsioone turuandmete voogesitamiseks, OLTP-andmebaaside värskenduste töötlemiseks ja kolmandate osapoolte viiteandmete kasutamiseks, ilma et oleks vaja enne andmete analüüsiks ja aruandluseks kättesaadavaks tegemist teha keerukat ja kulukat ETL- või ELT-töötlust.

Kui vajate selle lahenduse rakendamiseks juhiseid, võtke meiega ühendust. Viitama Reaalajas analüüs Amazon Redshifti voogesituse kaudu, Alustusjuhend peaaegu reaalajas operatiivanalüütika jaoks, kasutades Amazon Aurora null-ETL integratsiooni Amazon Redshiftigaja AWS-i andmevahetuse andmejagamisega töötamine tootjana rohkem informatsiooni.

Autoritest

Satesh Sonti on Atlantas asuv vanem Analyticsi spetsialisti lahenduste arhitekt, kes on spetsialiseerunud ettevõtte andmeplatvormide, andmehoidlate ja analüüsilahenduste loomisele. Tal on üle 18-aastane kogemus andmevarade loomisel ja keerukate andmeplatvormiprogrammide juhtimisel panga- ja kindlustusklientidele üle maailma.

Alket Memushaj töötab peaarhitektina AWS-i finantsteenuste turu arendusmeeskonnas. Alket vastutab kapitaliturgude tehnilise strateegia eest, tehes koostööd partnerite ja klientidega, et juurutada rakendusi kogu kaubanduse elutsükli jooksul AWS-i pilve, sealhulgas turu ühenduvus, kauplemissüsteemid ning kauplemiseelsed ja -järgsed analüüsi- ja uurimisplatvormid.

Ruben Falk on kapitaliturgude spetsialist, kes keskendub tehisintellektile ning andmetele ja analüütikale. Ruben konsulteerib kapitaliturgude osalejatega kaasaegse andmearhitektuuri ja süsteemsete investeerimisprotsesside osas. Ta liitus AWS-iga ettevõttest S&P Global Market Intelligence, kus ta oli investeeringute haldamise lahenduste globaalne juht.

Jeff Wilson on ülemaailmne turule sisenemise spetsialist, kellel on 15-aastane analüütiliste platvormidega töötamise kogemus. Tema praegune fookus on Amazoni loomuliku pilvandmelao Amazon Redshifti kasutamise eeliste jagamine. Jeff asub Floridas ja on olnud AWS-is alates 2019. aastast.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/big-data/combine-transactional-streaming-and-third-party-data-on-amazon-redshift-for-financial-services/