Yhdistä tapahtuma-, suoratoisto- ja kolmannen osapuolen tiedot Amazon Redshiftissä rahoituspalveluita varten | Amazon Web Services

Rahoituspalveluasiakkaat käyttävät eri lähteistä peräisin olevaa dataa, joka on peräisin eri taajuudella, mukaan lukien reaaliaikaiset, erä- ja arkistoidut tietojoukot. Lisäksi he tarvitsevat suoratoistoarkkitehtuuria käsitelläkseen kasvavia kauppamääriä, markkinoiden epävakautta ja sääntelyvaatimuksia. Seuraavassa on joitakin keskeisiä yrityskäyttötapauksia, jotka korostavat tätä tarvetta:

• Kaupan raportointi – Vuosien 2007–2008 maailmanlaajuisen finanssikriisin jälkeen sääntelyviranomaiset ovat lisänneet vaatimuksiaan ja valvontaansa viranomaisraportoinnin suhteen. Sääntelyviranomaiset ovat panostaneet entistä enemmän sekä kuluttajan suojelemiseen transaktioraportoinnin kautta (tyypillisesti T+1, mikä tarkoittaa 1 arkipäivää kaupantekopäivän jälkeen) että markkinoiden läpinäkyvyyden lisäämiseen lähes reaaliaikaisten kaupparaportointivaatimusten avulla.
• Riskienhallinta – Pääomamarkkinoiden monimutkaistuessa ja sääntelijät ottavat markkinoille uusia riskikehyksiä, kuten Kaupankäyntikirjan perusteellinen katsaus (FRTB) ja Basel III, rahoituslaitokset haluavat lisätä yleisen markkinariskin, likviditeettiriskin, vastapuoliriskin ja muiden riskimittausten laskelmien tiheyttä ja saada mahdollisimman lähelle reaaliaikaisia ​​laskelmia.
• Kaupan laatu ja optimointi – Kaupan laadun valvomiseksi ja optimoimiseksi sinun on jatkuvasti arvioitava markkinoiden ominaisuuksia, kuten volyymia, suuntaa, markkinoiden syvyyttä, täyttöastetta ja muita kauppojen toteutumiseen liittyviä vertailuarvoja. Kaupan laatu ei liity pelkästään välittäjien suorituskykyyn, vaan se on myös sääntelyviranomaisten vaatimus, alkaen MiFID II.

Haasteena on löytää ratkaisu, joka pystyy käsittelemään näitä erilaisia ​​lähteitä, vaihtelevia taajuuksia ja alhaisen latenssin kulutusvaatimuksia. Ratkaisun tulee olla skaalautuva, kustannustehokas ja helppo ottaa käyttöön ja käyttää. Amazonin punainen siirto ominaisuuksia, kuten suoratoiston käsittely, Amazon Aurora nolla-ETL-integraatioja tietojen jakaminen kanssa AWS-tiedonvaihto mahdollistaa lähes reaaliaikaisen käsittelyn kaupparaportointia, riskienhallintaa ja kaupan optimointia varten.

Tässä viestissä tarjoamme ratkaisuarkkitehtuurin, joka kuvaa, kuinka voit käsitellä tietoja kolmesta eri lähteestä – suoratoisto-, tapahtuma- ja kolmannen osapuolen viitetiedot – ja koota ne Amazon Redshift for Business Intelligence (BI) -raportointiin.

Ratkaisun yleiskatsaus

Tämä ratkaisuarkkitehtuuri on luotu priorisoimalla vähän koodia/ei koodia -lähestymistapaa seuraavilla ohjaavilla periaatteilla:

• Helppokäyttöisyys – Sen tulisi olla vähemmän monimutkaista toteuttaa ja käyttää intuitiivisia käyttöliittymiä
• Skaalautuva – Kapasiteettia pitäisi pystyä saumattomasti kasvattamaan ja vähentämään tarpeen mukaan
• Alkuperäinen integraatio – Komponenttien tulee integroida ilman lisäliittimiä tai ohjelmistoja
• Kustannustehokas – Sen pitäisi tarjota tasapainoinen hinta/suorituskyky
• Vähän huoltoa – Sen pitäisi vaatia vähemmän hallintoa ja operatiivisia yleiskustannuksia

Seuraava kaavio havainnollistaa ratkaisun arkkitehtuuria ja sitä, kuinka näitä ohjaavia periaatteita sovellettiin käsittely-, yhdistämis- ja raportointikomponentteihin.

Ota ratkaisu käyttöön

Voit käyttää seuraavaa AWS-pilven muodostuminen mallia ratkaisun käyttöönottamiseksi.

Tämä pino luo seuraavat resurssit ja tarvittavat käyttöoikeudet palveluiden integrointiin:

nieleminen

Tietojen nielemiseen käytät Amazon Redshift -suoratoisto ladataksesi suoratoistodataa Kinesis-tietovirrasta. Käytät tapahtumatiedoille Punasiirtymän nolla-ETL-integraatio Amazon Aurora MySQL:n kanssa. Kolmannen osapuolen viitetiedoissa hyödynnät AWS Data Exchange -dataosuudet. Näiden ominaisuuksien avulla voit rakentaa nopeasti skaalautuvia tietoputkia, koska voit lisätä Kinesis Data Streams -sirpaleiden kapasiteettia, laskea nolla-ETL-lähteitä ja -kohteita ja Redshift-laskennan jakamista datan kasvaessa. Redshift-suoratoisto ja nolla-ETL-integraatio ovat vähän koodia/koodittomia ratkaisuja, jotka voit rakentaa yksinkertaisilla SQL:illä investoimatta merkittävästi aikaa ja rahaa monimutkaisen mukautetun koodin kehittämiseen.

Tämän ratkaisun luomiseen käytettyjen tietojen osalta teimme yhteistyötä FactSet, johtava taloustietojen, analytiikan ja avoimen teknologian toimittaja. FactSetillä on useita aineistot saatavilla AWS Data Exchange -markkinapaikalla, jota käytimme viitetietona. Käytimme myös FactSetiä markkinatietoratkaisut historiallisiin ja streaming-markkinoiden noteerauksiin ja kauppoihin.

Käsittely

Tiedot käsitellään Amazon Redshiftissä noudattaen extract, load, and transform (ELT) -metodologiaa. Käytännössä rajattoman mittakaavan ja työkuorman eristyksen ansiosta ELT sopii paremmin pilvitietovarastoratkaisuihin.

Käytät Redshift-suoratoistoa suoratoistolainausten (tarjous/kysy) reaaliaikaiseen käsittelyyn Kinesis-tietovirrasta suoraan suoratoiston materialisoituun näkymään ja käsittelet tiedot seuraavassa vaiheessa PartiQL:n avulla datavirran syötteiden jäsentämiseen. Huomaa, että suoratoistetut materialisoidut näkymät eroavat tavallisista toteutuneista näkymistä automaattisen päivityksen toiminnan ja käytettyjen tiedonhallinnan SQL-komentojen suhteen. Viitata Suoratoiston käsittelyyn liittyvät näkökohdat lisätietoja.

Käytät nolla-ETL Aurora -integraatiota tapahtumatietojen (kauppojen) syöttämiseen OLTP-lähteistä. Viitata Työskentely nolla-ETL-integraatioiden kanssa tällä hetkellä tuetuille lähteille. Voit yhdistää tietoja kaikista näistä lähteistä käyttämällä näkymiä ja käyttää tallennettuja toimenpiteitä liiketoiminnan muunnossääntöjen, kuten sektoreiden ja pörssien painotettujen keskiarvojen laskemiseen, toteuttamiseen.

Historiallisten kauppa- ja tarjoustietojen määrät ovat valtavat, eikä niitä usein kysytä usein. Voit käyttää Amazonin punasiirtospektri päästäksesi näihin tietoihin paikan päällä lataamatta niitä Amazon Redshiftiin. Luot ulkoisia taulukoita, jotka osoittavat sisäänrakennettuun tietoon Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ja tee kysely samalla tavalla kuin mitä tahansa muuta paikallista taulukkoa Amazon Redshiftissä. Useat Redshift-tietovarastot voivat tehdä samanaikaisia ​​kyselyitä samoista tietojoukoista Amazon S3:ssa ilman, että jokaisen tietovaraston tiedoista tarvitsee kopioida. Tämä ominaisuus yksinkertaistaa ulkoisten tietojen käyttöä kirjoittamatta monimutkaisia ​​ETL-prosesseja ja parantaa kokonaisratkaisun helppokäyttöisyyttä.

Katsotaanpa muutama esimerkkikysely, joita käytetään tarjousten ja kauppojen analysointiin. Käytämme seuraavia taulukoita esimerkkikyselyissä:

• dt_hist_quote – Historialliset noteeraustiedot, jotka sisältävät ostohinnan ja volyymin, ostohinnan ja volyymin sekä pörssit ja sektorit. Sinun tulee käyttää organisaatiossasi asiaankuuluvia tietojoukkoja, jotka sisältävät nämä tietomääritteet.
• dt_hist_trades – Historialliset kauppatiedot, jotka sisältävät kaupankäynnin hinnan, määrän, sektorin ja pörssin tiedot. Sinun tulee käyttää organisaatiossasi asiaankuuluvia tietojoukkoja, jotka sisältävät nämä tietomääritteet.
• factset_sector_map – Kartoitus sektoreiden ja pörssien välillä. Voit saada tämän osoitteesta FactSet Fundamentals ADX-tietojoukko.

Esimerkkikysely historiallisten lainausten analysointiin

Voit käyttää seuraavaa kyselyä löytääksesi lainausten painotetut keskimääräiset erot:

select
date_dt :: date,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
sector_name,
sum(spread * weight)/sum(weight) :: decimal (30,5) as weighted_average_spread
from
(
select date_dt,exchange_name,
factset_sector_desc sector_name,
((bid_price*bid_volume) + (ask_price*ask_volume))as weight,
((ask_price - bid_price)/ask_price) as spread
from
dt_hist_quotes a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
where ask_price <> 0 and bid_price <> 0
)
group by 1,2,3

Esimerkkikysely historiallisten kauppojen analysointiin

Voit käyttää seuraavaa kyselyä löytääksesi $-volume kaupoista yksityiskohtaisten pörssien, sektoreiden ja suurten pörssien mukaan (NYSE ja Nasdaq):

select
cast(date_dt as date) as date_dt,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
factset_sector_desc sector_name,
sum((price * volume):: decimal(30,4)) total_transaction_amt
from
dt_hist_trades a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
group by 1,2,3

Raportointi

Voit käyttää Amazon QuickSight ja Amazonin hallinnoima Grafana BI-raportointia ja reaaliaikaista raportointia varten. Nämä palvelut integroituvat natiivisti Amazon Redshiftin kanssa ilman, että niiden välissä tarvitsee käyttää lisäliittimiä tai ohjelmistoja.

Voit suorittaa suoran kyselyn QuickSightista BI-raportointia ja kojelautaa varten. QuickSightin avulla voit myös tallentaa tietoja paikallisesti SPICE-välimuistiin automaattisella päivityksellä alhaisen viiveen saavuttamiseksi. Viitata Valtuutetaan yhteydet Amazon QuickSightista Amazon Redshift -klusteriin saadaksesi kattavat tiedot QuickSightin integroinnista Amazon Redshiftin kanssa.

Voit käyttää Amazon Managed Grafanaa lähes reaaliaikaisiin kaupan hallintapaneeleihin, jotka päivitetään muutaman sekunnin välein. Reaaliaikaiset kojelaudat kaupan käsittelyviiveiden seuraamiseksi luodaan Grafanalla, ja tiedot saadaan Amazon Redshiftin järjestelmänäkymistä. Viitata Amazon Redshift -tietolähteen käyttäminen oppiaksesi Amazon Redshiftin määrittämisestä Grafanan tietolähteeksi.

Sääntelyraportointijärjestelmien kanssa vuorovaikutuksessa olevia käyttäjiä ovat analyytikot, riskienhallijat, operaattorit ja muut yritys- ja teknologiatoimintaa tukevat henkilöt. Sääntelyraporttien tuottamisen lisäksi nämä tiimit vaativat näkyvyyttä raportointijärjestelmien kunnosta.

Historiallisten lainausten analyysi

Tässä osiossa tutkimme joitain esimerkkejä historiallisten lainausten analysoinnista Amazon QuickSight kojelautaan.

Painotettu keskimääräinen jakautuminen sektoreittain

Seuraava kaavio näyttää kaikkien NASDAQ:n ja NYSE:n yksittäisten kauppojen painotetun keskimääräisen osto- ja myyntieron päivittäisen koosteen sektoreittain 3 kuukauden ajalta. Keskimääräisen päivittäisen eron laskemiseksi jokainen erotus painotetaan tarjouksen ja ostodollarin volyymin summalla. Kysely tämän kaavion luomiseksi käsittelee yhteensä 103 miljardia datapistettä, liittää jokaisen kaupan sektoriviitetaulukkoon ja suoritetaan alle 10 sekunnissa.

Pörssien painotettu keskiarvo

Seuraava kaavio näyttää kaikkien NASDAQ:n ja NYSE:n yksittäisten kauppojen painotetun keskimääräisen osto-ask-eron päivittäisen koosteen 3 kuukauden ajalta. Laskentamenetelmät ja kyselyn tehokkuustiedot ovat samanlaiset kuin edellisessä kaaviossa.

Historiallinen kauppaanalyysi

Tässä osiossa tutkimme joitain esimerkkejä historiallisista kaupoista Amazon QuickSight kojelautaan.

Kaupan määrä toimialoittain

Seuraava kaavio näyttää päivittäisen koosteen sektoreittain kaikista NASDAQ:n ja NYSE:n yksittäisistä kaupoista 3 kuukauden ajalta. Kysely tämän kaavion luomiseksi käsittelee yhteensä 3.6 miljardia kauppaa, liittää jokaisen kaupan sektoriviitetaulukkoon ja suoritetaan alle 5 sekunnissa.

Suurten pörssien kauppavolyymit

Seuraava kaavio näyttää kaikkien yksittäisten kauppojen päivittäisen koosteen pörssiryhmittäin 3 kuukauden ajalta. Tämän kaavion luomiskyselyllä on samanlaiset tehokkuustiedot kuin edellisessä kaaviossa.

Reaaliaikaiset kojelaudat

Seuranta ja havainnointi ovat tärkeitä vaatimuksia kaikille kriittisille liiketoimintasovelluksille, kuten kaupan raportoinnille, riskienhallinnalle ja kaupan hallintajärjestelmille. Järjestelmätason mittareiden lisäksi on tärkeää seurata keskeisiä suoritusindikaattoreita reaaliajassa, jotta operaattorit voivat hälyttää ja reagoida mahdollisimman pian liiketoimintaan vaikuttaviin tapahtumiin. Tätä esittelyä varten olemme rakentaneet Grafanaan kojelaudat, jotka valvovat Kinesis-tietovirran ja Auroran hinta- ja kauppatietojen viivettä.

Tarjouksen käsittelyn viiveen kojelauta näyttää ajan, joka kuluu kunkin tarjoustietueen syöttämiseen tietovirrasta ja kyselyyn Amazon Redshiftissä.

Kaupan käsittelyn viiveen kojelauta näyttää ajan, joka kuluu, ennen kuin Aurora-tapahtuma tulee saataville Amazon Redshiftissä kyselyä varten.

Puhdistaa

Voit puhdistaa resurssit poistamalla pinon, jonka otit käyttöön AWS CloudFormationin avulla. Katso ohjeet kohdasta Pinon poistaminen AWS CloudFormation -konsolista.

Yhteenveto

Kasvavat kaupankäynnin volyymit, monimutkaisempi riskienhallinta ja lisääntyneet sääntelyvaatimukset saavat pääomamarkkinayritykset ottamaan käyttöön reaaliaikaisen ja lähes reaaliaikaisen tietojenkäsittelyn myös keski- ja back-office-alustoilla, joissa käsittely tapahtuu päivän lopussa ja yön yli. oli standardi. Tässä viestissä osoitimme, kuinka voit käyttää Amazon Redshift -ominaisuuksia käytön helppouden, alhaisen ylläpidon ja kustannustehokkuuden vuoksi. Keskustelimme myös palvelujen välisistä integroinneista, joiden avulla pystymme syöttämään markkinatietoja, käsittelemään päivityksiä OLTP-tietokannoista ja käyttämään kolmannen osapuolen viitetietoja ilman monimutkaista ja kallista ETL- tai ELT-käsittelyä ennen tietojen asettamista saataville analysointia ja raportointia varten.

Ota meihin yhteyttä, jos tarvitset ohjeita tämän ratkaisun käyttöönotossa. Viitata Reaaliaikainen analytiikka Amazon Redshift -suoratoiston avulla, Aloitusopas lähes reaaliaikaiseen operatiiviseen analytiikkaan käyttämällä Amazon Aurora zero-ETL -integraatiota Amazon Redshiftin kanssaja Työskentely AWS Data Exchange -dataosuuksien kanssa tuottajana lisätietoja.

Tietoja Tekijät

Satesh Sonti on Atlantasta kotoisin oleva vanhempi Analytics Specialist Solutions Architect, joka on erikoistunut yritystietoalustojen, tietovarastoinnin ja analytiikkaratkaisujen rakentamiseen. Hänellä on yli 18 vuoden kokemus tietovarojen rakentamisesta ja monimutkaisten tietoalustaohjelmien johtamisesta pankki- ja vakuutusasiakkaille ympäri maailmaa.

Alket Memushaj työskentelee pääarkkitehtina AWS:n rahoituspalvelumarkkinoiden kehitystiimissä. Alket vastaa pääomamarkkinoiden teknisestä strategiasta ja työskentelee kumppaneiden ja asiakkaiden kanssa sovellusten käyttöönottamiseksi AWS-pilveen kaupan elinkaaren aikana, mukaan lukien markkinoiden liitettävyys, kaupankäyntijärjestelmät sekä kauppaa edeltävät ja jälkeiset analytiikka- ja tutkimusalustat.

Ruben Falk on pääomamarkkinoiden asiantuntija, joka keskittyy tekoälyyn sekä dataan ja analytiikkaan. Ruben konsultoi pääomamarkkinoiden toimijoita modernista tietoarkkitehtuurista ja systemaattisista sijoitusprosesseista. Hän liittyi AWS:ään S&P Global Market Intelligencestä, jossa hän oli sijoitusjohtamisratkaisujen globaali johtaja.

Jeff Wilson on maailmanlaajuinen myyntiin erikoistunut asiantuntija, jolla on 15 vuoden kokemus työskentelystä analyyttisten alustojen parissa. Tällä hetkellä hän keskittyy jakamaan Amazon Redshiftin, Amazonin alkuperäisen pilvitietovaraston, käytön edut. Jeff sijaitsee Floridassa ja on ollut AWS:n palveluksessa vuodesta 2019.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/big-data/combine-transactional-streaming-and-third-party-data-on-amazon-redshift-for-financial-services/