Combina dati transazionali, di streaming e di terze parti su Amazon Redshift per i servizi finanziari | Servizi Web di Amazon

I clienti dei servizi finanziari utilizzano dati provenienti da fonti diverse che hanno origine a frequenze diverse, tra cui set di dati in tempo reale, batch e archiviati. Inoltre, hanno bisogno di architetture di streaming per gestire i crescenti volumi commerciali, la volatilità del mercato e le richieste normative. Di seguito sono riportati alcuni dei principali casi d'uso aziendali che evidenziano questa esigenza:

• Reportistica commerciale – A partire dalla crisi finanziaria globale del 2007-2008, le autorità di regolamentazione hanno aumentato le loro richieste e il controllo sul reporting regolamentare. Le autorità di regolamentazione hanno posto maggiore attenzione sia alla protezione del consumatore attraverso la segnalazione delle transazioni (tipicamente T+1, ovvero 1 giorno lavorativo dopo la data di negoziazione) sia all'aumento della trasparenza nei mercati attraverso requisiti di segnalazione delle transazioni quasi in tempo reale.
• Gestione del rischio – Man mano che i mercati dei capitali diventano più complessi e le autorità di regolamentazione lanciano nuovi quadri di rischio, come ad esempio Revisione fondamentale del portafoglio di negoziazione (FRTB) e Basilea III, gli istituti finanziari stanno cercando di aumentare la frequenza dei calcoli per il rischio di mercato complessivo, il rischio di liquidità, il rischio di controparte e altre misurazioni del rischio e vogliono avvicinarsi il più possibile ai calcoli in tempo reale.
• Qualità e ottimizzazione del commercio – Al fine di monitorare e ottimizzare la qualità delle operazioni, è necessario valutare continuamente le caratteristiche del mercato come volume, direzione, profondità del mercato, tasso di riempimento e altri parametri di riferimento relativi al completamento delle operazioni. La qualità del commercio non è legata solo alle prestazioni del broker, ma è anche un requisito delle autorità di regolamentazione, a cominciare da MiFID II.

La sfida è trovare una soluzione in grado di gestire queste fonti disparate, frequenze diverse e requisiti di consumo a bassa latenza. La soluzione dovrebbe essere scalabile, economicamente vantaggiosa e semplice da adottare e utilizzare. Amazon RedShift funzionalità come l'acquisizione di streaming, Amazon Aurora integrazione zero-ETLe condivisione dei dati con Scambio di dati AWS consentire l'elaborazione quasi in tempo reale per il reporting commerciale, la gestione del rischio e l'ottimizzazione del commercio.

In questo post, forniamo un'architettura di soluzione che descrive come elaborare i dati provenienti da tre diversi tipi di origini (dati di streaming, transazionali e di riferimento di terze parti) e aggregarli in Amazon Redshift per i report di business intelligence (BI).

Panoramica della soluzione

Questa architettura di soluzione viene creata dando priorità a un approccio low-code/no-code con i seguenti principi guida:

• Facilità d'uso – Dovrebbe essere meno complesso da implementare e utilizzare con interfacce utente intuitive
• Scalabile – Dovresti essere in grado di aumentare e diminuire la capacità su richiesta senza soluzione di continuità
• Integrazione nativa – I componenti dovrebbero integrarsi senza connettori o software aggiuntivi
• Costo efficiente – Dovrebbe fornire un rapporto prezzo/prestazioni equilibrato
• Bassa manutenzione – Dovrebbe richiedere meno spese gestionali e operative

Il diagramma seguente illustra l'architettura della soluzione e il modo in cui questi principi guida sono stati applicati ai componenti di acquisizione, aggregazione e reporting.

Distribuisci la soluzione

Puoi usare quanto segue AWS CloudFormazione modello per distribuire la soluzione.

Questo stack crea le seguenti risorse e le autorizzazioni necessarie per integrare i servizi:

L'ingestione

Per importare i dati, usi Importazione streaming Amazon Redshift per caricare i dati in streaming dal flusso di dati Kinesis. Per i dati transazionali, utilizzi il file Integrazione Redshift zero-ETL con Amazon Aurora MySQL. Per i dati di riferimento di terze parti, approfitti di Condivisioni di dati AWS Data Exchange. Queste funzionalità ti consentono di creare rapidamente pipeline di dati scalabili perché puoi aumentare la capacità degli shard Kinesis Data Streams, elaborare per origini e destinazioni ETL zero ed elaborare Redshift per le condivisioni dati quando i dati crescono. L'acquisizione di streaming Redshift e l'integrazione zero-ETL sono soluzioni low-code/no-code che puoi creare con semplici SQL senza investire tempo e denaro significativi nello sviluppo di codice personalizzato complesso.

Per i dati utilizzati per creare questa soluzione, abbiamo collaborato con FactSet, fornitore leader di dati finanziari, analisi e tecnologia aperta. FactSet ne ha diversi dataset disponibile nel mercato AWS Data Exchange, che abbiamo utilizzato come dati di riferimento. Abbiamo utilizzato anche FactSet soluzioni per i dati di mercato per quotazioni e operazioni di mercato storiche e in streaming.

Processando

I dati vengono elaborati in Amazon Redshift aderendo a una metodologia di estrazione, caricamento e trasformazione (ELT). Con una scalabilità praticamente illimitata e l'isolamento del carico di lavoro, ELT è più adatto per soluzioni di data warehouse su cloud.

Utilizzi l'acquisizione di streaming Redshift per l'acquisizione in tempo reale di quotazioni in streaming (offerta/domanda) dal flusso di dati Kinesis direttamente in una vista materializzata in streaming ed elabori i dati nella fase successiva utilizzando PartiQL per analizzare gli input del flusso di dati. Tieni presente che le viste materializzate in streaming differiscono dalle normali viste materializzate in termini di funzionamento dell'aggiornamento automatico e di comandi SQL di gestione dei dati utilizzati. Fare riferimento a Considerazioni sull'importazione dello streaming per i dettagli.

Utilizzi l'integrazione Zero-ETL Aurora per acquisire dati transazionali (operazioni) da origini OLTP. Fare riferimento a Lavorare con integrazioni zero-ETL per le fonti attualmente supportate. Puoi combinare i dati provenienti da tutte queste fonti utilizzando le visualizzazioni e utilizzare le procedure memorizzate per implementare regole di trasformazione aziendale come il calcolo delle medie ponderate tra settori e borse.

I volumi storici dei dati commerciali e delle quotazioni sono enormi e spesso non vengono interrogati frequentemente. Puoi usare Spettro Amazon Redshift per accedere a questi dati sul posto senza caricarli in Amazon Redshift. Crei tabelle esterne che puntano ai dati in Servizio di archiviazione semplice Amazon (Amazon S3) ed esegui query in modo simile a come esegui query su qualsiasi altra tabella locale in Amazon Redshift. Più data warehouse Redshift possono eseguire query contemporaneamente sugli stessi set di dati in Amazon S3 senza la necessità di creare copie dei dati per ciascun data warehouse. Questa funzionalità semplifica l'accesso ai dati esterni senza scrivere complessi processi ETL e migliora la facilità d'uso della soluzione complessiva.

Esaminiamo alcune query di esempio utilizzate per analizzare quotazioni e operazioni. Utilizziamo le seguenti tabelle nelle query di esempio:

• dt_hist_quote – Dati storici sulle quotazioni contenenti prezzo bid e volume, prezzo ask e volume, borse e settori. Dovresti utilizzare set di dati pertinenti nella tua organizzazione che contengono questi attributi dei dati.
• dt_hist_trades – Dati storici sulle transazioni contenenti dettagli su prezzo, volume, settore e borsa scambiati. Dovresti utilizzare set di dati pertinenti nella tua organizzazione che contengono questi attributi dei dati.
• factset_sector_map – Mappatura tra settori e borse. Puoi ottenerlo da Set di dati ADX di FactSet Fundamentals.

Query di esempio per l'analisi delle citazioni storiche

Puoi utilizzare la seguente query per trovare gli spread medi ponderati sulle quotazioni:

select
date_dt :: date,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
sector_name,
sum(spread * weight)/sum(weight) :: decimal (30,5) as weighted_average_spread
from
(
select date_dt,exchange_name,
factset_sector_desc sector_name,
((bid_price*bid_volume) + (ask_price*ask_volume))as weight,
((ask_price - bid_price)/ask_price) as spread
from
dt_hist_quotes a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
where ask_price <> 0 and bid_price <> 0
)
group by 1,2,3

Query di esempio per l'analisi storica delle transazioni

È possibile utilizzare la query seguente per trovare $-volume sugli scambi per borsa dettagliata, per settore e per borsa principale (NYSE e Nasdaq):

select
cast(date_dt as date) as date_dt,
case
when exchange_name like 'Cboe%' then 'CBOE'
when (exchange_name) like 'NYSE%' then 'NYSE'
when (exchange_name) like 'New York Stock Exchange' then 'NYSE'
when (exchange_name) like 'Nasdaq%' then 'NASDAQ'
end as parent_exchange_name,
factset_sector_desc sector_name,
sum((price * volume):: decimal(30,4)) total_transaction_amt
from
dt_hist_trades a
join
fds_adx_fundamentals_db.ref_v2.factset_sector_map b
on(a.sector_code = b.factset_sector_code)
group by 1,2,3

Reportistica

Puoi usare Amazon QuickSight ed Grafana gestita da Amazon rispettivamente per BI e reporting in tempo reale. Questi servizi si integrano nativamente con Amazon Redshift senza la necessità di utilizzare connettori o software aggiuntivi nel mezzo.

È possibile eseguire una query diretta da QuickSight per report e dashboard BI. Con QuickSight puoi anche archiviare localmente i dati nella cache SPICE con aggiornamento automatico per una bassa latenza. Fare riferimento a Autorizzazione delle connessioni da Amazon QuickSight ai cluster Amazon Redshift per dettagli completi su come integrare QuickSight con Amazon Redshift.

Puoi utilizzare Amazon Managed Grafana per dashboard commerciali quasi in tempo reale che vengono aggiornati ogni pochi secondi. I dashboard in tempo reale per il monitoraggio delle latenze di acquisizione degli scambi vengono creati utilizzando Grafana e i dati provengono dalle visualizzazioni di sistema in Amazon Redshift. Fare riferimento a Utilizzando l'origine dati Amazon Redshift per scoprire come configurare Amazon Redshift come origine dati per Grafana.

Gli utenti che interagiscono con i sistemi di reporting normativo includono analisti, gestori del rischio, operatori e altre figure che supportano le operazioni aziendali e tecnologiche. Oltre a generare report normativi, questi team necessitano di visibilità sullo stato di salute dei sistemi di reporting.

Analisi delle citazioni storiche

In questa sezione, esploriamo alcuni esempi di analisi di citazioni storiche dal Amazon QuickSight cruscotto.

Spread medio ponderato per settori

Il grafico seguente mostra l'aggregazione giornaliera per settore della media ponderata degli spread bid-ask di tutte le singole operazioni su NASDAQ e NYSE per 3 mesi. Per calcolare lo spread medio giornaliero, ogni spread viene ponderato in base alla somma del volume denaro e lettera in dollari. La query per generare questo grafico elabora 103 miliardi di punti dati in totale, unisce ogni operazione con la tabella di riferimento del settore e viene eseguita in meno di 10 secondi.

Spread medio ponderato per borsa

Il grafico seguente mostra l'aggregazione giornaliera degli spread denaro-lettera medi ponderati di tutte le singole operazioni su NASDAQ e NYSE per 3 mesi. La metodologia di calcolo e le metriche delle prestazioni delle query sono simili a quelle del grafico precedente.

Analisi storica delle compravendite

In questa sezione, esploriamo alcuni esempi di analisi storiche dei commerci del Amazon QuickSight cruscotto.

Volumi commerciali per settore

Il grafico seguente mostra l'aggregazione giornaliera per settore di tutti i singoli scambi su NASDAQ e NYSE per 3 mesi. La query per generare questo grafico elabora 3.6 miliardi di operazioni in totale, unisce ciascuna operazione alla tabella di riferimento del settore e viene eseguita in meno di 5 secondi.

Volumi commerciali per le principali borse valori

Il grafico seguente mostra l'aggregazione giornaliera per gruppo di borsa di tutti i singoli scambi per 3 mesi. La query per generare questo grafico ha parametri di prestazione simili a quelli del grafico precedente.

Dashboard in tempo reale

Il monitoraggio e l'osservabilità sono requisiti importanti per qualsiasi applicazione aziendale critica come il reporting commerciale, la gestione del rischio e i sistemi di gestione commerciale. Oltre ai parametri a livello di sistema, è anche importante monitorare gli indicatori chiave di prestazione in tempo reale in modo che gli operatori possano essere avvisati e rispondere il prima possibile agli eventi che influiscono sul business. Per questa dimostrazione, abbiamo creato dashboard in Grafana che monitorano il ritardo delle quotazioni e dei dati commerciali rispettivamente dal flusso di dati Kinesis e Aurora.

Il dashboard del ritardo di acquisizione dei preventivi mostra il tempo necessario affinché ogni record di preventivo venga acquisito dal flusso di dati e sia disponibile per l'esecuzione di query in Amazon Redshift.

Il pannello di controllo del ritardo di acquisizione delle transazioni mostra il tempo necessario affinché una transazione in Aurora diventi disponibile in Amazon Redshift per l'esecuzione di query.

ripulire

Per ripulire le tue risorse, elimina lo stack distribuito utilizzando AWS CloudFormation. Per istruzioni, fare riferimento a Eliminazione di uno stack nella console AWS CloudFormation.

Conclusione

I crescenti volumi di attività di negoziazione, una gestione del rischio più complessa e requisiti normativi rafforzati stanno portando le società dei mercati dei capitali ad adottare l’elaborazione dei dati in tempo reale e quasi reale, anche nelle piattaforme mid-office e back-office dove l’elaborazione a fine giornata e durante la notte era lo standard. In questo post, abbiamo dimostrato come utilizzare le funzionalità di Amazon Redshift per facilità d'uso, bassa manutenzione ed efficienza in termini di costi. Abbiamo anche discusso delle integrazioni tra servizi per acquisire dati di mercato in streaming, elaborare aggiornamenti dai database OLTP e utilizzare dati di riferimento di terze parti senza dover eseguire elaborazioni ETL o ELT complesse e costose prima di rendere i dati disponibili per l'analisi e il reporting.

Contattaci se hai bisogno di indicazioni sull'implementazione di questa soluzione. Fare riferimento a Analisi in tempo reale con l'importazione di streaming Amazon Redshift, Guida introduttiva per l'analisi operativa in tempo quasi reale utilizzando l'integrazione zero-ETL di Amazon Aurora con Amazon Redshifte Lavorare con le condivisioni dati di AWS Data Exchange come produttore per maggiori informazioni.

Informazioni sugli autori

Satesh Sonti è un Sr. Analytics Specialist Solutions Architect con sede ad Atlanta, specializzato nella creazione di piattaforme di dati aziendali, data warehousing e soluzioni di analisi. Ha oltre 18 anni di esperienza nella creazione di asset di dati e nella guida di programmi di piattaforme dati complessi per clienti bancari e assicurativi in ​​tutto il mondo.

Alket Memushaj lavora come Principal Architect nel team di sviluppo del mercato dei servizi finanziari presso AWS. Alket è responsabile della strategia tecnica per i mercati dei capitali, collaborando con partner e clienti per distribuire applicazioni durante l'intero ciclo di vita commerciale nel cloud AWS, inclusa la connettività di mercato, i sistemi di trading e le piattaforme di analisi e ricerca pre e post-negoziazione.

Ruben Falk è uno specialista dei mercati dei capitali specializzato in intelligenza artificiale, dati e analisi. Ruben fornisce consulenza ai partecipanti ai mercati dei capitali sulla moderna architettura dei dati e sui processi di investimento sistematici. È entrato in AWS da S&P Global Market Intelligence, dove era responsabile globale delle soluzioni di gestione degli investimenti.

Jeff Wilson è uno specialista go-to-market a livello mondiale con 15 anni di esperienza di lavoro con piattaforme analitiche. Il suo obiettivo attuale è condividere i vantaggi derivanti dall'utilizzo di Amazon Redshift, il data warehouse cloud nativo di Amazon. Jeff ha sede in Florida e lavora con AWS dal 2019.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://aws.amazon.com/blogs/big-data/combine-transactional-streaming-and-third-party-data-on-amazon-redshift-for-financial-services/