この投稿では、 AWSグルー Teradata Vantage のネイティブ コネクタは、データ統合を合理化し、データの可能性を最大限に引き出します。
企業がよく依存するのは、 Amazon シンプル ストレージ サービス (Amazon S3) を使用して、さまざまなデータ ソースからの大量のデータを費用対効果が高く安全な方法で保存します。 データ分析に Teradata を使用しているユーザーにとって、Teradata Vantage の AWS Glue ネイティブ コネクタを介した統合により、新たな可能性が開かれます。 AWS Glue はデータ管理の柔軟性と効率を強化し、企業が場所に関係なくデータを Teradata の分析機能とシームレスに統合できるようにします。 この新しいコネクタにより、構成、セキュリティ、管理に関する技術的なハードルが取り除かれ、企業はデータセットを Teradata Vantage に簡単にエクスポートまたはインポートできるようになります。 その結果、企業はデータ統合の複雑さに対処するのではなく、データから有意義な洞察を抽出することに重点を置くことができます。
AWS Glue は、分析ユーザーが分析、機械学習 (ML)、アプリケーション開発のために複数のソースからデータを簡単に検出、準備、移動、統合できるようにするサーバーレス データ統合サービスです。 AWS Glue を使用すると、100 を超える多様なデータソースを検出して接続し、一元化されたデータカタログでデータを管理できます。 データをデータレイクに読み込むための抽出、変換、読み込み (ETL) パイプラインを視覚的に作成、実行、監視できます。
テラデータ株式会社 は、エンタープライズ分析向けの主要な接続されたマルチクラウド データ プラットフォームであり、企業が企業全体ですべてのデータを大規模に使用できるように支援することに重点を置いています。 として AWS データおよび分析コンピテンシー パートナーである Teradata は、機械学習を含む完全なクラウド分析およびデータ プラットフォームを提供します。
Teradata Vantage 用の AWS Glue ネイティブ コネクタの紹介
AWS Glue は、AWS Glue Studio と AWS Glue ETL スクリプトの両方を通じてアクセスできる Teradata のサポートを提供します。 AWS Glue Studio を使用すると、Teradata への接続と AWS Glue ETL ジョブの作成、実行、監視のプロセスを簡素化するビジュアル インターフェイスのメリットが得られます。 データ開発者にとって、このサポートは AWS Glue ETL スクリプトまで拡張されており、Python または Scala を使用して、より具体的なデータ統合および変換タスクを作成および管理できます。
Teradata Vantage 用の AWS Glue ネイティブ コネクタを使用すると、コネクタ ライブラリのインストールや管理を必要とせずに、Teradata からデータを効率的に読み書きできます。 AWS Glue Studio のノーコードのドラッグアンドドロップビジュアルインターフェイス内でソースとターゲットの両方として Teradata を追加したり、AWS Glue ETL スクリプトジョブでコネクタを直接使用したりできます。
ソリューションの概要
この例では、AWS Glue Studio を使用して、Amazon S3 に保存されているデータを強化して Teradata Vantage にアップロードします。 まず、イベント ファイルと会場ファイルに参加します。 チケット データセット。 次に、結果を単一の地理的地域にフィルターします。 最後に、調整したデータを Teradata Vantage にアップロードします。
TICKIT データセットは、ユーザーがスポーツ イベント、ショー、コンサートのチケットをオンラインで売買する架空の TICKIT Web サイトの販売活動を追跡します。 このデータセットでは、アナリストは時間の経過に伴うチケットの動き、販売者の成功率、最も売れているイベント、会場、季節を特定できます。
この例では、AWS Glue Studio を使用してビジュアル ETL パイプラインを開発します。 このパイプラインは、Amazon S3 からデータを読み取り、変換を実行し、変換されたデータを Teradata にロードします。 次の図は、このアーキテクチャを示しています。
この投稿を終えると、ビジュアル ETL ジョブは次のスクリーンショットのようになります。
前提条件
この例では、AWS からネットワークに到達できる既存の Teradata データベース エンドポイントにアクセスでき、テーブルを作成し、データをロードおよびクエリするためのアクセス許可が必要です。
AWS Glue では、データの読み取りまたは書き込みのために Teradata へのネットワーク アクセスが必要です。 これをどのように構成するかは、Teradata が展開されている場所と特定のネットワーク構成によって異なります。 AWS にデプロイされた Teradata の場合、構成が必要になる場合があります。 VPCピアリング or AWS プライベートリンク、セキュリティ グループ、およびネットワーク アクセス コントロール リスト (NACL) を使用して、AWS Glue が Teradata overt TCP と通信できるようにします。 Teradata が AWS の外部にある場合、次のようなネットワーク サービス AWSサイト間VPN or AWSダイレクトコネクト が必要になる場合があります。 セキュリティ上のリスクがあるため、公共のインターネット アクセスはお勧めできません。 パブリックアクセスを選択した場合は、AWS Glue ジョブを VPC の背後で実行する方が安全です。 NATゲートウェイ。 この方法により、ネットワーク ファイアウォール上の受信トラフィックに対して XNUMX つの IP アドレスのみを許可リストに登録できます。 詳細については、以下を参照してください。 AWS Glue のインフラストラクチャのセキュリティ.
Amazon S3 をセットアップする
Amazon S3 内のすべてのオブジェクトはバケットに保存されます。 データを Amazon S3 に保存する前に、次のことを行う必要があります。 S3バケットを作成する 結果を保存します。 次の手順を実行します。
- Amazon S3コンソールで、 バケット ナビゲーションペインに表示されます。
- 選択する バケットを作成する.
- 名前 、バケットのグローバルに一意な名前を入力します。 たとえば、ticit8530923。
- 選択する バケットを作成する.
- ダウンロード チケット データセットを作成して解凍します。
- S3 バケット内にフォルダーticitを作成し、allevents_pipe.txtファイルとvenue_pipe.txtファイルをアップロードします。
Teradata接続を構成する
AWS Glue から Teradata に接続するには、を参照してください。 Teradata 接続の構成.
Teradata 資格情報を作成して保存する必要があります。 AWSシークレットマネージャー シークレットを作成し、そのシークレットを Teradata AWS Glue 接続に関連付けます。 これら XNUMX つのステップについては、この投稿の後半で詳しく説明します。
AWS Glue ETL ジョブの IAM ロールを作成する
AWS Glue ETL ジョブを作成するときは、 AWS IDおよびアクセス管理 使用するジョブの (IAM) ロール。 ロールは、Amazon S3 (ソース、ターゲット、スクリプト、ドライバー ファイル、一時ディレクトリ用) や Secrets Manager など、ジョブで使用されるすべてのリソースへのアクセスを許可する必要があります。 手順については、を参照してください。 ETL ジョブの IAM ロールを構成する.
Teradata でテーブルを作成する
好みのデータベース ツールを使用して、Teradata にログインします。 次のコードを実行して、データをロードするテーブルを Teradata に作成します。
Teradata のログイン認証情報を保存する
An AWSGlue接続 は、ログイン資格情報、URI 文字列などを保存する Data Catalog オブジェクトです。 Teradata コネクタには、Teradata への接続に使用する Teradata ユーザー名とパスワードを保存するために Secrets Manager が必要です。
Teradata のユーザー名とパスワードを Secrets Manager に保存するには、次の手順を実行します。
- Secrets Managerコンソールで、 シークレット ナビゲーションペインに表示されます。
- 選択する 新しい秘密を保存する.
- 選択 他のタイプの秘密.
- キー/値 USER を入力し、
teradata_user
、を選択します 行を追加する. - キー/値のパスワードを入力し、
teradata_user_password
、を選択します Next.
- 秘密の名前、わかりやすい名前を入力し、選択します Next.
- 選択する Next 確認ステップに進み、選択します。 オンラインショップ.
AWS Glue で Teradata 接続を作成する
これで、Teradata への AWS Glue 接続を作成する準備が整いました。 次の手順を実行します。
- AWS Glue コンソールで、選択します Connections 下 データカタログ ナビゲーションペインに表示されます。
- 選択する 接続を作成する.
- 名前 、名前を入力します(たとえば、
teradata_connection
). - 接続タイプ¸選ぶ Teradataの.
- テラデータのURL、 入る
jdbc:teradata://url_of_teradata/database=name_of_your_database
. - AWSシークレット、前に作成した Teradata 資格情報を使用してシークレットを選択します。
AWS Glue ビジュアル ETL ジョブを作成して、データを変換して Teradata にロードする
AWS Glue ETL ジョブを作成するには、次の手順を実行します。
- AWS Glueコンソールの、 ETL ジョブ ナビゲーション ペインで、 ビジュアルETL.
- 選択する ビジュアルETL.
- 鉛筆アイコンを選択して、ジョブの名前を入力します。
我々が追加します venue_pipe.txt
最初のデータセットとして。
- 選択する ノードの追加 選択して アマゾンS3 ソース タブには何も表示されないことに注意してください。
- 次のデータ ソース プロパティを入力します。
- 名前 、会場に入ります。
- S3ソースタイプ選択 S3の場所.
- S3 URL、S3 パスを入力します。
venue_pipe.txt
. - データフォーマット、選択する CSV.
- デリミタ、選択する Pipe.
- 選択を解除 ソースファイルの最初の行には列ヘッダーが含まれています.
ここで追加します allevents_pipe.txt
XNUMX 番目のデータセットとして。
- 選択する ノードの追加 選択して アマゾンS3 ソース タブには何も表示されないことに注意してください。
- 次のデータ ソース プロパティを入力します。
- 名前 、「イベント」と入力します。
- S3ソースタイプ選択 S3の場所.
- S3 URL、S3 パスを入力します。
allevents_pipe.txt
. - データフォーマット、選択する CSV.
- デリミタ、選択する Pipe.
- 選択を解除 ソースファイルの最初の行には列ヘッダーが含まれています.
次に、Venue データセットの列の名前を変更します。
- 選択する ノードの追加 選択して スキーマの変更 変換 タブには何も表示されないことに注意してください。
- 次の変換プロパティを入力します。
- 名前 、「会場名の変更」データを入力します。
- ノードの親、会場を選択します。
- スキーマの変更 セクションでは、ソース キーをターゲット キーにマップします。
- 列0:
venueid
- 列1:
venuename
- 列2:
venuecity
- 列3:
venuestate
- 列4:
venueseats
- 列0:
次に、Venue データセットを特定の地理的領域にフィルターします。
- 選択する ノードの追加 選択して フィルタ 変換 タブには何も表示されないことに注意してください。
- 次の変換プロパティを入力します。
- 名前 、場所フィルターを入力します。
- ノードの親、会場を選択します。
- フィルター条件、選択する
venuestate
for キー、選択する マッチ for 操作、DCを入力します 値.
次に、イベント データセット内の列の名前を変更します。
- 選択する ノードの追加 選択して スキーマの変更 変換 タブには何も表示されないことに注意してください。
- 次の変換プロパティを入力します。
- 名前 、名前変更イベントのデータを入力します。
- ノードの親、「イベント」を選択します。
- スキーマの変更 セクションでは、ソース キーをターゲット キーにマップします。
- 列0:
eventid
- 列1:
e_venueid
- 列2:
catid
- 列3:
dateid
- 列4:
eventname
- 列5:
starttime
- 列0:
次に、Venue データセットと Event データセットを結合します。
- 選択する ノードの追加 選択して 加入 変換 タブには何も表示されないことに注意してください。
- 次の変換プロパティを入力します。
- 名前 、「参加」と入力します。
- ノードの親、[場所フィルター] を選択し、[イベント データの名前を変更] を選択します。
- 結合タイプ¸選ぶ 内部結合.
- 入会条件、選択する
venueid
for ロケーションフィルター およびe_venueid
for イベントデータの名前変更.
次に、重複した列を削除します。
- 選択する ノードの追加 選択して スキーマの変更 変換 タブには何も表示されないことに注意してください。
- 次の変換プロパティを入力します。
- 名前 、ドロップ列を入力します。
- ノードの親、「参加」を選択します。
- スキーマの変更 セクション、選択 Drop for
e_venueid
.
次に、データを Teradata テーブルにロードします。
- 選択する ノードの追加 選択して Teradataの 目標 タブには何も表示されないことに注意してください。
- 次のデータ シンク プロパティを入力します。
- 名前 、「Teradata」と入力します。
- ノードの親、[列を削除]を選択します。
- テラデータ接続、選択する
teradata_connection
. - テーブル名、 入る
schema.tablename
Teradata で作成したテーブルの。
最後に、ジョブを実行し、データを Teradata にロードします。
- 選択する Save、を選択します ラン.
ジョブが開始されたことを示すバナーが表示されます。
- 選択する Active Runs、ジョブのステータスが表示されます。
実行ステータスは次のように変わります。 成功した 仕事が完了したとき。
- Teradata に接続し、データがロードされたテーブルをクエリします。
XNUMX つのデータセットからフィルタリングおよび結合されたデータがテーブルに表示されます。
クリーンアップ
この投稿の一部として作成されたリソースによって追加料金が発生しないようにするには、この投稿用に AWS アカウントで作成したアイテムを必ず削除してください。
- Teradata 資格情報用に作成された Secrets Manager キー
- Teradata Vantage 用の AWS Glue ネイティブ コネクタ
- S3バケットにロードされたデータ
- AWS Glue ビジュアル ETL ジョブ
まとめ
この投稿では、AWS Glue を使用して Teradata への接続を作成し、データを変換して Teradata にロードする AWS Glue ジョブを作成しました。 Teradata Vantage 用の AWS Glue ネイティブ コネクタは、データを Teradata と統合するためのシームレスで効率的な経路を提供することで、データ分析の取り組みを強化します。 AWS Glue のこの新機能は、データ統合ワークフローを簡素化するだけでなく、高度な分析、ビジネスインテリジェンス、機械学習のイノベーションのための新しい道を開きます。
AWS Teradata Connector を使用すると、データ統合タスクを簡素化するための最適なツールを自由に利用できます。 分析、レポート作成、またはビジネス洞察のために Amazon S3 データを Teradata にロードしようとしている場合でも、この新しいコネクタはプロセスを合理化し、アクセスしやすく、コスト効率が高くなります。
AWS Glue の使用を開始するには、以下を参照してください。 AWS Glue の使用開始.
著者について
カメン・シャルランドジエフ は、シニア ビッグデータおよび ETL ソリューション アーキテクトであり、AWS Glue のエキスパートです。 彼は、複雑なデータ統合の課題に直面している顧客の生活を楽にするという使命を担っています。 彼の秘密兵器? フルマネージドのローコード AWS サービスにより、コーディングなしで最小限の労力でジョブを実行できます。 LinkedIn でKamen をフォローして、AWS Glue の最新ニュースを入手してください。
ショーン・ビジュルストロム 彼はアマゾン ウェブ サービスの ISV アカウントのテクニカル アカウント マネージャーであり、分析テクノロジを専門とし、コンサルティングの経歴を活かして顧客の分析とクラウドへの移行をサポートしています。 Sean は、企業がデータの力を活用してイノベーションと成長を促進できるよう支援することに情熱を注いでいます。 仕事以外ではランニングが趣味で、マラソン大会にも何度か参加しています。
ヴィノッド・ジャイェンドラ アマゾン ウェブ サービスの ISV アカウントのエンタープライズ サポート リードであり、顧客のアーキテクチャ、運用、コスト最適化の課題の解決を支援しています。 特にサーバーレス テクノロジに重点を置き、アプリケーション開発における広範な背景を活かして、顧客による最高レベルのソリューションの構築を支援しています。 仕事以外にも、充実した家族の時間を過ごしたり、サイクリングの冒険に出かけたり、青少年スポーツ チームを指導したりすることに喜びを感じています。
ダグ・ムバヤ は、分析と機械学習に重点を置くシニア パートナー ソリューション アーキテクトです。 Doug は AWS パートナーと緊密に連携し、パートナーのソリューションをクラウド内の AWS 分析および機械学習ソリューションと統合するのを支援します。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/big-data/prepare-and-load-amazon-s3-data-into-teradata-using-aws-glue-through-its-native-connector-for-teradata-vantage/
- :持っている
- :は
- :not
- :どこ
- $UP
- 10
- 100
- 12
- 14
- 16
- 19
- 20
- 22
- 25
- 361
- 400
- 8
- a
- 私たちについて
- アクセス
- アクセス可能な
- アカウント
- 越えて
- アクティビティ
- 加えます
- NEW
- 住所
- 高度な
- 冒険
- すべて
- 許す
- 許可
- ことができます
- また
- Amazon
- Amazon Webサービス
- 金額
- an
- 分析
- アナリスト
- 分析的
- 分析論
- および
- どれか
- 申し込み
- アプリケーション開発
- アプローチ
- 建築の
- 建築
- です
- AS
- 仲間
- At
- オーサリング
- 通り
- 避ける
- AWS
- AWSグルー
- 背景
- バナー
- BE
- 背後に
- 恩恵
- BEST
- 越えて
- ビッグ
- ビッグデータ
- 両言語で
- ビルド
- ビジネス
- ビジネス・インテリジェンス
- ビジネス
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- 購入
- by
- 缶
- 取得することができます
- 機能
- 機能
- カタログ
- 生じました
- 集中型の
- 課題
- 変化する
- 課金
- 選択する
- 密接に
- クラウド
- コーチング
- コード
- コーディング
- コラム
- コラム
- 伝える
- 企業
- コンプリート
- 複雑な
- コンサート
- 設定された
- お問合せ
- 交流
- 接続する
- 接続
- 領事
- コンサルティング
- 含まれています
- コントロール
- コスト効率の良い
- 作ります
- 作成した
- Credentials
- Customers
- データ
- データ分析
- データ分析
- データ統合
- データ管理
- データベース
- データセット
- 日付
- dc
- 取引
- 依存
- 展開
- 詳細
- 開発する
- 開発者
- 開発
- 直接
- 直接に
- ディレクトリ
- 発見する
- 話し合います
- ディスプレイ
- ディスプレイ
- 廃棄
- 異なる
- 行われ
- ダグ
- 描画
- ドライブ
- ドライバー
- Drop
- 原因
- 前
- 容易
- 効率
- 効率的な
- 効率良く
- 努力
- 楽
- 排除
- 力を与える
- 可能
- 有効にする
- end
- エンドポイント
- 強化
- 豊かにする
- 入力します
- Enterprise
- エーテル(ETH)
- イベント
- イベント
- 例
- 既存の
- エキスパート
- 探る
- export
- 拡張する
- 広範囲
- エキス
- 向い
- 家族
- 架空の
- File
- filter
- 最後に
- 発見
- ファイアウォール
- 名
- 柔軟性
- フロー
- フォーカス
- 焦点を当て
- フォロー中
- から
- フル
- 完全に
- 地理的
- 取得する
- グローバルに
- 助成金
- グループの
- 成長性
- ハーネス
- 持ってる
- he
- 助けます
- 助け
- ことができます
- 彼の
- 認定条件
- How To
- HTML
- HTTP
- HTTPS
- ハードル
- i
- IAM
- ICON
- 識別する
- アイデンティティ
- if
- 説明する
- import
- in
- 含めて
- 入ってくる
- index
- 情報
- 革新的手法
- イノベーション
- 洞察
- install
- 説明書
- 統合する
- 統合
- 統合
- 統合
- インテリジェンス
- インタフェース
- インターネット
- インターネット・アクセス
- に
- 複雑さ
- IP
- IPアドレス
- isv
- IT
- リーディングシート
- ITS
- ジョブ
- Jobs > Create New Job
- join
- 参加した
- 参加
- 旅
- 旅
- 喜び
- JPG
- キープ
- キー
- キー
- 湖
- 大
- 後で
- 最新の
- つながる
- 主要な
- 学習
- ライブラリ
- 生活
- LINE
- リスト
- リスト
- 負荷
- 場所
- ログ
- ログイン
- 探して
- 機械
- 機械学習
- make
- 作る
- 作成
- 管理します
- マネージド
- 管理
- マネージャー
- 方法
- 地図
- 五月..
- 意味のある
- かもしれない
- 最小限の
- ミッション
- ML
- モニター
- モニタリング
- 他には?
- 運動
- の試合に
- しなければなりません
- 名
- ネイティブ
- ナビゲーション
- 必要
- ニーズ
- ネットワーク
- ネットワークアクセス
- ネットワーキング
- 新作
- 次の
- いいえ
- オブジェクト
- of
- オファー
- 頻繁に
- on
- ONE
- オンライン
- の
- 開きます
- オペレーショナル
- or
- 私たちの
- 外側
- が
- 概要
- ペイン
- 部
- 参加
- 特定の
- パートナー
- パートナー
- 情熱的な
- パスワード
- path
- 経路
- 実行する
- パーミッション
- パイプライン
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- の可能性
- ポスト
- 潜在的な
- 電力
- 優先
- 準備
- 主要な
- プロセス
- プロパティ
- は、大阪で
- 提供
- 公共
- Python
- 品質
- 価格表
- むしろ
- 読む
- 準備
- 推奨される
- 参照する
- 洗練された
- 関係なく
- 地域
- 関連する
- 頼る
- 各種レポート作成
- の提出が必要です
- 必要
- リソース
- 結果
- 結果
- レビュー
- リスク
- 職種
- ラン
- ランニング
- より安全な
- セールス
- スカラ
- 規模
- スクリプト
- スクリプト
- シームレス
- シームレス
- ショーン
- 季節
- 二番
- 秘密
- 秘密
- セクション
- 安全に
- セキュリティ
- セキュリティリスク
- select
- 売る
- 販売
- シニア
- サーバレス
- サービス
- サービス
- 設定
- いくつかの
- すべき
- 作品
- 簡単な拡張で
- 簡素化する
- 単純化
- 溶液
- ソリューション
- 解決する
- ソース
- ソース
- 専門にする
- 特定の
- スポーツ
- スポーツチーム
- start
- 開始
- Status:
- 手順
- ステップ
- ストレージ利用料
- 店舗
- 保存され
- 店舗
- 簡単な
- 流線
- 流線
- 研究
- 成功
- そのような
- サポート
- 確か
- テーブル
- ターゲット
- ターゲット
- タスク
- チーム
- 技術的
- テクノロジー
- 一時的
- test
- より
- それ
- ソース
- アプリ環境に合わせて
- それら
- その後
- ボーマン
- この
- それらの
- 介して
- チケット
- チケット
- 時間
- 〜へ
- ツール
- トラフィック
- 最適化の適用
- 変換
- 変換
- 変換
- 2
- type
- 下
- ユニーク
- アンロック
- URI
- つかいます
- 中古
- ユーザー
- users
- さまざまな
- 会場
- 会場
- ビジュアル
- 視覚的に
- ました
- we
- ウェブ
- Webサービス
- ウェブサイト
- いつ
- かどうか
- which
- 誰
- 意志
- 以内
- 無し
- 仕事
- ワークフロー
- 作品
- 書きます
- 貴社
- あなたの
- 若者
- ゼファーネット
- 〒