Talend Job

  • Talend ETLジョブからHeroku Private Space's PostgreへのSSL証明書付き認証方法

    Posted in Talend Job on Apr 07, 2020

    Talend ETLジョブからHeroku Private Space's PostgreへのSSL証明書付き認証方法

    1. tDBConnectionの基本設定にPostgreの「データベース接続の基本情報」を設定(ホスト、データベース名、ポート、パスワードなど)

    2. tDBConnectionのの詳細設定に以下のようなクエリストリング「証明書パス、SSL認証有効など」を指定 "?ssl=true&sslmode=verify-ca&sslcert=/Certificate/bundle/postgresql.crt&sslkey=/Certificate/bundle/client.pk8&sslrootcert=/Certificate/bundle/root.crt"

    3. ジョブを実行して接続できるか確認

    "?

    Happy Coding ETL Job

  • ETLとは

    Posted in Talend Job, Vietnam Offshore on Apr 02, 2020

    ETLとは?3つの機能・必要性をわかりやすく解説

    !

    ETLとは?

    ETLとは

    • Extract(抽出)
    • Transform(変換)
    • Load(格納) の略で、データ統合時に発生する各プロセスの頭文字をとったもの です。

    基幹システムや販売管理システムなどの業務系システムには膨大なデータが蓄積されており、そのデータはBIなどの分析に活かすことができます。

    しかし、これらのデータは所在もフォーマットもバラバラなままです。この状態では分析に利用できません。ETL処理を行ってから、データウェアハウス(DWH)にデータを統合する必要があります。

    ETL処理とは、さまざまデータベースやシステムからデータを抽出し、扱いやすいフォーマットに変換して、DWHに書き出す一連のプロセスのことです。DWHに書き出されたデータは整った状態であるため、BIなどの分析に活用しやすくなります。

    ETLの機能

    さまざまなデータを活用しやすくするためにETLは欠かせないですが、各処理でどんなことが行われるのか詳しく見ていきましょう。

    抽出(Extract)

    基幹システムやデータベースからデータの抽出を行います。どのような利用目的でデータを抽出するのかを明確にして作業に臨みます。利用目的の明確化により、不要な情報は抽出されず、その後の作業を効率よく進めることが可能です。

    なお、自社にデータを保管し、ETL処理を業

  • 組織のデータを別組織へ移行するTalendジョブ

    Posted in Salesforce, Talend Job, Vietnam Offshore on Feb 12, 2019

    #We love Salesforce #We love Data Integration #ETL&ESBジョブのベトナムオフショア開発