データを会社の資産として活用するニーズが増えていることから、企業ではデータ活用に向けた取り組みが検討されています。中でも、単一の種類のデータではなく複数種類にまたがるデータを連携することで新たな価値を発見したいと考えるニーズは大きく、複数種別でのデータ連携に注目が集まっています。
しかし、データの種別や管理方法、格納されているフォーマットや管理ルールは多種多様で、データの連携にはさまざまな課題が存在します。
この記事では、データ連携を行う上で必要なデータ連携基盤の構築方法、よくある課題とそれに対する解決策を紹介します。
データ連携とは
データ連携とは、システムやアプリケーション等に分散しているデータを組み合わせ、資産として活用することです。
社内に保管されるデータに限らず、ときには社外のデータも連携し業務効率の改善方法や新規事業につながるインサイトの発見などに生かされています。
データ連携の目的
あらゆる部門の垣根を超えたデータ連携によって、分散していたデータが統合・見える化され、事業の状況把握がしやすくなり、新たな施策立案につながります。
たとえば、小売業の場合は顧客層や店舗での行動、売上データ等を連携し高度に分析することで需要予測に活かしたり、生産・物流業界の場合もサプライチェーンにおける物量を調整したり等、データ連携はまざまなシーンで活用が進んでいます。
また、同じ会社内でも管理部門が違えばデータの形式や入力ルール、管理方法は異なります。あらかじめデータ連携を前提とした管理方法を設計しておけばその後のデータ収集・活用がスムーズに進められるようになり、情報管理コストの削減にもつながります。
その他、データ連携にはさまざまな利活用例が生まれています。詳しくは別記事でも紹介していますのでぜひご覧ください。
データ連携における課題
さまざまな活用方法が期待されるデータ連携ですが、実際に運用する場合、いくつかクリアすべき課題があります。
データの加工に手間がかかる
社内外のデータを連携し管理するには事前の準備が必要です。企業によっては部門ごとにシステムやツールを用いる場合も多く、同じ会社内でもデータの種類や入力ルール、フォーマットにばらつきが見られることがあります。
データを連携し活用するためには、データ入力形式を同じものに統一したり、データフォーマットを活用しやすい並びに変更する必要があります。また、入力漏れ等によって一部のデータが欠損している場合は別データからの補完や、もしくは欠損部分の排除を検討する等も必要です。
このような人による判断が必要な点もスムーズなデータ連携を妨げる要因の一つです。
システム間で連携できないサービスがある
データを連携する際に必要となる作業や設定は、目的によって粒度もさまざまで、多くの工程を要します。そのため、作業時間やコストを削減しヒューマンエラーを防止する観点から、システム・ツール間のデータを自動で連携することが望ましいと考えられています。
しかし、クラウドやオンプレミスといったさまざまなツールが使われる現場では複数部門間での稟議やセキュリティ要件を調整する必要があったり、システム・ツール間をAPI接続する場合にも仕様調査から実装までのハードルが高い場合があったりすることなどもデータ連携の課題といえます。
データ連携の方法
とはいえ、データ連携は目的にあわせた設計を行えば、データの加工にかかるコストやシステム・ツール間の連携設定といったデータ連携に関わる課題を解決し、スムーズなデータ連携を実現します。
このセクションではデータ連携方法として、ETLやEAIといった連携ツールを紹介します。ツールを介することでデータ設計に関わる専門の知識を習得せずとも各データを連携させることができ、データ流通経路がサイロ化することもないため効率的です。
ETLツール
ETLツールは、データを抽出（Extract）し、用途にあった加工（Transform）を施してから格納先へ送り届ける（Load）までを担うツールです。役割ごとの単語の頭文字をつなげて「ETLツール」と呼ばれています。
ETLツールは、ある程度形が定められたデータを形式に沿ってクレンジングやコード変換、フォーマットの整備・集計等さまざまな処理を自動で行い、DWH（データウェアハウス）等に格納します。比較的大量のデータをBIツール等で分析しやすい形にバッジ処理できることが特徴です。
EAIツール
EAIツールは、企業内のアプリケーションを統合し、社内に散らばるあらゆる業務データをリアルタイムで処理・更新するツールのことです。もともとは「Enterprise Application Integrator（企業アプリケーションの統合）」という意味で、単語の頭文字をつなげて「EAIツール」と呼ばれています。ETLと同様に構造化されたデータを扱うことを得意とし、ETLと併用されることもあります。
EAIはもともと、ネットワークやシステムの進化で複雑化する社内システム・ツールの整備のために開発されています。そのため、さまざまなデータ形式を統合するフォーマット変換機能や、システムやアプリケーションとの連携・仲介が可能なアダプタ機能を備えています。
また、アプリケーション間でのデータフローを整備するプロセス制御やルーティング機能によって、システムやアプリケーション間でのデータ連携を行います。
スクラッチ開発
ETLツールやEAIツールを利用することなく、自社のビジネス環境にフルカスタマイズでデータを連携する方法としてスクラッチ開発があります。
現存の基幹システムのデータ管理方法やフォーマット、その他アプリケーションそれぞれの最適な方法を選んで開発する分、自由度が高く自社に最適なデータ連携を実現できますが、要件定義から開発、運用中の保守まで専任のエンジニアによる開発が必要になるため工数やコストが肥大化してしまう恐れがあります。
また、一度開発に成功した場合でも、データの運用ルールが変更されたり、各種システムの老朽化に伴うシステムやアプリケーションの入れ替えが発生したりする場合、データ連携基盤も設定を変更しなければならず、中長期的な運営には不向きといえます。
まとめ
データ連携とは、企業が持つ生産管理データや販売データ、業務データ等をつなぎ、自社の生産性向上や販売計画の策定、事業戦略の立案といった新たな価値を生み出す仕組みを指します。社内でのデータ連携においても管理管轄部門が分かれていることでデータの形式やシステムの差異等、さまざまな課題が存在していますが、ETLやEAIツールといったデータ連携基盤を構築することで、低コストでデータを連携し分析できるようになります。
ただし、これらはあくまでデータの取り出しが可能な組織でのデータ連携に限ります。データ利活用時代において、データ連携は一社で取り組む問題ではなく複数企業や国境の壁を超えて検討されています。そのため、今後はデータのセキュリティとプライバシーの懸念に対応しつつ、データ連携した際の最適な活用方法の検討が必要です。
EAGLYSでは秘密計算を中心としたデータセキュリティ・データ利活用支援、AI解析・開発によるデータ活用支援を行っています。
機密なデータを遠隔で活用したい場合や複数組織間でのデータ共有、クラウドでのAI活用等、データ連携を前提としたデータ利活用ニーズに対応していますので、ぜひご相談ください。
