目次
情報のあふれる現代では、AIを活用したサービスや商品の開発などデータをビジネス価値へ変換することに取り組んでいます。
なかでも、高まりを見せているのは複数種類のデータを連携して価値を創造したいニーズ。事業に関連する自然界のデータやデジタルデータ、関連企業で蓄積された業界特有のデータ等、複数のデータを連携することを前提としたデータ連携の検討が盛んになっています。
とはいえ、データ連携はデータの種別やフォーマットが多岐にわたることから業種や粒度によってばらつきがあり、データ連携をスムーズに行うには知識が必要です。
この記事では、データ連携方式から課題と解決策、事例を用いた具体的な活用方法まで、スムーズなデータ連携を行う上でおさえておきたい前提知識を紹介します。
データ連携のしくみとは
データ連携とは、システムやアプリケーション等に分散しているデータを組み合わせ、資産として活用することです。
この章ではデータ連携の流れとそれにまつわる課題について紹介します。
データ連携の流れ
データを連携するには3つのステップが必要です。
- データを受信・取得する
- データをパース（解釈）し、変換する
- データを送信する
データの送受信
データを受信・取得するには、ファイル経由でデータを取得したりシステムから直接APIを使ってデータを取得しますが、これらに用いられるのが「通信プロトコル」です。HTTPやFTP、EメールやMOMといった汎用的なプロトコルもあれば、システム固有のものもあり、通信手段によって適したプロトコルが使われます。
データのパース（解釈）・変換
通信プロトコル経由でデータを取得後は、そのデータを活用できるように準備をします。具体的にはデータに使われている構文を解釈（パース）し、指定のフォーマットに沿ってマッピングして、記入ルールやデータの粒度を整えます。このときデータ加工の変換ルールをブレなく定義し、整備することで、表記ゆれのない加工にふさわしいデータを作成できます。
データ連携の流れにおける課題
データ加工時・変換時の手間やデータの不足はもちろん、異なるシステムのデータを連携する場合はシステムの構造上の問題からスムーズに連携できないケースがあります。
通常、異なるシステム間のデータ連携にはAPI（Application Programming Interface）という通信プロトコルが使われますがデータ連携を前提としていないシステムも多く、その場合APIルールの解釈や開発から行う必要があり、それに伴ってコストが増幅します。
そのため、データを連携するには連携ルールやデータの解釈方法、システム間の接続方法をあらかじめ検討することが重要です。
データ連携の方式
異なるシステム間でのデータ連携にはツールやアプリケーションミドルウェア、Webサービス等を利用した方法があります。ここでは、特に社内のデータを連携する場合に用いられるデータ連携ツール「ETL」「EAI」について紹介します。
ETLツール
ETLツールは、データを抽出（Extract）し、用途にあった加工（Transform）を施してから格納先へ送り届ける（Load）までを担うツールです。役割ごとの単語の頭文字をつなげて「ETLツール」と呼ばれています。
ETLツールは比較的大量のデータをBIツール等に連携して分析するため、一括でデータを処理する「バッチ処理」を行うことが特徴です、また、ツールの種類も大企業や官公庁などのエンタープライズ向けから、手軽に扱えるオープンソースのものまでさまざまな形式が取られます。
開発された背景
従来はスクラッチ開発で行われていた「データ抽出〜加工〜転送」の処理ですが、ビッグデータの活用ニーズが高まるにつれ、さまざまな場所に異なる種類のデータが点在したデータを大量に集めて処理しDWH（データウェアハウス）に格納したいと考えられるようになりました。
そこでDWHに格納しやすく加工し、その先に分析等に活用しやすいデータを作る目的で、データ形式に沿ってクレンジングや構文の変換を行うETLが用いられるようになりました。
活用例
同じ社内でも別部署のデータが異なるシステムで管理されている場合にETLツールを活用し、同じ社内の売上データと生産管理データ、顧客データ等を統一して管理し、事業開発や迅速な経営判断に生かすことができます。
また、ETLツールはデータの抽出から加工、DWHへの格納までを行えることからデータ活用までの作業効率を改善します。クレンジングや突合といった手作業を削減し、人での処理によるミスを防ぎます。
EAIツール
EAIツールは、企業内のアプリケーションを統合し、社内に散らばるあらゆる業務データをリアルタイムで処理・更新するツールのことです。もともとは「Enterprise Application Integrator（企業アプリケーションの統合）」という意味で、単語の頭文字をつなげて「EAIツール」と呼ばれています。
企業内アプリケーション統合という言葉どおり、社内で毎日少しずつ増える業務データの処理に適しており、少量の必要なデータだけを連携させることが得意です。
開発された背景
もともとEAIツールは、ネットワークやシステムの進化によって複雑化する社内システムやツールの整備のために開発されました。
そのため既存のシステムやツール、アプリケーションを活かした設計になっており、間のデータフローを整備するプロセス制御やルーティング機能、さまざまなデータ形式を統合するフォーマット変換機能や、システムやアプリケーションとの連携・仲介に役立つアダプタ機能等を備えています。
活用例
社内のシステムやツール・アプリケーションのデータを整備して統合するには、現場の人間がかんたんに操作できることが重要です。EAIの場合、その開発背景からデータフォーマットの変換機能や別ツールとの連携・仲介のためのアダプタ機能を備えているため、開発言語を知らない担当者も使えるように設計されています。
たとえば営業部門のパイプラインと管理部門のデータをこまめに連携し、予実を管理しながら各々の事業部の活動や施策の改善に生かすことができます。
ETLとEAIの違い
このように、ETLツールとEAIツールでは処理方法や開発の目的が異なります。
ETLは大量のデータを取り出して加工し、大規模なデータへ統合できるようにまとめて処理します。それに対してEAIは、少量のデータをリアルタイムに処理し、連携させます。
これらの特徴を用途に応じて生かしたデータ連携が望ましいため、活用シーンによってETLとEAIを使い分ける場合もあります。
【社外】複数組織間や社外とデータ連携するなら
異なる組織では、システム・ツール・アプリケーション等、システムもデータ形式も統一されていないのが普通です。ここでは、他社とのデータ連携を検討される方に向けて、課題や最適なデータ連携方法をご紹介します。
複数企業間でのデータ連携における課題
データの秘匿性担保
複数企業間でのデータ連携の際、必ずと言っていいほどデータ共有時のデータ加工作業が課題になります。共有相手によって開示できるデータとできないデータがあることから、従来は開示可能な範囲のデータだけを切り出したり、機密情報を特定されないように匿名化やハッシュ化といった加工を施したりしながら共有していました。
そのため、データを共有する企業は事前の加工作業にかかるコストが負担となる一方で、データを受領した企業は加工された分析精度の低いデータを活用しなければならず、理想的なデータ分析を行うのは難しい状況でした。
データセキュリティ対策
同様に、データを共有する際のセキュリティ対策も複数企業間でのデータ連携の肝となります。各企業のセキュリティポリシーで定められた管理ルール、法規制によるデータ管理体制強化等に沿うような、データ連携の仕組みがなければ、万が一、データ通信環境が悪意ある第三者から攻撃を受けた場合、生のデータが流出するなどの危険があるためです。
近年はサイバー攻撃が高度化・複雑化していることもあり、企業の外にデータを出すこと自体がさらに難しくなってきています。
データを秘匿化したままデータ管理・分析コストを削減
データの秘匿性を担保しながら、データ共有時の加工作業等の手間を排除して他社に連携するためには、データを秘匿したまま連携できるデータ共有基盤が必要です。
EAGLYSではデータを暗号化したまま共有し、必要な範囲だけを開示できる秘密計算ソリューションを開発・提供しています。
秘密計算ソリューションを用いると、データを共有する企業は事前の加工作業を人手で行うことなくデータを暗号化でき、常に暗号化された環境で開示したい範囲だけを共有できます。
データを受領した企業も必要なデータを入手し分析等に生かせるため、双方でデータ管理・分析コストを削減できます。
高いセキュリティで計算過程の情報漏えいも防止
セキュリティ対策として有効とされる方法の一つに暗号化があります。従来の暗号化ではデータの通信時・保管時には暗号化をしたままで処理されますが、データの活用時は一度平文（生）のデータに復号しなければならず、その際のセキュリティ対策が課題となっていました。
EAGLYSの秘密計算ソリューションDataArmor GateDBでは、データを連携・活用・保管まで一貫して暗号化。計算や検索・分析といったデータ処理過程における漏えいの心配はありません。
そのため、複数企業間でのデータ連携時にセキュリティポリシーを変更したり、新たなシステムや共有用環境の構築といった設備投資をすることなく、データの共有が可能です。
DataArmorGateDBの詳しい仕様や活用例についてはこちら
まとめ
データ連携は、システムやアプリケーション等に分散しているデータを組み合わせ、資産として活用することです。データの種類やシステムの仕様、データ連携を行いたい相手によって適するデータ連携方法は異なりますが、デジタルだけではなくリアルの世界にもデータがあふれる今、データ連携による新たな価値創造への期待は高まる一方です。
社内の場合はETLやEAIといったデータ連携ツールを活用することでより手軽にデータ連携を実現できますが、社外とのデータ連携を検討する場合はEAGLYSの秘密計算ソリューションを介してデータを安全に守りながら連携・共有することが可能です。
これにより、たとえ競合企業間であってもセキュアにデータが連携できることから、特定の事業領域で相互利益を生む計画を策定したり、非競争領域では業界課題の解決に向けた取り組みも検討可能になります。
このような複数企業間におけるデータ連携では、データのプライバシーやセキュリティに対応しながらデータを有効活用していく大型のプロジェクトとなり、新たな価値創造に向けて専門的な知識が求められます。
さまざまな業界におけるデータ連携やデータ活用を支援してきたEAGLYSでは、アイデアのご相談から承っておりますので、セキュアなデータ利活用にご検討される場合はぜひお気軽にご相談ください。