データ活用の基盤を知る

データウェアハウスは、複数の業務システムからデータを集約し、時系列で分析しやすい形に蓄積する分析用のデータ基盤です。日々の更新処理を担う業務データベースとは目的が異なります。

データマートは、営業や会計など特定の部門・目的に合わせて必要なデータを取り出して構成する比較的小規模な分析用データ集合です。複数のシステムのデータを統合した分析基盤と、特定用途に絞った分析用データ集合を区別すると理解します。

データウェアハウスは全体基盤、データマートは特定用途向け。

異なるシステムのデータを分析基盤へ集める処理では、ETLとELTが使われます。ETLは抽出、変換、格納の順で、格納前に形式や値を整えます。ELTは抽出、格納、変換の順で、先にデータを格納してから基盤側の処理能力を利用して変換します。

重複、欠損、表記ゆれなどを修正する処理はデータクレンジングです。ETLとELTは変換と格納の順序が異なる点を押さえます。

ETLは変換してから格納、ELTは格納してから変換。

構造化データは表の行・列のように項目や形式が明確なデータです。半構造化データはタグやキーなどで一定の構造を持つ一方、項目が固定されないデータを含みます。非構造化データは文書、画像、音声など表形式へそのまま当てはめにくいデータです。

データレイクは、これら多様なデータを加工前の形も含めて大量に蓄積し、後から用途に応じて処理・分析するための基盤です。先に用途を固定し過ぎず多様なデータを保持する点が特徴です。

構造の違うデータを広く蓄え、後から用途に応じて分析する。

分散データベースは、複数の場所にデータを配置しながら、一つのデータベースのように利用できることを目指します。データの格納場所などを利用者に意識させにくくする性質を透過性と呼びます。

複数拠点にまたがる更新をそろえて確定する方法に2相コミットメントがあり、各参加者が確定可能かを確認した後に、全体として確定または取消しを決めます。またレプリケーションはデータの複製を複数箇所に保持して可用性や参照性能の向上などに利用します。

分散DBでは透過性、2相コミットメント、複製を区別する。