データウェアハウスとは、社内の複数のシステムに散らばるデータを集め、分析しやすい形に整理して蓄積するデータ基盤です。販売や在庫、顧客などのデータが部門ごとのシステムに分かれていると、全社の状況を分析するたびに手作業での集計が必要になり、部署によって数字が食い違う原因にもなりかねません。
本記事では、データウェアハウスの意味やデータベース・データレイクとの違い、仕組み、導入のメリット、活用例、選ぶ際のポイントまでを、社内のデータ活用や基盤整備を担当する方に向けて解説します。自社に合ったデータ基盤を検討する際の参考にしてください。
データウェアハウスとは、基幹システムや顧客管理、POSなど複数のデータソースからデータを集め、分析やレポート作成に使える形で蓄積するデータ基盤を指します。英語のwarehouseは倉庫を意味し、企業のデータを分析用にまとめて保管する倉庫というのが名前の由来です。
データウェアハウスの概念を提唱したビル・インモン氏は、データウェアハウスがもつ特徴として次の4つを挙げています。
いずれの特徴も、日々の業務処理ではなく、分析と意思決定に使うことを前提にした設計です。なお、データウェアハウスへデータを届けるまでの一連の流れはデータパイプラインとは？仕組みや種類、ETLとの違いと構築のポイントを解説で紹介しているので、あわせてご覧ください。
データウェアハウスは、データベースやデータレイク、BIツールなどと組み合わせて使われることが多く、それぞれの役割を区別して理解しておくことが大切です。関連する主な仕組みとの違いを、次の表にまとめました。
| 仕組み | 主な役割 | 扱うデータ | 主な用途 |
|---|---|---|---|
| データウェアハウス | 複数システムのデータをまとめ、分析用に蓄積します。 | 整理された構造化・半構造化データや履歴データが対象です。 | 全社での分析やレポート作成に役立てます。 |
| データベース | 日々の業務処理でデータを登録したり更新したりします。 | 業務に使う最新の構造化データが中心です。 | 受注や会計などの業務システムに利用します。 |
| データレイク | さまざまなデータを加工しないで元の形式のまま保存します。 | 構造化データに加え、画像や音声、ログなどの非構造化データが対象です。 | データサイエンスやAI、機械学習の素材として利用します。 |
| データマート | データウェアハウスなどから部門や目的に合わせてデータを切り出します。 | 特定の用途に絞ったデータが対象です。 | 営業やマーケティングなど部門ごとの分析に使われます。 |
| レイクハウス | データレイクのコストを抑えた保存とデータウェアハウスの管理機能を1つの仕組みで扱います。 | 構造化データと非構造化データの両方が対象です。 | BIとAIを同じ仕組みの中で動かします。 |
| BIツール | 蓄積したデータをわかりやすく表示し、分析します。 | データウェアハウスやデータマートのデータが対象です。 | ダッシュボードの表示やレポートの閲覧に利用します。 |
このように色々なツールによってデータの使われ方などが違うため、それぞれの特色を理解したうえでの使い分けるようにしましょう。
データウェアハウスでは、各システムのデータが集められ、加工と蓄積を経て分析に使われます。ここでは、データがデータウェアハウスへ集まり活用されるまでの流れを4つの工程に分けて解説します。
データウェアハウスの仕組みの最初の工程は、複数のシステムからデータを収集することです。分析に必要なデータは、基幹システムやCRM、POS、Webサービスなど、業務ごとに別々のシステムに記録されているためです。
たとえば小売業であれば、POSの販売データ、基幹システムの在庫データ、CRMの顧客データ、ECサイトのアクセスログなどが収集の対象になります。取り込みは夜間などにまとめておこなう方法が一般的ですが、クラウド型のデータウェアハウスにはストリーミングでリアルタイムに近い取り込みに対応する製品もあります。
システム間でデータを受け渡す手法の選び方は、データ連携とは？代表的な手法とメリット、進まないときの対処法を解説で詳しく取り上げているので、あわせてご覧ください。
集めたデータは、データウェアハウスで使える形に加工・統合します。システムごとに日付の書式やコード体系、項目名が異なり、そのままでは組み合わせて分析できないためです。
加工の方法には、データを抽出して変換してから格納するETLと、先に格納してからデータウェアハウスの中で変換するELTの2つがあります。どちらの方式でも、形式の変換に加えて重複や表記の揺れを取り除くデータクレンジングをおこない、分析に使える品質へ整えるのが一般的な流れです。
加工のルールは、分析の目的と各システムのデータの意味を理解したうえで設計しましょう。なお、データクレンジングの具体的な手法は、別記事の「データクレンジングとは？必要性や手法、進め方をわかりやすく解説」で紹介しています。
加工したデータは、履歴として蓄積していきます。業務システムのデータベースは最新の状態に上書きされることが多く、過去の値をあとから確認しにくいためです。
顧客の住所や担当営業が変わった場合でも、データウェアハウスでは変更前と変更後の両方を日付とともに残しておけます。履歴が残っていれば、前年同月の売上や、顧客の購買傾向の移り変わりを比較することも可能です。
ただし、長期間のデータを保存するほど容量は増えていきます。保存期間や、よく使うデータとそうでないデータの保存先を分けるといったルールも、あわせて決めておきましょう。
蓄積したデータは、BIツールやAIで分析して活用します。データウェアハウスにデータを集めるだけでは、意思決定や業務改善には結びつきません。
しかし、BIツールをつなげば、売上や在庫の推移をダッシュボードで可視化し、担当者が自分で条件を変えながら集計できます。さらに、整理された履歴データは、需要予測や異常検知といったAI・機械学習の学習データとしても使えるのが強みです。
分析の目的によっては、部門別のデータマートを用意し、よく使う集計をすぐ引き出せるようにしておく方法もあります。
データウェアハウスへ社内のデータを集約すると、分析の幅や数字の信頼性、システムの運用面まで、さまざまな効果が得られます。ここでは、代表的な4つのメリットを紹介します。
データウェアハウスを導入すると、部門を横断した分析ができるようになります。販売、在庫、顧客などのデータが1か所に統合され、システムの壁を越えて組み合わせられるためです。
たとえば、販売データと顧客データを掛け合わせれば、どの顧客層がどの商品をいつ購入しているのかが分かります。販売と在庫のデータを重ねれば、売れ筋商品の欠品や、動きの鈍い商品の在庫過多にも早く気づけるはずです。
部門ごとの集計では見えなかった課題を探し出し、全社での改善につなげましょう。
データウェアハウスの導入により、時系列での売上などの変化を把握しやすくなります。過去のデータを上書きせずに蓄積していくので、長期間の推移をさかのぼって確認できるためです。
月ごとの売上推移や季節による需要の波、顧客の購入が途絶えた時期などを、同じ基準のデータで比べられます。施策の前後で数字がどう動いたかを検証する場面でも、蓄積した履歴が役立ちます。
変化の傾向がつかめれば、次の計画や施策を過去の実績にもとづいて立てられるでしょう。
データウェアハウスを導入すれば、分析結果の信頼性を高められます。データの形式や項目の定義をデータウェアハウスでそろえることで、部署によって数値がずれる状態を防げるためです。
同じ「売上」という言葉でも、税込か税抜か、返品を差し引くかどうかで、部署ごとに集計方法が異なる場合があります。そこでデータウェアハウスで定義を1つに決めておけば、どの部署が集計しても同じ数字になり、会議で数字の食い違いを確かめ合う時間も減らせます。
全社で共通の数字を使えるようになれば、データにもとづく議論を進めやすくなるのも利点です。
業務システムへの負荷を抑えられる点も、データウェアハウスを導入するメリットです。分析のために大量のデータを業務システムのデータベースから直接集計すると、処理が重くなり、日々の業務に影響が出るおそれがあるためです。
分析用のデータをデータウェアハウスに分けて置けば、重い集計処理はデータウェアハウス側で実行され、受注や出荷などの基幹業務はふだんどおりに動かせます。
業務と分析の処理を分けておけば、分析する側も時間帯を気にせずにデータを扱えるので安心です。
データウェアハウスは、経営管理から現場の改善、AIの活用まで、さまざまな業務で使われています。ここでは、業務や部門ごとの代表的な活用例を紹介します。
データウェアハウスの代表的な活用例が、経営データの可視化です。経営層が判断に使う売上や利益、在庫などの数字は、複数のシステムにまたがって記録されているためです。
データウェアハウスに集約したデータをBIツールにつなげば、全社や事業部ごとの売上、利益率、在庫金額などを1つのダッシュボードで確認できます。月末に各部署から数字を集めてExcelでまとめ直す作業が減り、新しい数字をもとに判断することが可能です。
加えて、気になる動きがあった際に、事業部や商品の単位まで掘り下げて原因を確かめられるのも、経営データを可視化する利点です。
営業・マーケティング分析も、データウェアハウスがよく使われる領域です。顧客の属性や購買履歴、問い合わせ履歴などを組み合わせることで、施策の精度を高められるためです。
たとえば、購買履歴から一定期間購入のない顧客を抽出し、再購入を促すキャンペーンの対象にする使い方があります。広告やメール施策ごとの成果を売上データと照らし合わせれば、効果の高い施策に予算を寄せる判断もしやすくなります。
AWSの解説でも、マーケティング部門が広告キャンペーンを最適化するためにデータマートを作る例が紹介されており、部門の用途に絞ったデータを用意する方法も有効です。
製造業や物流業では、生産、設備、在庫、配送のデータをデータウェアハウスで分析し、改善点を見つけることができます。現場のデータは生産管理や設備の監視、倉庫管理などのシステムに分かれており、組み合わせなければ問題の原因をたどれないためです。
設備の稼働データと不良品の発生記録を重ね合わせれば、不良が多い時間帯や条件を絞り込む手がかりになります。在庫と配送のデータを組み合わせると、拠点ごとの在庫の偏りや、配送の遅れが起きやすいルートも見えてきます。
なお、センサーから集まる大量のデータを扱う場合は、データレイクと組み合わせる構成も選択肢です。現場のセンサーデータの扱い方は、センサーデータとは？種類や活用例、分析に活かすための課題と進め方をわかりやすく解説を参考にしてください。
データウェアハウスは、AI・機械学習へデータを提供する役割も担います。需要予測や異常検知のモデルを作るには、形式のそろった過去のデータを継続的に用意する必要があるためです。
データウェアハウスに整理された履歴データがあれば、学習に使うデータを毎回一から集め直さずに済みます。予測に使う最新のデータも同じ基盤から定期的に取り出せるので、モデルを業務で使い続けやすい環境が整います。
AIの予測精度は、学習に使うデータの質に左右されるものです。AI活用を見据えるなら、データウェアハウスに格納するデータの品質をあらかじめ整えておきましょう。
データウェアハウスにはクラウド型やオンプレミス型など多くの製品と構成があるため、自社に合うものを選ぶには判断の基準が必要です。ここでは、比較の際に確認しておきたい5つのポイントを解説します。
データウェアハウスを選ぶ前に、利用目的と対象データを明確にしましょう。目的があいまいなまま製品を選ぶと、必要な機能や容量を見積もれず、導入後に使われない基盤になりかねないためです。
具体的には、誰が、どのデータを使って、何を分析するのかを書き出します。「経営層が毎週、事業部別の売上と利益を確認する」「マーケティング部門が顧客の購買履歴を分析する」のように用途を決めれば、集めるべきデータと更新の頻度も定まります。
最初から全社のデータを集めようとせず、効果の見えやすい用途に絞って始め、段階的に対象を広げていく進め方がおすすめです。
処理性能と拡張性も、データウェアハウスを選ぶ際に確認しましょう。データ量や利用者は導入後に増えていくことが多く、当初の規模に合わせた構成では処理が追いつかなくなるおそれがあるためです。
確認したいのは、大量のデータを集計したときの応答速度や、同時に使う利用者が増えたときの処理能力です。クラウド型のデータウェアハウスには、必要に応じて容量や処理能力を増減できる製品が多く、将来の拡張を見込みやすい特徴があります。
候補の製品が決まったら、実際のデータ量に近い条件で、よく使う集計の速さを試しておくと安心です。
既存システムとの連携性の確認も忘れずにおこないましょう。データウェアハウスは、データを取り込むシステムと分析に使うBIツールの両方とつながって初めて役に立つためです。
自社の基幹システムやCRM、クラウドサービスからデータを取り込む手段があるか、利用中のBIツールやETLツールと接続できるかを確かめます。古い基幹システムの場合は、ファイル出力を経由するなど、取り込み方法の工夫が必要になることもあります。
連携できないシステムが残ると手作業での取り込みが続いてしまうため、候補を絞る段階で接続先を一覧にし、対応状況を確認しておきましょう。
データウェアハウスを選ぶ際は、セキュリティと管理機能を確認しましょう。データウェアハウスには顧客情報や財務データなど、社内の重要な情報が1か所に集まるためです。確認しておきたい主な項目は次のとおりです。
自社のセキュリティ規定や業界のルールに照らし、満たせない項目がないかを導入前に確かめておくことが重要です。
データウェアハウスは、初期費用だけでなく運用費を含めて比較しましょう。クラウド型のデータウェアハウスは、保存するデータの容量や処理したデータ量などに応じて料金が変わる従量課金の製品が多く、使い方によって費用が変わるためです。
たとえば同じ製品でも、データを長く保存するほど保存費用が増え、大量のデータを頻繁に集計するほど処理の費用がかさみます。オンプレミス型の場合は、サーバーの購入費に加えて、保守や運用を担う人員の費用もかかります。
想定するデータ量と利用頻度から、数年単位の総費用を試算して比べましょう。料金体系は改定されることもあるため、契約前に各社の公式サイトで最新情報を確認してください。
ブライセンのデータエンジニアリングサービスは、データウェアハウスなどのデータ基盤を導入するだけで終わらせず、多様なデータソースからの取得、目的に合わせた構造化・加工、業務で使える形での提供までを通して支援するサービスです。
弊社は、データの収集・蓄積にとどまらず、目的起点のデータ設計から基盤構築、運用・改善までを一貫して支援しています。日本とベトナムの開発体制により品質とコストの両立を図り、自動車業界をはじめ、製造業やプラント分野の企業様を支えてきた実績があります。
システムごとにデータが分かれて全社の数字をそろえられない、データウェアハウスを導入したいもののどのデータから集めればよいか決めきれないという方は、お気軽にご相談ください。
データウェアハウスは、社内に散在するデータを分析できる形で集約・蓄積し、経営や業務の判断に活かすための基盤です。データベースが日々の業務処理を担うのに対し、データウェアハウスは複数システムのデータを統合し、履歴として残す点が特徴です。
データウェアハウスを導入すれば、部門を横断した分析や時系列での変化の把握が可能になり、部署ごとの数字のずれも防げます。経営データの可視化から営業・マーケティング、製造・物流の改善、AIへのデータ提供まで、活用できる場面も多岐にわたります。
製品を選ぶ際は、利用目的と対象データを先に決め、性能や連携性、セキュリティ、運用費まで含めて比較することが大切です。自社のどの数字を、誰が、どの頻度で見たいのかを書き出すところから、データウェアハウスの検討を始めてみましょう。
