
横浜国立大学理工学部建築都市環境系学科卒
一級鉄筋技能士
唎酒師
狂人のごとく特定の分野、中小企業を理解し、国の補助金を獲得します。最近は中小企業のM&Aにも挑戦中
ビジネスの現場では、売上や品質管理、顧客の行動予測など、さまざまな場面でデータ分析の重要性が高まっています。
こうした分析は、大企業ではすでに当たり前のように行われています。
大卒でパソコンに慣れた人材が在籍し、インターネットで積極的に情報収集しながら、適切なスキルを自ら身につける文化があるからです。
しかし、私たち中小企業の現場はまったく異なります。
多くの業務が「勘」と「経験」に頼っており、パソコンに不慣れな人材は「何から手をつければよいのかすら分からない」という状態です。
そのまま時間が経過し、学ぶ意欲を失ったまま現場が回ってしまうことも少なくありません。
(最近はお米の話題が多く取り上げられていますが、たとえばExcelを活用している農家の方がどれほどいるでしょうか?おそらく全農家の3%以下でしょう。)
そんな中でも、ドメイン知識(現場の業務知識)とAIに関する基礎をあわせ持つ、てつまぐのAI人材の皆さんは違います。
Udemy講座「Excelデータ活用入門:データの前処理・可視化」を受講された皆さんであれば、すでにExcelの活用については十分な基礎が身についているはずです。
そして、そんな皆さんにこそ、次のステップとしておすすめしたいのが、「AWS:機械学習」を活用した高度なデータ解析です。
本記事では、なぜ今、機械学習が必要とされているのか、その背景や考え方を、データの可視化・前処理といった基礎ステップとともに、わかりやすく解説していきます。
「Excelデータ活用入門 データの前処理・可視化」はこちらから!
目次
STEP1:データの可視化と前処理
テーブルデータを使ったデータ分析の第一歩は、グラフなどによる可視化です。
しかし、その前には「前処理」が欠かせません。
前処理とは、データを整理し、使いやすい形に整える作業のことです。
異なるフォーマットのデータを統合したり、欠損値を補完したりすることで、グラフ化に適した一つの整ったデータセットが完成します。
この処理によって、複雑なデータも視覚的に把握しやすくなり、次にとるべきアクションを導き出す判断材料になります。
データを集める
中小企業の多くでは、社内に蓄積されたデータが雑多で不完全な状態にあります。
たとえば、従業員が1日を通してどのような作業を行ったのかを、30分単位で正確に記録・分類できている企業はほとんど存在しません。
多くの場合、作業内容は「おおまかに1日で何をしたか」というレベルで日報に記載されており、その日報をもとに原価管理を行っているのが実情です。
しかし、精度の高い原価管理を実現するためには、まず詳細なデータをどれだけ収集できるかが重要な課題となります。
データの粒度と整合性が、その後の分析の質を大きく左右するのです。
さらに、こうした「現状把握」すら実施していない中小企業も少なくありません。
これらの企業の多くは、銀行や商工会議所との連携が取れておらず、月次決算の体制も整っていないため、資金繰りが逼迫した際に適切な融資を受けることができず、最悪の場合には事業継続を断念せざるを得ない状況に陥るケースもあります。
実際に、僕が最初に始めたのは、加工場での業務日報の導入でした。
作業者にとっては日報を描く手間が増えるわけなので、1枚の日報を記載してもらうのも大変な労力がかかります。
まずは日々の作業データを集めるところから始めよう
データを前処理・可視化する
業務におけるデータ活用が一般化する中で、正しく整ったデータを用意する「前処理」は非常に重要なステップです。
前処理の方法としては、大きく分けて ノーコードでの処理 と VBA を使った処理 の2種類が存在します。
それぞれの方法には一長一短があり、状況に応じた使い分けが求められます。
ノーコードによる前処理
ノーコードとは、Excelのフィルターやピボットテーブル、関数、Power Queryなどを駆使してデータ処理を行う手法です。
プログラムを書く必要がないため、ITリテラシーが高くない方でも比較的取り組みやすく、可視化や集計などはすばやく実現できます。
一方で、複雑な累積計算や条件ごとの繰り返し処理、大量のデータの動的処理などになると、ノーコードでは対応が難しくなってきます。
ノーコードの限界にぶつかり、「どう処理したらよいかわからない」という状況に陥ることもしばしばです。
VBAによる前処理
そうしたときに力を発揮するのが VBAを使った前処理 です。
VBAとはExcelに組み込まれているプログラミング言語で、複雑な処理や繰り返しの自動化、動的なデータ生成が得意です。
上記youtubeの中では、工事ごとに設定された「予算」と、実際の「経費使用額」のデータをもとに、累積データを作成してグラフ化するという事例を紹介しています。
1 2 3 4 5 |
・工事の開始日~終了日まで、日別に予算額を均等に積み上げたデータを生成 ・経費の使用日と金額を累積して実績データとして扱う ・これらのデータを同じ日付軸で並べ、グラフ化して比較できる形に整える |
このような処理はノーコードでは複雑になりすぎるため、VBAでコード化することで、柔軟かつ効率的に対応することができます。
データを前処理して可視化
前処理の方法はノーコードとVBAの2種類
STEP2:可視化から予想(機械学習)へ
機械学習の基本的なワークフローも可視化とよく似ています。
たとえば、製品の品質を「正常」か「異常」かで分類したり、あるいは過去の顧客情報をもとにクレジットカードの審査通過の可能性を予測したりするなど、可視化を超えた「判断支援」の領域で活用されています。
グラフでは見えない多次元の関係性を扱う
「気温と売上」といった単一の要因間の関係性であれば、散布図などのグラフを使えばある程度の傾向を見出すことができます。
しかし、実際のビジネスでは複数の要因が複雑に絡み合っています。
たとえば、売上には「気温」「曜日」「広告」「在庫状況」など、さまざまな変数が影響していることがあります。
こうした多次元(多変量)のデータは、グラフだけでは関係性を視覚的に把握することが難しいため、機械学習の出番となります。
人の勘や経験の属人化を排除する
機械学習の強みは、過去の大量データからパターンを自動で抽出し、未来の予測ができる点です。
これにより、従来は経験豊富なベテランの判断に頼っていた場面でも、一定の精度で再現性のある予測が可能になります。
これが業務の「自動化」や「属人化の解消」につながります。
AWSを使ってみよう!
ノーコードとVBAによる前処理のスキルを身につけた今、次のステップとしておすすめなのが「AWS」を使った機械学習の活用です。
整えたデータをもとに、より高度な予測や分析を行い、業務改善や意思決定に役立てましょう。
さあ、AWSを使って機械学習を始めてみましょう!
「Excelデータ活用入門 データの前処理・可視化」はこちらから!