深層学習で大規模なCSVデータの取り扱い

数値シミュレーションデータ（n行9列，約90GB）を複数のCSVに分割して保存し，特徴入力層を使用して深層ニューラルネットワークへの学習を試みています．

tabularTextDatastoreを使用してCSVデータの読み込む

↓

データストアをtall配列に変換し，cvpartitionを利用して学習用データとテスト用データに分割

↓

この学習データを利用してネットワークに学習（trainNetwork）

layers = [

featureInputLayer(numFeatures)

...（略）

regressionLayer];

このとき，「無効な学習データです。予測子は数値配列、データストアまたは table でなければなりません。シーケンス入力をもつネットワークでは、予測子をシーケンスの cell 配列にすることもできます。」とエラーが表示されました．

一部のデータを抜き出し，tall配列をやめたら動作したため，trainNetworkにtall配列のデータを渡していることが原因と思います．

しかし，全シミュレーションデータはメモリで抱えきれないため，大量のシミュレーションデータに対して学習が実行できません．

大規模のCSVデータを使用してtrainNetworkを動作させるにはどうすればよいでしょうか．

Answer 1

[Hiro]

tall 変換せずに、datastore のまま分割すると良いです。datastore はレポジトリなので、メモリにデータをロードすることなくデータの管理ができます。分割する関数はこちら：

https://www.mathworks.com/help/matlab/ref/matlab.io.datastore.imagedatastore.partition.html

trainNetwork 関数のオプションに validation data の設定が有ると思うので、そこに validation 用に取っておいたデータ適用すると良いかと思います。

datastore を全て読み込まずに、preview 等でデータを確認しながら少しずつモデルを作製されると良いかと思います。

上手く行ってから、大きなデータ全体に対して学習を試みることがお薦めです。

[翔太 石田]

お返事ありがとうございます．

datastoreでの分割も考慮していたのですが，

・任意割合での分割方法がわからない（80%:20%などへの分割方法がわからない）

・tabularTextDatastoreの読み込みデータが「isShuffleable = 0」のためtraininigOptionでもShuffleが蹴られる（読み込みデータはパラメタを規則的に変更して計算しているためランダムになっていない）

・trainNetworkでtabularTextDatastoreがサポートされておらず，そのままではtrainNetworkに読み込ませられない

などの理由で一度tall配列に変換して処理をしていましたが，tall配列でもtrainNetworkが動作しないため行き詰ってしまいました．

trainNetworkでtabularTextDatastoreがサポートされていないため，そもそも今回のように，メモリに収まりきらないCSVデータの処理は不可能なのでしょうか．

[Hiro]

失礼しました。

基本的に Deep Learning でテーブルデータを扱う事はほとんど無いので、こちらにあります通り、trainNetwork に対応していません。

もしですが、ディープラーニングを実行すること自体が目的でなければ、他のアルゴリズムを試されてはと思います。ディープラーニングは画像処理関連のアプリケーションに用いられる側面が強いです。理由としては、画像から特徴量を抽出するために通常はたくさんのフィルターを様々な設定で適用していくのですが、ディープラーニングに頼めば、フィルターと設定を一緒に最適化してくれるからです。なので、テーブルデータのように特徴量がある程度抽出されている状況で、ディープラーニングを使うのは、スーパーマーケットに行くのに F1 カーに乗る状況かも知れません。

こちらに、tall 配列対応 の関数があります。機械学習アルゴリズムが幾つかあるので、そちらでお試しいただけると良いかなと思います。この関数を使えば、モデルを学習するまでに gather をする必要が無いので、計算負荷は最小化されて、ビッグデータでのモデル作成も現実的になると思います。

[翔太 石田]

度々ありがとうございます．疑問が解決しました．

他のアルゴリズムの利用も含め検討いたします．

とても有益な情報ありがとうございました．