KNIME - 複数ファイルの読み込み（ワイルドカード ユニオン）について

こんにちは

今回はKNIME（ナイム）を使って複数のファイルの読み込んでユニオンでファイルを結合する方法にトライしてみます。KNIME（ナイム）とは無料のデータ解析アプリケーションです。WINとMACの両方のOSで動作します、データ準備などデータ可視化にの前に必要なデータ準備などの操作をサクッとこなせる万能ツールです。詳しくはこちらもどうぞ。

KNIME - 複数ファイルの読み込み（ワイルドカード ユニオン）について


KNIME（ナイム）を使って複数のCSVファイルを読み込む

KNIMEで複数のファイルを全部読み込む際にはループ処理を回してファイルが保存されている場所（path）から読み込んであげる必要があります。


今回の例では、2015年から2018年までの「ORDERS_USCA」という各年度の売り上げに関する4つのCSVデータファイルを一度に読み込んでみます。


「スーパーストアテスト」というフォルダ内に幾つかのCSVファイルがありますが、今回は「ORDERS_USCA_****.csv」のファイルの4つのみを取得する。

赤枠の4つだけ取得したい


最初はList Fileノードを使用し、ファイルのあるフォルダからワイルドカードで該当の4つのpathを取得できるように指定する。（ネットで調べると他のユーザーはURLという項目も取得できているようですが私の場合はpathのみ表示されてました）

ワイルドカードで * （スター）で指定

次に、Table Row TO Variable Loop Statusノードを配置 します。こちらは設定はそのままでOK。

includeでpathだけでOK

その後は、FIle Readerノードを置いて、ここでは適当に一つのファイル（読み込もうとしているCSVでOK）を選択します。これはプレースホルダーのような役割かと。

一つのファイルを読み込んでおく

最後にLoop Endノードを置いて終了です。

ループエンドの指定は上記


取得できた件数を確認する。
21列の9994件のデータとして取得ができました。

最終的な出力はこちら



今回の複数ファイルを読み込む方法に関するフォーラムのディスカッションや、how-toページは多く見つかります。その中のサンプルを真似ていくつかやってみて手順を理解することができました。私が参考にしたリンクは以下になります。



Tableau PrepかTableau Desktopで複数ファイルを読み込む場合

ちなみに同じようなCSVファイルをTableau Prepでやると、、

もっと簡素に行えます。
ワイルドカードユニオンを使用


同じ件数を取得していることを確認





ちなみに、、
Tableau Desktopで同じようなCSVのユニオンを手動で行うこともできます。
これも便利でよく使います。

Tableau DesktopでCSVをユニオン結合



See you next time!

このブログの人気の投稿

KNIME - CSV Readerのエンコード設定を調整してCSVファイル内の日本語の文字化けを回避する

イメージ
こんにちは！ Data Afroです！ 2021年も10月ですね。10月1日は国際コーヒーの日であり、また日本酒の日だそうです。 KNIME内でエンコードを変更し文字化けした内容を正しく表示する。 KNIMEで日本語が文字化け KNIMEで日本語の内容を含んだCSVをインポートしたときに列名やセル内の内容が文字化け（英語だとgarbled characterという）してしまうことがありました。 確認していたCSVファイルは、 日経クロステックさんのKNIMEの使い方に関する特集記事 に掲載されていた「味覚センサー.csv」です。 MAC OSだと初期設定でこんな感じでした 日本語のWindows 10なんかだと、SHIFT-JISがdefaultだと思うのでこのCSVファイルは問題なく読めると思います。私のMac OSは英語のOSなんですが、OS defaultでUTF-8。 この場合は、 CSV Readerノードの設定からエンコードを指定してあげることで回避できました。 CSV Reader > Encoding にてSHIFT-JISを設定 漢字やハングル文字などダブルバイト文字（マルチバイト文字）を含んだデータ内容の取り扱いって文字化けが起こることがありますよ。KNIMEなど、日本国内で開発されたアプリケーションでない場合は、文字化けが発生する箇所は意外と多いかもしれませんね。 特に古い形式のデータソースファイルなんかだともっと回避するのが複雑になるかと。。 そんな時は、KNIMEのフォーラムで検索してみてくださ。 質問を投稿することで他のユーザーから回避方法に関するヒントが得られると思います。 例えば、以下のように、インドのベンガル語の表示が難しいとかね。 UTF-8 characters not rendering in table view https://forum.knime.com/t/utf-8-characters-not-rendering-in-table-view/13327 他に役立ちそうなリンク UTF-8（ユーティーエフエイト）とは？文字コードの仕組みを知れば文字化けでも慌てない -  https://ferret-plus.com/7006 Happy Data Analytics!
Read more »

データサイエンス100本ノックをKNIME（ナイム）でやってみる

イメージ
「 データサイエンス100本ノック構造化データ加工編ガイドブック 」というデータ解析の書籍をお読みになった方はすでにピンときているかもしれませんが、こちらに関して、 GitHub上 に一般社団法人データサイエンティスト協会さんが無償でデータを配布してくれています。    こちら、SQL、Python、Rを使用して100問の演習問題に取り組んでいき、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理などの、基礎的なデータハンドリングの修行を行なってもらうために用意されたコンテンツのようです。 こちらで配布されているデータを使用、 データ加工・データ準備の演習問題を オープンソースデータ加工ツール KNIME で実際にやってみようと思います。すべてを実施することができるかは現段階では不明ですがまずはTRY！ということで。 GitHubからコンテンツのダウンロード データサイエンティスト協会さんの GitHub よりZIPファイルをダウンロードすると、以下のようにコンテンツを展開することができる。docker > work > data 内に複数のデータがCSV形式で置かれています。   データサイエンス100本ノック（構造化データ加工編）- データ その他、Dockerを使用した演習の開始方法や問題集（ こちらのPDF ）などが docker > work > doc のPDFにありますので目を通してみてください。配布データに関するER図もあります。   データサイエンス100本ノック（構造化データ加工編） - ER図  さて、次回からは実際にデータ加工をやっていくことにします。
Read more »