Data Afroのデータアナリティクス通信

こんにちは 今回はKNIME（ナイム）を使って複数のファイルの読み込んでユニオンでファイルを結合する方法にトライしてみます。 KNIME（ナイム）とは無料のデータ解析アプリケーション です。WINとMACの両方のOSで動作します、データ準備などデータ可視化にの前に必要なデータ準備などの操作をサクッとこなせる万能ツールです。 詳しくはこちらもどうぞ。 KNIME - 複数ファイルの読み込み（ワイルドカード ユニオン）について KNIME（ナイム）を使って複数のCSVファイルを読み込む KNIMEで複数のファイルを全部読み込む際にはループ処理を回してファイルが保存されている場所（path）から読み込んであげる必要があります。 今回の例では、2015年から2018年までの「ORDERS_USCA」という各年度の売り上げに関する4つのCSVデータファイルを一度に読み込んでみます。 「スーパーストアテスト」というフォルダ内に幾つかのCSVファイルがありますが、今回は「ORDERS_USCA_****.csv」のファイルの4つのみを取得する。 赤枠の4つだけ取得したい 最初はList Fileノードを使用し、ファイルのあるフォルダからワイルドカードで該当の4つのpathを取得できるように指定する。（ネットで調べると他のユーザーはURLという項目も取得できているようですが私の場合はpathのみ表示されてました） ワイルドカードで * （スター）で指定 次に、Table Row TO Variable Loop Statusノードを配置 します。こちらは設定はそのままでOK。 includeでpathだけでOK その後は、FIle Readerノードを置いて、ここでは適当に一つのファイル（読み込もうとしているCSVでOK）を選択します。これはプレースホルダーのような役割かと。 一つのファイルを読み込んでおく 最後にLoop Endノードを置いて終了です。 ループエンドの指定は上記 取得できた件数を確認する。 21列の9994件のデータとして取得ができました。 最終的な出力はこちら 今回の複数ファイルを読み込む方法に関するフォーラムのディスカッションや、how-toページは多く見つかります。その中のサンプルを真似ていくつかやってみて手順を理解することができました。私が参考にしたリンク...

Hello Data People! 今日はデータ前処理やデータ分析を行うことができるオープンソースツールKNIMEから、データビジュアライズを行うツールTableauの抽出データ（.hyper）を出力を行ってみます。 KNIMEでデータ前処理を行い、結果データをTableauの抽出データ（.hyper）として出力 KNIMEにはKNIME extensionsという拡張機能を追加していくことができます。 その一つに、今回紹介するTableauと連携することができる KNIME Tableau Integration があります。最初はこれをインストールしていきます。 KNINEはバージョン4.4.1を使用中です。 KNIME Tableau Integrationをインストールする KNIMEを開き、File → Install KNIME Extensions へ進んでください。 Install KNIME Extensions の画面にて、キーワード検索で tableau と入力。 KNIME Tableau Integrationを確認し、チェックボックスをチェックし、NEXTを押して進める。 数分後に、Software Updateのダイアログが表示され、KNIMEのリスタートを行う。 再起動した後、 KNIMEのノードリポジトリにてTools & Servicesを確認、Tableauが追加されていることを確認。これでKNIME Tableau Integrationをインストールは完了です。 KNIMEからHyperファイルを出力し、Tableauで開いてみる Tableauのおなじみデータソース「スーパーストア」をKNIMEに読み込んで、そのままTableau Writerノードへ連結。ノードの設定でファイル名と出力先を選択し、ワークフローを実行しhyperファイルの出力を確認。 Tableau上でhyperファイルを開いてみると、問題なくデータが読み込まれている。 以上です。 KNIME上でデータの前処理を色々やって最終的にTableauで読み込めるhyper抽出ファイルを生成できるのでTableau Prepでは手が届かない前処理などをKNIMEにやってもらうということができるかと思います！ また、Tableauの旧バージョンの抽出ファイ...

こんにちは！ Data Afroです！ 2021年も10月ですね。10月1日は国際コーヒーの日であり、また日本酒の日だそうです。 KNIME内でエンコードを変更し文字化けした内容を正しく表示する。 KNIMEで日本語が文字化け KNIMEで日本語の内容を含んだCSVをインポートしたときに列名やセル内の内容が文字化け（英語だとgarbled characterという）してしまうことがありました。 確認していたCSVファイルは、 日経クロステックさんのKNIMEの使い方に関する特集記事 に掲載されていた「味覚センサー.csv」です。 MAC OSだと初期設定でこんな感じでした 日本語のWindows 10なんかだと、SHIFT-JISがdefaultだと思うのでこのCSVファイルは問題なく読めると思います。私のMac OSは英語のOSなんですが、OS defaultでUTF-8。 この場合は、 CSV Readerノードの設定からエンコードを指定してあげることで回避できました。 CSV Reader > Encoding にてSHIFT-JISを設定 漢字やハングル文字などダブルバイト文字（マルチバイト文字）を含んだデータ内容の取り扱いって文字化けが起こることがありますよ。KNIMEなど、日本国内で開発されたアプリケーションでない場合は、文字化けが発生する箇所は意外と多いかもしれませんね。 特に古い形式のデータソースファイルなんかだともっと回避するのが複雑になるかと。。 そんな時は、KNIMEのフォーラムで検索してみてくださ。 質問を投稿することで他のユーザーから回避方法に関するヒントが得られると思います。 例えば、以下のように、インドのベンガル語の表示が難しいとかね。 UTF-8 characters not rendering in table view https://forum.knime.com/t/utf-8-characters-not-rendering-in-table-view/13327 他に役立ちそうなリンク UTF-8（ユーティーエフエイト）とは？文字コードの仕組みを知れば文字化けでも慌てない -  https://ferret-plus.com/7006 Happy Data Analytics!