Data Afroのデータアナリティクス通信

Data Loversの皆さんこんにちは！  データサイエンスの勉強を始めたいけどどこから手を付けていいか分からないってこともありますよね。この前、私が導入し勉強中のツールのKNIMEが「データサイエンスを学ぶ66日間チャレンジ」をやっていることを発見しました。 こちらです。  Data Exploration in #66daysofdata with KNIME    #66daysofdata by KNIME 一日、約5から15分くらいで終わる内容のデータサイエンス学習を66日間やってみるというチャレンジで、完了したらソーシャルネットワーク（TwitterやFacebook、Linkedinなどに）ハッシュタグ #66daysofdata を付けて投稿するだけです。なかなか細切れでストレスなく進めていけそうです。 先に載せたページに66日間の学習項目が載っておりますよ。 こちらは、今のところ英語だけで発信されておりますが、データサイエンス学習を英語でという方などにオススメかと思いますのでここに投稿してみました。 何かわからないことがあった際には、KNIMEの KNIME Forum で質問してみてください。KNIMEユーザーの方々がきっとアドバイスをしてくれると思います！ それでは　また！

Hello Data Lovers! 今回はKNIME（ナイム）を使ってデータファイルの結合とユニオンを行ってみます。この前の記事ではワイルドカードユニオンで複数（2つ以上）のCSVを読み込んでみる方法でしたが、今回は特定の二つのデータソースを結合、ユニオンする際に使うノードとなります。   KNIME - 複数データを結合して利用する（Union、内部結合、外部結合）   さて、複数のデータソース（データ表）を結合させる際に複数のパターンがありますよね、KNIME（ナイム）で行うことができる結合の種類を見ていきたいと思います。   ユニオン 複数データ表をユニオン結合する場合には、 Concatenate ノード を使用します。同じ列名のものだけを拾って連結したい場合にはColumn handlingで「Use intersection of columns」を。共通の列名でないものも全て連結してしまう場合には「Use union of columns」を使用してください。後者の場合、存在しない列の箇所には「？」を含む行が生成される事になります。 Concatenate ノードの構成画面     内部結合・外部結合 複数データ表を共通のキー列を使用し結合を行うには、 Joiner ノード を使用します。このノードを使用することで、内部結合（inner join）、右外部結合（right outer join） 、 左外部結合（ left outer join）、完全外部結合（full outer join） を実施することができます。結合をした後で、列選択（Column Selection）から後続のワークフローで不要な列は除外選択しておくこともできます。   ベン図（Venn diagram）が表示されていてどの結合タイプにするかわかりやすい 結合タイプ名が切り替わる 今回のKNIMEでの表結合やユニオンに関しては、以下のリンクが参考になります。 KNIME Join and Concatenate https://knime.learnupon.com/enrollments/97790676/page/385670338   それでは、Happy Data analytics!!

こんにちは 今回はKNIME（ナイム）を使って複数のファイルの読み込んでユニオンでファイルを結合する方法にトライしてみます。 KNIME（ナイム）とは無料のデータ解析アプリケーション です。WINとMACの両方のOSで動作します、データ準備などデータ可視化にの前に必要なデータ準備などの操作をサクッとこなせる万能ツールです。 詳しくはこちらもどうぞ。 KNIME - 複数ファイルの読み込み（ワイルドカード ユニオン）について KNIME（ナイム）を使って複数のCSVファイルを読み込む KNIMEで複数のファイルを全部読み込む際にはループ処理を回してファイルが保存されている場所（path）から読み込んであげる必要があります。 今回の例では、2015年から2018年までの「ORDERS_USCA」という各年度の売り上げに関する4つのCSVデータファイルを一度に読み込んでみます。 「スーパーストアテスト」というフォルダ内に幾つかのCSVファイルがありますが、今回は「ORDERS_USCA_****.csv」のファイルの4つのみを取得する。 赤枠の4つだけ取得したい 最初はList Fileノードを使用し、ファイルのあるフォルダからワイルドカードで該当の4つのpathを取得できるように指定する。（ネットで調べると他のユーザーはURLという項目も取得できているようですが私の場合はpathのみ表示されてました） ワイルドカードで * （スター）で指定 次に、Table Row TO Variable Loop Statusノードを配置 します。こちらは設定はそのままでOK。 includeでpathだけでOK その後は、FIle Readerノードを置いて、ここでは適当に一つのファイル（読み込もうとしているCSVでOK）を選択します。これはプレースホルダーのような役割かと。 一つのファイルを読み込んでおく 最後にLoop Endノードを置いて終了です。 ループエンドの指定は上記 取得できた件数を確認する。 21列の9994件のデータとして取得ができました。 最終的な出力はこちら 今回の複数ファイルを読み込む方法に関するフォーラムのディスカッションや、how-toページは多く見つかります。その中のサンプルを真似ていくつかやってみて手順を理解することができました。私が参考にしたリンク...

Hello Data People! 今日はデータ前処理やデータ分析を行うことができるオープンソースツールKNIMEから、データビジュアライズを行うツールTableauの抽出データ（.hyper）を出力を行ってみます。 KNIMEでデータ前処理を行い、結果データをTableauの抽出データ（.hyper）として出力 KNIMEにはKNIME extensionsという拡張機能を追加していくことができます。 その一つに、今回紹介するTableauと連携することができる KNIME Tableau Integration があります。最初はこれをインストールしていきます。 KNINEはバージョン4.4.1を使用中です。 KNIME Tableau Integrationをインストールする KNIMEを開き、File → Install KNIME Extensions へ進んでください。 Install KNIME Extensions の画面にて、キーワード検索で tableau と入力。 KNIME Tableau Integrationを確認し、チェックボックスをチェックし、NEXTを押して進める。 数分後に、Software Updateのダイアログが表示され、KNIMEのリスタートを行う。 再起動した後、 KNIMEのノードリポジトリにてTools & Servicesを確認、Tableauが追加されていることを確認。これでKNIME Tableau Integrationをインストールは完了です。 KNIMEからHyperファイルを出力し、Tableauで開いてみる Tableauのおなじみデータソース「スーパーストア」をKNIMEに読み込んで、そのままTableau Writerノードへ連結。ノードの設定でファイル名と出力先を選択し、ワークフローを実行しhyperファイルの出力を確認。 Tableau上でhyperファイルを開いてみると、問題なくデータが読み込まれている。 以上です。 KNIME上でデータの前処理を色々やって最終的にTableauで読み込めるhyper抽出ファイルを生成できるのでTableau Prepでは手が届かない前処理などをKNIMEにやってもらうということができるかと思います！ また、Tableauの旧バージョンの抽出ファイ...

こんにちは！ Data Afroです！ 2021年も10月ですね。10月1日は国際コーヒーの日であり、また日本酒の日だそうです。 KNIME内でエンコードを変更し文字化けした内容を正しく表示する。 KNIMEで日本語が文字化け KNIMEで日本語の内容を含んだCSVをインポートしたときに列名やセル内の内容が文字化け（英語だとgarbled characterという）してしまうことがありました。 確認していたCSVファイルは、 日経クロステックさんのKNIMEの使い方に関する特集記事 に掲載されていた「味覚センサー.csv」です。 MAC OSだと初期設定でこんな感じでした 日本語のWindows 10なんかだと、SHIFT-JISがdefaultだと思うのでこのCSVファイルは問題なく読めると思います。私のMac OSは英語のOSなんですが、OS defaultでUTF-8。 この場合は、 CSV Readerノードの設定からエンコードを指定してあげることで回避できました。 CSV Reader > Encoding にてSHIFT-JISを設定 漢字やハングル文字などダブルバイト文字（マルチバイト文字）を含んだデータ内容の取り扱いって文字化けが起こることがありますよ。KNIMEなど、日本国内で開発されたアプリケーションでない場合は、文字化けが発生する箇所は意外と多いかもしれませんね。 特に古い形式のデータソースファイルなんかだともっと回避するのが複雑になるかと。。 そんな時は、KNIMEのフォーラムで検索してみてくださ。 質問を投稿することで他のユーザーから回避方法に関するヒントが得られると思います。 例えば、以下のように、インドのベンガル語の表示が難しいとかね。 UTF-8 characters not rendering in table view https://forum.knime.com/t/utf-8-characters-not-rendering-in-table-view/13327 他に役立ちそうなリンク UTF-8（ユーティーエフエイト）とは？文字コードの仕組みを知れば文字化けでも慌てない -  https://ferret-plus.com/7006 Happy Data Analytics!

データ分析や回帰分析、機械学習、統計解析モデルにデータをインポートし計算処理させるなどなど、、あらゆる場面で取り扱われるデータですが、 そのデータがいわゆる「汚い」状態（messy data）だとそれらの分析結果の精度や品質もいいものとなりません。  生データって多くの欠損値（いわゆる 空）やNull、タイプミスなどが含まれている場合が多いです。これら、データの前処理を行い事前に綺麗に整えておく必要があります。 データ分析の精度・品質とデータ前処理の重要性 - データ前処理   私はお酒とコーヒーが好きなのですが、 これらの飲料に共通するもっとも重要な成分「水」ですよね（水がデータだとして）。 これが良くないと、最終的に美味しいものに仕上がらないのと少し似てませんか？ データの前処理をツールで行う いろんなツールやプログラミングを用いて、データを前処理で綺麗にする、もしくは複数のデータソースを組み合わせて解析に可能なデータを前処理で用意しておくなどの前処理が必要になる場合があります。 みなさんはどうしてますか？ 前のブログ記事 で紹介した 無料のツールKNIME だったり、ライセンス購入で使用可能な Tableau Prep 、 Alteryx なんかがデータの前処理をノンコーディングで実施できるので導入しやすいツールかなと思います。  Tableau Prepは、数値データの集計やグルーピングなどはできるものの、機能的にはかなり前処理用だけに特化したツールだと思います。それ単体で使い倒すというよりは、Tableau社のメインツールであるTableau Desktop用に使いやすいようにデータ前処理用を行うという感じだと思います。  KNIME、Alteryxあたりはデータ前処理から、さらに、データ分析を行うR、Pythonのスクリプトにデータを流していけるようなところまで出来ちゃうツールです。 データ成果物（アウトプット）は各種データベースにデータエクスポートしていけるなどマルチに活躍できるツールだと思います。 他に、、使ったことはないですが、よく耳にするツール DataRobot、Dataiku なんかは、もっとAIに特化したツールなんだと思います。  KNIMEでノード毎のデータプレビューを表示する - Nod...

Hello Data！  データアフロです！ 今日は無料データ分析ソフト KNIME（ナイム） Analytics Platform を私のMacOS Big Sur (version 11.6) インストールしてみます。 KNIME（ナイム） Analytics Platform インストール手順 KNIME（ナイム）Analytics Platformのインストール 「KNIME（ナイム）」インストール手順は数分で簡単に終了します。 インストーラーのUI言語は英語ですが、特に難しい内容は出てきません。 KNIME Analytics Platformインストーラーを公式サイトからダウンロード KNIME Analytics PlatformはWindows、Linux、MacOS用にインストーラーを配布しています（これなかなか凄い！）。データ分析のプロセスを自動化するツールで有名なAlteryxというツールがありますが現在はWindows版だけの配布となります。Tableau PrepというTableauが配布していたデータ前処理用のツールは無料公開版が既に無いので、、私みたいなMacOS使いにはKNIME Analytics Platformの存在は嬉しいです！ 以下、KNIME公式サイトの  https://www.knime.com/ の右上 ダウンロードアイコンからダウンロードページへ。 KNIMEの公式サイト https://www.knime.com/  KNIME Analytics Platformダウンロードページにてユーザー登録情報を入力 メールアドレスや居住国を入力。メールニュースやアップデートが欲しい場合は任意でチェックボックスをマークする。 メールアドレスなどの入力が求められる KNIME Analytics Platformインストーラーの選択 OS別（Windows、Linux、MacOS） 現在（2021年9月）の最新バージョンとして、KNIME Analytics Platform 4.4.1がインストールされます。 OS別にインストーラーを選ぶ KNIME Analytics Platformインストーラーのダウンロード・起動 あとはDownloadボタン...