KNIME - CSV Readerのエンコード設定を調整してCSVファイル内の日本語の文字化けを回避する

こんにちは！ Data Afroです！


2021年も10月ですね。10月1日は国際コーヒーの日であり、また日本酒の日だそうです。

KNIME内でエンコードを変更し文字化けした内容を正しく表示する。


KNIMEで日本語が文字化け

KNIMEで日本語の内容を含んだCSVをインポートしたときに列名やセル内の内容が文字化け（英語だとgarbled characterという）してしまうことがありました。

確認していたCSVファイルは、日経クロステックさんのKNIMEの使い方に関する特集記事に掲載されていた「味覚センサー.csv」です。

MAC OSだと初期設定でこんな感じでした


日本語のWindows 10なんかだと、SHIFT-JISがdefaultだと思うのでこのCSVファイルは問題なく読めると思います。私のMac OSは英語のOSなんですが、OS defaultでUTF-8。



この場合は、
CSV Readerノードの設定からエンコードを指定してあげることで回避できました。

CSV Reader > Encoding にてSHIFT-JISを設定


漢字やハングル文字などダブルバイト文字（マルチバイト文字）を含んだデータ内容の取り扱いって文字化けが起こることがありますよ。KNIMEなど、日本国内で開発されたアプリケーションでない場合は、文字化けが発生する箇所は意外と多いかもしれませんね。

特に古い形式のデータソースファイルなんかだともっと回避するのが複雑になるかと。。


そんな時は、KNIMEのフォーラムで検索してみてくださ。

質問を投稿することで他のユーザーから回避方法に関するヒントが得られると思います。
例えば、以下のように、インドのベンガル語の表示が難しいとかね。

UTF-8 characters not rendering in table view

https://forum.knime.com/t/utf-8-characters-not-rendering-in-table-view/13327



他に役立ちそうなリンク

  • UTF-8（ユーティーエフエイト）とは？文字コードの仕組みを知れば文字化けでも慌てない - https://ferret-plus.com/7006



Happy Data Analytics!

このブログの人気の投稿

KNIME - 複数ファイルの読み込み（ワイルドカード ユニオン）について

イメージ
こんにちは 今回はKNIME（ナイム）を使って複数のファイルの読み込んでユニオンでファイルを結合する方法にトライしてみます。 KNIME（ナイム）とは無料のデータ解析アプリケーション です。WINとMACの両方のOSで動作します、データ準備などデータ可視化にの前に必要なデータ準備などの操作をサクッとこなせる万能ツールです。 詳しくはこちらもどうぞ。 KNIME - 複数ファイルの読み込み（ワイルドカード ユニオン）について KNIME（ナイム）を使って複数のCSVファイルを読み込む KNIMEで複数のファイルを全部読み込む際にはループ処理を回してファイルが保存されている場所（path）から読み込んであげる必要があります。 今回の例では、2015年から2018年までの「ORDERS_USCA」という各年度の売り上げに関する4つのCSVデータファイルを一度に読み込んでみます。 「スーパーストアテスト」というフォルダ内に幾つかのCSVファイルがありますが、今回は「ORDERS_USCA_****.csv」のファイルの4つのみを取得する。 赤枠の4つだけ取得したい 最初はList Fileノードを使用し、ファイルのあるフォルダからワイルドカードで該当の4つのpathを取得できるように指定する。（ネットで調べると他のユーザーはURLという項目も取得できているようですが私の場合はpathのみ表示されてました） ワイルドカードで * （スター）で指定 次に、Table Row TO Variable Loop Statusノードを配置 します。こちらは設定はそのままでOK。 includeでpathだけでOK その後は、FIle Readerノードを置いて、ここでは適当に一つのファイル（読み込もうとしているCSVでOK）を選択します。これはプレースホルダーのような役割かと。 一つのファイルを読み込んでおく 最後にLoop Endノードを置いて終了です。 ループエンドの指定は上記 取得できた件数を確認する。 21列の9994件のデータとして取得ができました。 最終的な出力はこちら 今回の複数ファイルを読み込む方法に関するフォーラムのディスカッションや、how-toページは多く見つかります。その中のサンプルを真似ていくつかやってみて手順を理解することができました。私が参考にしたリンク...
Read more »

データサイエンス100本ノックをKNIME（ナイム）でやってみる

イメージ
「 データサイエンス100本ノック構造化データ加工編ガイドブック 」というデータ解析の書籍をお読みになった方はすでにピンときているかもしれませんが、こちらに関して、 GitHub上 に一般社団法人データサイエンティスト協会さんが無償でデータを配布してくれています。    こちら、SQL、Python、Rを使用して100問の演習問題に取り組んでいき、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理などの、基礎的なデータハンドリングの修行を行なってもらうために用意されたコンテンツのようです。 こちらで配布されているデータを使用、 データ加工・データ準備の演習問題を オープンソースデータ加工ツール KNIME で実際にやってみようと思います。すべてを実施することができるかは現段階では不明ですがまずはTRY！ということで。 GitHubからコンテンツのダウンロード データサイエンティスト協会さんの GitHub よりZIPファイルをダウンロードすると、以下のようにコンテンツを展開することができる。docker > work > data 内に複数のデータがCSV形式で置かれています。   データサイエンス100本ノック（構造化データ加工編）- データ その他、Dockerを使用した演習の開始方法や問題集（ こちらのPDF ）などが docker > work > doc のPDFにありますので目を通してみてください。配布データに関するER図もあります。   データサイエンス100本ノック（構造化データ加工編） - ER図  さて、次回からは実際にデータ加工をやっていくことにします。
Read more »