isin() メソッドでビッグデータをフィルタリングする
「大量データを高速・簡潔にフィルタリングするための実務的な isin() の使い方」を、IN と NOT IN の両方向でわかりやすく説明しています。
- Pandas 11
- Function 10
- Python 4
- HTML 2
- Markdown 2
- css 2
- illustrator 2
- appearance_pannel 2
- design 2
- KHCoder 1
- wordcloud 1
- Github 1
- scss 1
- minimal_mistakes 1
- pandas 1
- dataframe 1
- Docker 1
- Jupyter Notebook 1
- Windows 1
- seaborn 1
- visualization 1
- SPSS Modeler 1
- XGBoost 1
- DataFrame 1
- ndarray 1
- list 1
- script 1
- WinPython 1
- openpyxl 1
- offline 1
Pandas
df_overview スクリプト
データ分析の最初のステップとして、データセットの全体像を短時間で把握するための必須スクリプト df_overview を紹介します。列名・ユニーク数・データ型・欠損数を一覧で確認でき、次に行うべき前処理や分析方針を判断しやすくなるように、初心者がつまずきやすいポイントも丁寧に解説しています。
データセットの結合 pd.concat 縦向き、横向き結合
Pandas の pd.concat を使ったデータフレームの縦結合・横結合をわかりやすく解説。 複数データの統合、行追加・列追加の基本を図解で理解できます。 データ分析で必須の concat の使い方を短時間でマスターしましょう。
異なる列間で値の一致、不一致を調べる
データフレーム内の異なる列同士の値が一致しているか、不一致かを判定する関数の作り方と適用方法を紹介します。行単位で比較し、新しい列に結果を付与する実務でよく使う処理を、最小限のコードでシンプルにまとめた Reference 記事です。
クロス集計表とヒートマップでデータセットを理解する
50列以上ある複雑なデータセットから「どの変数同士に関係がありそうか」を 見つけるための実践的なサーチ方法をまとめたリファレンスです。 Pandas のクロス集計表と Seaborn のヒートマップを使い、 度数分布の確認、クロス集計、正規化、可視化までを通して データの構造を素早く理解し“発見の糸口”をつかむ手...
カテゴリカルデータの個数、構成比率、トータル行を集計、整形する
カテゴリカルデータの個数・構成比率・Total 行を、最小限のコードで一度に集計できる実務向けスクリプトを紹介します。日常の Excel 作業を Python でサクッと再現したい人のために、見やすい表への整形までをシンプルにまとめた How To 記事です。
【Pandas】日付の新しい方を残す重複排除
日付の新しい（または古い）方を残して重複排除するための実務的な手順を、datetime の確認からソート、drop_duplicates まで3ステップでまとめた How To 記事です。最初に並び替えておくことが成功のポイントで、日常の集計で頻出する処理を Python で確実に再現できるように解説しています。
Jupyter NotebookでPandas 使う際の必須Coding集
Jupyter Notebook を新規作成するときに毎回読み込んでいる、定番の初期設定コードをまとめたリファレンスです。NumPy・Pandas・Matplotlib など、分析作業で必ず使うモジュールを一度に準備できるよう整理しています。
Excelファイルの読み書き
Pandas を使った Excel ファイルの読み書き方法をまとめた実務向けの解説です。データ分析では CSV が軽量で高速ですが、実務では Excel でデータを受け取り、Excel で結果を返すケースが依然として多くあります。Pandas を使って Excel と柔軟にやり取りするための基本と実用的な書き方を...
都道府県名と都道府県番号の相互変換
都道府県番号と都道府県名を相互に変換するための実用的なリファレンスです。jp_pref.prefecture モジュールを使うことで、自分で変換表を用意する手間なく、番号⇄名称の変換を簡潔に扱えます。データ処理や前処理で頻出する作業を効率化できます。
産業大分類番号と分類名変換
産業中分類番号から産業大分類番号へ変換するための自作関数をまとめたリファレンスです。標準の Python には変換表が用意されていないため、実務では自前で対応する必要があります。データ前処理で頻出する分類変換を、確実かつ再利用しやすい形で扱えるよう整理しています。
Function
isin() メソッドでビッグデータをフィルタリングする
「大量データを高速・簡潔にフィルタリングするための実務的な isin() の使い方」を、IN と NOT IN の両方向でわかりやすく説明しています。
df_overview スクリプト
データ分析の最初のステップとして、データセットの全体像を短時間で把握するための必須スクリプト df_overview を紹介します。列名・ユニーク数・データ型・欠損数を一覧で確認でき、次に行うべき前処理や分析方針を判断しやすくなるように、初心者がつまずきやすいポイントも丁寧に解説しています。
異なる列間で値の一致、不一致を調べる
データフレーム内の異なる列同士の値が一致しているか、不一致かを判定する関数の作り方と適用方法を紹介します。行単位で比較し、新しい列に結果を付与する実務でよく使う処理を、最小限のコードでシンプルにまとめた Reference 記事です。
クロス集計表とヒートマップでデータセットを理解する
50列以上ある複雑なデータセットから「どの変数同士に関係がありそうか」を 見つけるための実践的なサーチ方法をまとめたリファレンスです。 Pandas のクロス集計表と Seaborn のヒートマップを使い、 度数分布の確認、クロス集計、正規化、可視化までを通して データの構造を素早く理解し“発見の糸口”をつかむ手...
カテゴリカルデータの個数、構成比率、トータル行を集計、整形する
カテゴリカルデータの個数・構成比率・Total 行を、最小限のコードで一度に集計できる実務向けスクリプトを紹介します。日常の Excel 作業を Python でサクッと再現したい人のために、見やすい表への整形までをシンプルにまとめた How To 記事です。
【Pandas】日付の新しい方を残す重複排除
日付の新しい（または古い）方を残して重複排除するための実務的な手順を、datetime の確認からソート、drop_duplicates まで3ステップでまとめた How To 記事です。最初に並び替えておくことが成功のポイントで、日常の集計で頻出する処理を Python で確実に再現できるように解説しています。
Jupyter NotebookでPandas 使う際の必須Coding集
Jupyter Notebook を新規作成するときに毎回読み込んでいる、定番の初期設定コードをまとめたリファレンスです。NumPy・Pandas・Matplotlib など、分析作業で必ず使うモジュールを一度に準備できるよう整理しています。
Excelファイルの読み書き
Pandas を使った Excel ファイルの読み書き方法をまとめた実務向けの解説です。データ分析では CSV が軽量で高速ですが、実務では Excel でデータを受け取り、Excel で結果を返すケースが依然として多くあります。Pandas を使って Excel と柔軟にやり取りするための基本と実用的な書き方を...
都道府県名と都道府県番号の相互変換
都道府県番号と都道府県名を相互に変換するための実用的なリファレンスです。jp_pref.prefecture モジュールを使うことで、自分で変換表を用意する手間なく、番号⇄名称の変換を簡潔に扱えます。データ処理や前処理で頻出する作業を効率化できます。
産業大分類番号と分類名変換
産業中分類番号から産業大分類番号へ変換するための自作関数をまとめたリファレンスです。標準の Python には変換表が用意されていないため、実務では自前で対応する必要があります。データ前処理で頻出する分類変換を、確実かつ再利用しやすい形で扱えるよう整理しています。
Python
Python と SPSS® Modeler で XGBoost の特徴量選択を比較する
Python（Scikit-Learn）と SPSS Modeler の XGBoost を比較し、特徴量重要度がほぼ同じ結果になることを示しながら、実務で本当に重要なのはツールの違いではなく「どの特徴量を使うか」を決める前段階の判断であることを解説した記事です。地理的座標のようにドメイン知識で除外すべき特徴量を...
seaborn barplot の棒グラフに平均値のannotationをつける
seaborn の barplot に平均値のラベル（annotation）を追加する方法を、groupby から reset_index、描画、桁数指定まで実務的な手順でまとめた How To 記事です。Excel で行っていた棒グラフ作成を Python だけで完結させたい人向けに、コード例とポイントをわかり...
str.contain否定演算子”~”による「指定の文字列を含まない行」を抽出する
Pandas の str.contains と否定演算子 ~ を使って、「指定の文字列を含まない行」を抽出する方法をまとめた実務向けの How To です。データクレンジングで頻出する処理を、最小コードで確実に行うためのポイントと具体例を紹介しています。
Pandasデータフレームをsqlite3のSQL文で操作する
SQLite の SQL を Pandas 上で実行する方法をまとめた実務向けの解説です。誕生から半世紀近く経つ SQL は、今もデータ分析に欠かせない言語です。Pandas と組み合わせることで、従来の SQL 的な思考と Python ベースの分析を自然につなぐ“架け橋”として活用できます。
HTML
HTML/Markdown style sheet reference
当サイトで使用しているカスタム CSS（スタイルシート）のリファレンスです。見出し・表・リスト・注意書きなど、記事作成でよく使うクラス名とその効果を用途別にまとめています。デザインの統一性を保ちながら読みやすい記事を書くためのガイドとして活用できます。
Markdown Cheat Sheet
Minimal Mistakes が採用する kramdown を前提に、Markdown と HTML を組み合わせて使うためのチートシートです。Markdown の手軽さを保ちながら、HTML を完全に習得しなくても表現力豊かな記事を作れる実用的な記法をまとめています。
Markdown
HTML/Markdown style sheet reference
当サイトで使用しているカスタム CSS（スタイルシート）のリファレンスです。見出し・表・リスト・注意書きなど、記事作成でよく使うクラス名とその効果を用途別にまとめています。デザインの統一性を保ちながら読みやすい記事を書くためのガイドとして活用できます。
Markdown Cheat Sheet
Minimal Mistakes が採用する kramdown を前提に、Markdown と HTML を組み合わせて使うためのチートシートです。Markdown の手軽さを保ちながら、HTML を完全に習得しなくても表現力豊かな記事を作れる実用的な記法をまとめています。
css
HTML/Markdown style sheet reference
当サイトで使用しているカスタム CSS（スタイルシート）のリファレンスです。見出し・表・リスト・注意書きなど、記事作成でよく使うクラス名とその効果を用途別にまとめています。デザインの統一性を保ちながら読みやすい記事を書くためのガイドとして活用できます。
Markdown Cheat Sheet
Minimal Mistakes が採用する kramdown を前提に、Markdown と HTML を組み合わせて使うためのチートシートです。Markdown の手軽さを保ちながら、HTML を完全に習得しなくても表現力豊かな記事を作れる実用的な記法をまとめています。
illustrator
イラレのアピアランスパネルを理解する
Illustrator のアピアランスパネルの仕組みと使い方を、塗り・線・効果の重なりや見た目の変化を GIF 動画つきでわかりやすく解説したページです。オブジェクトの実体を変えずに見た目だけを編集できるアピアランスの特徴や、重なり順・グラフィックスタイル・分割など、デザイン効率を高める基本操作を体系的にまとめて...
アピアランスパネルで座布団を作成する
Illustrator でよく使う「座布団（背景パネル）」をアピアランスで作成し、グラフィックスタイルとして登録する方法をまとめた解説です。複雑になりがちなアピアランス操作を効率化し、見出しやアイコン背景を一瞬で再利用できる、イラレ実務者に欠かせないヒント＆チップスです。
appearance_pannel
イラレのアピアランスパネルを理解する
Illustrator のアピアランスパネルの仕組みと使い方を、塗り・線・効果の重なりや見た目の変化を GIF 動画つきでわかりやすく解説したページです。オブジェクトの実体を変えずに見た目だけを編集できるアピアランスの特徴や、重なり順・グラフィックスタイル・分割など、デザイン効率を高める基本操作を体系的にまとめて...
アピアランスパネルで座布団を作成する
Illustrator でよく使う「座布団（背景パネル）」をアピアランスで作成し、グラフィックスタイルとして登録する方法をまとめた解説です。複雑になりがちなアピアランス操作を効率化し、見出しやアイコン背景を一瞬で再利用できる、イラレ実務者に欠かせないヒント＆チップスです。
design
イラレのアピアランスパネルを理解する
Illustrator のアピアランスパネルの仕組みと使い方を、塗り・線・効果の重なりや見た目の変化を GIF 動画つきでわかりやすく解説したページです。オブジェクトの実体を変えずに見た目だけを編集できるアピアランスの特徴や、重なり順・グラフィックスタイル・分割など、デザイン効率を高める基本操作を体系的にまとめて...
アピアランスパネルで座布団を作成する
Illustrator でよく使う「座布団（背景パネル）」をアピアランスで作成し、グラフィックスタイルとして登録する方法をまとめた解説です。複雑になりがちなアピアランス操作を効率化し、見出しやアイコン背景を一瞬で再利用できる、イラレ実務者に欠かせないヒント＆チップスです。
KHCoder
KH Coder で複合語をコントロールしてWordCloudを作成する
日本語テキストを WordCloud で正しく可視化するために、MeCab が分割してしまう複合語を KH Coder で抽出し、Python で扱いやすく整える手順をまとめたページです。「資本主義」のように文脈で一語として扱いたい語を適切にカウントするためのヒント＆チップスを紹介し、より意味のある可視化につなげ...
wordcloud
KH Coder で複合語をコントロールしてWordCloudを作成する
日本語テキストを WordCloud で正しく可視化するために、MeCab が分割してしまう複合語を KH Coder で抽出し、Python で扱いやすく整える手順をまとめたページです。「資本主義」のように文脈で一語として扱いたい語を適切にカウントするためのヒント＆チップスを紹介し、より意味のある可視化につなげ...
Github
error：remote origin already exists. の解決方法
ローカルで作成した Git リポジトリをリモートへ push するまでの最小手順をまとめたメモです。ネット上にも多くの解説がありますが、実務で素早く作業したいときに、自分の環境に合わせた手順を確認できるよう整理しています。Git の基本操作を確実に行うための簡潔なリファレンスです。
scss
Minimal mistakes の文字の大きさ変更のためのscss
Minimal mistakes の文字の大きさ変更のためのscss
minimal_mistakes
Minimal mistakes の文字の大きさ変更のためのscss
Minimal mistakes の文字の大きさ変更のためのscss
pandas
str.contain否定演算子”~”による「指定の文字列を含まない行」を抽出する
Pandas の str.contains と否定演算子 ~ を使って、「指定の文字列を含まない行」を抽出する方法をまとめた実務向けの How To です。データクレンジングで頻出する処理を、最小コードで確実に行うためのポイントと具体例を紹介しています。
dataframe
str.contain否定演算子”~”による「指定の文字列を含まない行」を抽出する
Pandas の str.contains と否定演算子 ~ を使って、「指定の文字列を含まない行」を抽出する方法をまとめた実務向けの How To です。データクレンジングで頻出する処理を、最小コードで確実に行うためのポイントと具体例を紹介しています。
Docker
Docker for Windows でJupyter Notebook コンテナを起動させる
Docker 環境があると、ちょっとPythDon の勉強用の試しコード作成等や本来ならば個人のPCでやるべきようなことを仕事用などのPCを使う場合等、PCを汚したくない時にDocker環境の中にJupyter Notebook稼働環境を作ってPC環境から独立して使うことができます。
Jupyter Notebook
Docker for Windows でJupyter Notebook コンテナを起動させる
Docker 環境があると、ちょっとPythDon の勉強用の試しコード作成等や本来ならば個人のPCでやるべきようなことを仕事用などのPCを使う場合等、PCを汚したくない時にDocker環境の中にJupyter Notebook稼働環境を作ってPC環境から独立して使うことができます。
Windows
Docker for Windows でJupyter Notebook コンテナを起動させる
Docker 環境があると、ちょっとPythDon の勉強用の試しコード作成等や本来ならば個人のPCでやるべきようなことを仕事用などのPCを使う場合等、PCを汚したくない時にDocker環境の中にJupyter Notebook稼働環境を作ってPC環境から独立して使うことができます。
seaborn
seaborn barplot の棒グラフに平均値のannotationをつける
seaborn の barplot に平均値のラベル（annotation）を追加する方法を、groupby から reset_index、描画、桁数指定まで実務的な手順でまとめた How To 記事です。Excel で行っていた棒グラフ作成を Python だけで完結させたい人向けに、コード例とポイントをわかり...
visualization
seaborn barplot の棒グラフに平均値のannotationをつける
seaborn の barplot に平均値のラベル（annotation）を追加する方法を、groupby から reset_index、描画、桁数指定まで実務的な手順でまとめた How To 記事です。Excel で行っていた棒グラフ作成を Python だけで完結させたい人向けに、コード例とポイントをわかり...
SPSS Modeler
Python と SPSS® Modeler で XGBoost の特徴量選択を比較する
Python（Scikit-Learn）と SPSS Modeler の XGBoost を比較し、特徴量重要度がほぼ同じ結果になることを示しながら、実務で本当に重要なのはツールの違いではなく「どの特徴量を使うか」を決める前段階の判断であることを解説した記事です。地理的座標のようにドメイン知識で除外すべき特徴量を...
XGBoost
Python と SPSS® Modeler で XGBoost の特徴量選択を比較する
Python（Scikit-Learn）と SPSS Modeler の XGBoost を比較し、特徴量重要度がほぼ同じ結果になることを示しながら、実務で本当に重要なのはツールの違いではなく「どの特徴量を使うか」を決める前段階の判断であることを解説した記事です。地理的座標のようにドメイン知識で除外すべき特徴量を...
DataFrame
DataFrame, ndarray, list の使い分けについて実用的に考える
データ分析でよく使う DataFrame・ndarray・list の違いと使い分けを、実務目線でわかりやすく整理した How To 記事です。2次元データを扱う際に、それぞれの形式がどんな場面で適しているのかを比較し、用途に応じて変換できるようになることを目的に解説しています。
ndarray
DataFrame, ndarray, list の使い分けについて実用的に考える
データ分析でよく使う DataFrame・ndarray・list の違いと使い分けを、実務目線でわかりやすく整理した How To 記事です。2次元データを扱う際に、それぞれの形式がどんな場面で適しているのかを比較し、用途に応じて変換できるようになることを目的に解説しています。
list
DataFrame, ndarray, list の使い分けについて実用的に考える
データ分析でよく使う DataFrame・ndarray・list の違いと使い分けを、実務目線でわかりやすく整理した How To 記事です。2次元データを扱う際に、それぞれの形式がどんな場面で適しているのかを比較し、用途に応じて変換できるようになることを目的に解説しています。
script
データセットの結合 pd.concat 縦向き、横向き結合
Pandas の pd.concat を使ったデータフレームの縦結合・横結合をわかりやすく解説。 複数データの統合、行追加・列追加の基本を図解で理解できます。 データ分析で必須の concat の使い方を短時間でマスターしましょう。
WinPython
WinPython でオフライン環境でPythonを使う
機密性の高いデータ分析で求められるオフライン環境に最適な WinPython の導入方法をまとめたページです。ネット接続なしでは追加が難しいモジュールを、Control Panel を使ってインストールする手順を GIF つきでわかりやすく解説し、実務で安心して Python を使える環境づくりをサポートします。
openpyxl
WinPython でオフライン環境でPythonを使う
機密性の高いデータ分析で求められるオフライン環境に最適な WinPython の導入方法をまとめたページです。ネット接続なしでは追加が難しいモジュールを、Control Panel を使ってインストールする手順を GIF つきでわかりやすく解説し、実務で安心して Python を使える環境づくりをサポートします。
offline
WinPython でオフライン環境でPythonを使う
機密性の高いデータ分析で求められるオフライン環境に最適な WinPython の導入方法をまとめたページです。ネット接続なしでは追加が難しいモジュールを、Control Panel を使ってインストールする手順を GIF つきでわかりやすく解説し、実務で安心して Python を使える環境づくりをサポートします。