pd.concat の引数axisとignore_index

下図を参照してください。

リスト形式で連結対象データフレームを指定する

concat 関数には連結したいデータフレームをリスト形式で渡します。　図のように、df1, df2, df3 の3つのデータフレームを一つに連結したいのであれば [df1, df2, df3] とします。　pd.concat では一度に複数のデータフレームの結合が可能です。

axis で連結方向：縦横が指定可能

axisは連結方向を示します。デフォルトのaxis=0は縦方向、axis=1は横方向の連結です。

縦方向の連結では、列の内容が同じで行（データを追加したい等）のケースでとても便利です。いわゆる行を増やす縦持ちデータ追加です。　

一方、社員や製品の属性情報を追加する等の行ではなく、列を追加する場合は横方向にデータが追加します。　 縦方向でも横方向でも結合できるのがconcat関数の大きな特徴です。

ignore_index 連結されたインデックスをそのままか、振り直すかを指定する

ignoreindexにはインデックスを振り直すか、そのまま他を指定します。falseを指定すると、そのままです。trueを指定すると、インデックスを振り直します。デフォルトはfalseでそのままです。

axis=0 （デフォルト）で縦向きに連結する

連結するデータフレーム(df1,df2,df3)です。３つのデータフレームの列は同一です。

連結結果です。ignore_indexの設定でインデックス番号がそのままだったり、振り直されたりしています。

このように、pd.concat のaxis=0 縦向き連結はデータの追加に適しています。

axis=1 横向き連結

df4を作りたいと思います。df3.set_index(「名前」)で名前列をインデックスにします。 df4です。「名前」がインデックスになっていることがわかります。

新しいデータフレームを作成します。df5とします。 df5は名前と役職を持つデータフレームとします。そしてこのデータフレームのインデックスも「名前」に設定します。

join=”outer”は外部結合 、join=”inner”は内部結合

この名前の列を軸（キー）に df4とdf5の２つのデータフレームを横方向に結合してみます。axis=1 を指定します。 今度は引数joinを指定してすることで連結のスタイルを指定します。join="outer" は外部結合です。 joinを指定しなかった時と同じ結果になります。

join="inner"は内部結合です。お互いに存在するデータのみが結合されます。 outerjoinとinnerjoinの違いは覚えておきたいところです。縦方向でも横方向でも結合できるのがconcat関数の特徴です。

まとめ

• pd.concat は複数の DataFrame を一度に結合できる便利な関数
• axis=0（縦結合） は行の追加に最適で、データ拡張に向いている
• axis=1（横結合） は列の追加に使い、属性情報の付与に便利
• ignore_index でインデックスを保持するか振り直すかを選べる
• join=”outer” / “inner” により、横結合時のデータの残し方を制御できる
• 縦横どちらの結合にも対応できる柔軟性が concat の最大の特徴

参照：pd.concat

二つ以上のデータフレームを結合し、データをクリーニングする際、よく必要となるデータフレーム内の異なる列間で値の一致、不一致を調べる関数を紹介します。 一致のみならず、大小比較も等式を変更するだ、応用の範囲の広い関数例です。

問題の所在

実務では、同じ社員が提出したはずの報告データなのに、集計後に「列Aと列Bで値が違う」「本来同じはずの情報がズレている」といったケースがよく発生します。 たとえば、部署名の表記ゆれ、日付の入力ミス、マスタ更新漏れなど、原因はさまざまですが、人が入力したデータが複数の列にまたがると、どこかで不一致が生まれるのは珍しくありません。

こうした “同じはずなのに違う” 行を素早く見つけることは、データクレンジングや報告書の整合性チェックにおいて非常に重要です。

この記事では、Pandas を使って 行単位で複数列の一致・不一致を判定し、新しい列として付与するシンプルな関数の作り方 を紹介します。 最小限のコードで、実務で頻出する「整合性チェック」を効率化できます。

関数を定義する

if row['記録 列A'] == row['報告 列B']: の等式==　で一致であれば、1を返し、不一致の場合は9を返すようにしています。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
def func_row_check(row):
    """
    列間を比較する

    引数:
        row['col1']: 比較したい列名 col1
        row['col2']: 比較したいもう一つの列名 col2

    Returns:
        1 : 一致
        9 : 不一致
    """
    if row['記録 列A'] == row['報告 列B']:
        return 1
    else:
        return 9

上図はコメントを入れた関数になっています。実際に必要なコードはLine #1,13,14,15,16 だけで十分です。簡単ですね。

関数を適用する

関数を適用した結果は、列名「結果」という新しい列に内容を追加します。

df['結果'] = df.apply(func_row_check, axis=1)

データフレームで内容を確認

サンプルコード（練習用データ付き）

サンプルコードでは、データフレームの作成から、関数の定義と適用、結果の確認までを紹介していますので、お手元の Python 環境(Jupyrt Notebook 等)でお確かめくださいませ。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# 必要なモジュールをインポートします
import numpy as np
import pandas as pd
# 演習用のデータフレームを作成します。
df = pd.DataFrame({ '社員番号': ['01285679', '01340788', '02123782', '03541976', '04297411', '13299899', '30144450', '47339981'],
                   '記録 列A':   [4,3,2,1,4,2,3,8],
                   '報告 列B': [4,3,2,2,4,0,3,8]},
                    index=[0, 1, 2, 3, 4, 5, 6,7])
# オリジナルのデータフレームを表示
display(df)
# 関数を定義
def func_row_check(row):
    """
    列間を比較する

    引数:
        row['col1']: 比較したい列名 col1
        row['col2']: 比較したいもう一つの列名 col2

    Returns:
        1 : 一致
        9 : 不一致
    """
    if row['記録 列A'] == row['報告 列B']:
        return 1
    else:
        return 9
# 関数を適用
df['結果'] = df.apply(func_row_check, axis=1)
# 結果のデータフレームを表示
display(df)

実務のデータ分析では、50列以上ある複雑なデータセットの中から 「どの変数同士に関係がありそうか？」を素早く見つけることが重要です。 しかし、いきなり相関係数や機械学習に進むと、前処理や前提条件に左右され、 本質的な“気づき”を得にくいことがあります。

このページでは、Pandas の クロス集計表（crosstab） と Seaborn の ヒートマップ を使って、 大量のカテゴリ・数値データの中から「関係のありそうな組み合わせ」を 効率よく探索するための実践的アプローチをまとめています。 年齢 × 収入のような一例にとどまらず、 データセット全体の構造を理解し、分析の糸口をつかむための “発見のためのサーチ方法” を体系的に学べます。

① クロス集計表とヒートマップ

• クロス集計表とは、２つのカテゴリーに属するデータを各々のカテゴリーで分類して、それぞれのカテゴリーに交わるセルにその度数（サンプル数、頻度）を集計した表のことです。

• クロス集計表では度数は数字で表していますが、その数字の大小を色の濃淡で視覚的に表現するヒートマップの形にすると今まで見えていなかったものが見えたりします。

• クロス集計表のサンプルとして、今回使うKaggle_HR_attritionのうち、男女(Gender)の列と仕事満足度(JobSatisfaction)の列の２軸でクロス集計してみました。

Pandasを使えば、簡単にクロス集計表やヒートマップを作成、描画が可能です。ここではKaggle のHRデータの年齢とMonthly Salary のデータでクロス集計表とヒートマップの作成をご紹介したいと思います。

② 度数分布グラフを作成する

クロス集計する二つのカテゴリーとして”Age”と”MonthlyIncome”で集計したいと思います。集計にあたり、”Age” と”MonthlyIncome” 各々の度数分布を棒グラフで確認します。

seabornを使えば、簡単にきれいな度数分布グラフを作成することができます。 カラーパレットpalette='hls' で各棒(bar)に色をつけてメリハリをつけてみました。

1
2
3
4
# カレントディレクトリからKaggleデータ data.csv を読み込みます
df = pd.read_csv('/data.csv', delimiter =",", header=0)
# 年齢別の度数分布を作成します
sns.countplot(x='Age', data=df, palette='hls')

”MonthlyIncome”は１ドル単位までデータとしてあります。これでは、度数分布としては細か過ぎますので、roundメソッド.round(-3) として1,000ドル単位のレンジにして、新しい列名”MonthlyRate”を作成します。

1
2
3
4
# 1,000ドル単位に下3桁で切り捨てて、それを列名'MonthlyRateに格納します
df['MonthlyRate'] = df['MonthlyIncome'].round(-3)
# MonthlyRateの度数分布を作成します
sns.countplot(x='MonthlyRate', data=df, palette='hls')

③ クロス集計表を作成する

集計する２つの列の値が整数やカテゴリカルデータであれば、クロス集計表はとても簡単に作成できます。 18歳から60歳までのそれぞれの年齢ごとの、月額給与が1,000ドル以上から20,000ドル以上までのクロス集計表を作成します。 この集計表の表のサイズは、43 x 20 になります。 Pandas では、以下のように指定します。

1
2
ct = pd.crosstab(df['Age'], df['MonthlyRate'])
ct

結果は、以下のようになります。

④ ヒートマップで大小を可視化する

それぞれのセルの大小関係を可視化するため、ヒートマップで色の濃淡で大小関係を見るとことにします。ヒートマップは今回のように表のサイズが大きい場合に特に有効な方法といえます。

1
2
3
4
5
6
7
8
9
# figsizeを変更するモジュール rcParsmsを読み込みます
from pylab import rcParams
# figsize を24 x 13インチにします
rcParams['figure.figsize'] = 24,13
# クロス集計表のデータフレーム ct のヒートマップを作成します。
# 色だけでなく、度数も表示するため、annot = True を指定します
sns.heatmap(ct, annot=True, cmap='BuGn')
# カレントディレクトリにヒートマップ図をimg_hr.pngとして保存します
plt.savefig("img_hr.png")

⑤ 列ごとまたは行ごとに正規化して比率で比較する

normalize = 'columns' とすると、列ごとに0～1までに正規化(normalize)します。また、小数点以下2桁でパーセント表示したい場合は、ct2.style.format("{:.2%}") とします。　ここでは、婚姻状況(MaritalStatus)と退職状況(Attrition)で見てみたいと思います。　まずは、列ごとに正規化します。

1
2
ct = pd.crosstab(df['MaritalStatus'], df['Attrition'], normalize = 'columns')
ct.style.format("{:.2%}")

行単位で正規化したい場合は、normalize = 'index'とすればいいだけです。

ct = pd.crosstab(df['MaritalStatus'], df['Attrition'], normalize = 'index')
ct.style.format("{:.2%}")

この記事の目的

データ分析をするデータセットはそのほとんどは、n行 ｘ ｍ列の２次元のデータです。２次元のデータを扱うためのデータ形式には、Pandas のデータフレーム、Numpyのndarray、Python標準の list が一般的です。それぞれの形式をその用途に合わせて相互変換します。

このブログでは、２次元のデータに絞って、データ分析の観点から使い方に合わせて変換できることを目標にしています。

DataFrame <-> ndarray <-> list 間の相互変換

Python では次の3つの形式をよく使います：

• list（リスト）
• ndarray（NumPy 配列）
• DataFrame（Pandas の表形式データ）

これらは用途が違うため、必要に応じて相互に変換して使います。

1. list → ndarray（NumPy 配列）

Python の list を NumPy の ndarray に変換します。

1
2
3
4
import numpy as np

my_list = [1, 2, 3]
my_array = np.array(my_list)

2. ndarray → list

NumPy 配列を Python の list に戻します。

1
my_list = my_array.tolist()

3. ndarray → DataFrame（Pandas）

NumPy 配列を Pandas の DataFrame に変換します。

1
2
3
import pandas as pd

my_df = pd.DataFrame(my_array)

4. DataFrame → ndarray

DataFrame から ndarray に変換します。

1
my_array = my_df.values

※ .values は ndarray を返します
（Pandas 1.0以降は .to_numpy() を使うことも推奨されています）

1
my_array = my_df.to_numpy()

DataFrame <-> ndarray <-> list 相互変換イメージ

変換一覧　

Pandas が用意する二次元データセット｜DataFrame：データフレーム

Pandasは、Pythonでのデータ分析ライブラリとして最も活⽤されているライブラリです。

PandasはNumpyを、Numpyを基盤に、シリーズ（Series、１次元データ）とデータフレーム（DataFrame、二次元データ）という二つのデータ型を提供します。

特に、データフレームは使いやすく、豊富な機能(メソッド)が用意され、データ分析のための必須のデータセットを扱う二次元データです。

数値計算に特化したNumPy ndarray

NumPy（ナンパイ）は、数値計算を効率よく行うためのPythonのライブラリです。 Pythonには標準で「リスト型」がありますが(後述します)、大量の数値データを扱うときは処理が遅くなったり、複雑になったりします。そこで役に立つのが NumPy です。

NumPy を使うとできること

(1) 多次元配列（行列など）を高速に扱える
(2) 標準偏差・分散などの統計量を簡単に計算できる
(3) 科学技術計算や、機械学習・ディープラーニングでもよく使われる

NumPy の ndarray（エヌディーアレイ）とは？

NumPyには ndarray（エヌディーアレイ） という、数値データのための特別な配列型があります。

(1) 見た目はPythonのリストに似ている
(2) しかし、ベクトル計算のように、要素をまとめて高速に計算できる

（例：配列に +1 すると、全ての要素に一気に1が足される）

ndarray と list の計算の違い

Pandas, Numpyとも「統計量」を算出するメソッドは多数提供されています。Pandas の方が使いやすく、見やすいという意見も多いです。

Python にもともと用意されている配列：list（リスト）

Python には list（リスト） という、複数の値をひとまとめにして扱える便利なデータ形式があります。

(1) 1つの変数の中に、いくつものデータを入れられる
例：[1, 2, 3] や [“apple”, “banana”]
(2) Python では、入力や出力でよく使われる基本的なデータ形式

そのため「とりあえず配列を使いたい」というときは、まず list を使うことが多いです。

まとめ

🧩 この記事の結論 🧩

データ分析では、どのアルゴリズムを使うかよりも、 「どの特徴量を使うか」 を決める前段階の判断が結果を大きく左右します。

今回、Python（Scikit-Learn）と SPSS Modeler の XGBoost を比較したところ、 両者はほぼ同じ特徴量重要度を返しました。 つまり、ツールの違いによる差は小さく、本当に重要なのは ドメイン知識による次元削減 です。特に今回の住宅価格データでは、 地理的座標（緯度・経度）はドメイン知識により除外されるべき特徴量であり、 これを含めるかどうかでモデルの解釈が大きく変わります。 この記事では、「ツールの違いよりも、前段階の判断が本質である」 という点を実例を通して示します。

● 前提PC環境

この記事で扱うPC環境は以下のとおりです。

使うデータはカリフォルニア住宅価格です。Scikit-Learnの標準データセットです。

20640 rows × 9 columns　のサイズです。各々のカラムの意味は以下のとおりです。

• F0: (MedInc)median income in block- 収入の中央値
• F1: (HouseAge)median house age in block- 築年数の中央値
• F2: (AveRooms)average number of rooms- 平均部屋数
• F3: (AveBedrms)average number of bedrooms-平均ベッドルーム数
• F4: (Population)block population- 人口
• F5: (AveOccup)average house occupancy- 平均住宅占有率
• F6: (Latitude)house block latitude- 家屋の緯度
• F7: (Longitude)house block longitude- ハウスブロックの経度

目的変数はカリフォルニア地区の住宅価格で単位は10万ドルです。データセット自体は1990年の米国国勢調査(U.S. census) のもので、一行に国勢調査で使われるブロックグループ単位で集計されています。ブロックグループは米国国勢調査において、最小の地理的な単位です。概ね、600～3,000人を一つのグループにしています。　

世帯（household) は一つの住宅に居住する人数です。平均部屋数、ベッドルーム数はこの統計が世帯当たりで計算していますが、しばしばブロックグループ単位で計算すると「数世帯」と「多くの空き家」があるようなリゾート地では現実離れした大きな数字になる場合があります。それら大きな数字は外れ値としての処理が必要です。

外れ値の求め方には色々な方法があります。代表的な方法は以下の二つです。　いずれも、SPSS Modeler でサポートされています。

1. 平均から標準偏差のn倍(例：3倍）を範囲外とする
2. 全体のnパーセンタイル（例：0.99)を超えるものを範囲外とする

ここでは、方法2の 99パーセンタイルで平準化した場合の分布イメージを載せます。

🧠 ドメイン知識による次元削減

特徴量の抽出で重要なタスクはドメイン知識を持つ、データセット由来の業界知識・専門知識を持ついわゆる専門家からデータセットのカラムのうち、特徴量（説明変数）としては 適切で無いものを除外する事です。今回の不動産価格においてはその地理的座標は不要とのことなので、ブロックの地理的座標軸（経度:F6、緯度:F7）は除きます。

🧪 ドメイン知識で除かれる経度:F6、緯度:F7のデータの影響を可視化

経度:F6、緯度:F7を除く前のXGBoostによるFeature Imporanceの計算をPythonで行ない、経度:F6、緯度:F7の影響を見ておく事とします。 Code は以下の通りです。　とても簡単なコードですね。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from sklearn.datasets import fetch_california_housing
import pandas as pd
import seaborn as sns
import xgboost as xgb
import matplotlib.pyplot as plt 
from pylab import rcParams
%matplotlib inline
rcParams['figure.figsize'] = 9,6

housing_array = fetch_california_housing()
x = housing_array.data
y = housing_array.target

xgb_model = xgb.XGBRegressor()
xgb_model.fit(x,y)

特徴量を可視化します。左の図のとおり、経度:F6、緯度:F7は計算上は、住宅価格の決定要因としては、収入に次ぐ要因となっています。 それらを除外して再計算した結果を右側に並べて見るとその影響がよく分かります。

🚀 Python (Scikit-Learn) vs SPSS® Modeler 特徴量計算を比較する

次に同じデータセットでSPSS® Modeler を使って計算します。　左がPythonで右がSPSS® Modeler での計算結果です。 計算結果に少しだけ、差異があります。 Python では：

• F0: (MedInc)median income in block-収入の中央値
• F5: (AveOccup)average number of household members-平均世帯人数
• F2: (AveRooms)average number of rooms-平均部屋数

と平均住宅占有率が２番目に大きな影響力があるとい結果でしたが

SPSS® Modeler では：

• F0: (MedInc)median income in block-収入の中央値
• F2: (AveRooms)average number of rooms-平均部屋数
• F5: (AveOccup)average number of household members-平均世帯人数

とPython では3番目の平均部屋数が２番目という結果でしたが、それ以外は同じ順位でした。

＊SPSS® Modelerでは、Feature をF1から始めて作図されます。本ブログではPythonとの比較のため、Python と同じようにF0からに変更しています。

🎯 SPSS® Modeler ストリームと設定

SPSS® Modeler 上でのストリームと設定の概要は以下のとおりです。

① ストリーム画面

② データ型ノードの設定

③ XGBoost Tree Pythonノードの作成オプション

🎯 このページの目的

アピアランスパネルは、Illustrator の中でも特に「デザインの自由度」と「修正のしやすさ」を両立させるための重要な機能です。

「塗り」・「線」・「効果」を重ねて見た目だけを変えられるため、同じオブジェクトから複数のバリエーションを作ったり、後から簡単に調整したりできます。

この記事では、アピアランスの仕組みと活用方法を整理し、文字装飾や図形デザインを効率的に行うための基本をまとめます。

🌱 アピアランスパネルとは見た目を変えるためのパネル

• アピアランスパネルは、ウインドウ→アピアランスで出現します。
• 通常、一つのオブジェクトに対して「塗り」と　「線」の設定をひとつずつ行うことができます。
• アピアランスパネルを使うと、この一対の塗りと線の設定を複数設定し編集することができます。
• アピアランスとは英語で外見とか見た目と訳されます。　すなわち、オブジェクトの実体（内面）は同じままで、見た目を変えるためのパネルということです。
• イラストレーターでのアピアランスは 、「塗り」「線」,「効果」,「不透明度」の4つの属性から構成されています。
• アピアランスパネルでは４つすべての属性を操作できます。

以下の図では、

この図では、３層のアピアランスの構造になっています。上からパス、「線」,「塗」 りの順に重なっています。

最も一般的なパス、線、塗に対するアピアランスについて研究します。

🧩 見た目が違うだけで、図形は元のままだから修正に強い

• アピアランスでは「塗り」「線」「効果」を複数重ねることができます。
• 特に効果は、オブジェクトの形そのものを変えずに“見た目だけ”を変えられるのが特徴です。

下の動画では、「パス」・「線」・「塗り」のそれぞれにジグザグ効果をかけ、 元はただの円が「ばくだん」のような形に見えるようになっています。

• 同じジグザグでも 「パスにかけるのか」「線にかけるのか」「塗りにかけるのか」で 見た目がまったく変わるということです。
• そして、それらが重なって最終的な見た目が作られます。
• 見た目がどれだけ複雑になっても、実体は元の円のままです。「表示 → アウトライン」で確認すると一目瞭然です。

• この“実体はそのまま・見た目だけ変える”という仕組みこそ、アピアランスが修正に強く、流用しやすいデザインを作れる理由です。

  「パス」、「線」、「塗り」、それぞれのジグザグの「あて方」で効果が　「パス」、「線」、「塗り」のそれぞれにあたる、そしてそれらが合わさるとはどういうことか、この例で理解できると思います。

• 見た目が複雑になっても、オブジェクトは元の図形のままです。
• 試しに 「表示」メニューで 「アウトライン」をすれば一目瞭然です。
• このことが、アピアランスパネルの活用は修正に強く、流用しやすいパーツ作成のための必須ツールと言われる理由です。

🧩 アピアランスの当たり方はそれぞれの重なり順で決まります

• 「新規線の追加」は、元の 「線」に対してアピアランスをもう一つ重ねる操作です。
• 動画の例では、新規線を追加すると、黄色・2pt の線アピアランスが複製され、同じ線が 2 枚重なった状態になります。
• 複製された線は一番上に追加されます。
• この状態で、下側の線の色を黄色から青に変えても、上にある黄色の線が覆いかぶさっているため、青色は見えません。
• 試しに、上側の黄色の線の太さを 「2pt → 1pt」 に細くすると、覆いかぶさる部分が減り、下の青い線が半分だけ見えてきます。

Notice: このように、アピアランスの見え方は 「どのアピアランスが上にあるか」＝重なり順 で決まります。 同じ種類のアピアランスを複数持っていても、順序が変わるだけで見た目は大きく変わります。

🧩 グラフィックスタイルに登録すれば、アピアランスを別のオブジェクトに簡単に反映できます

• アピアランスを別のオブジェクトにも使いたい場合は、「ウィンドウ」→「グラフィックスタイル」を開きます。
• アピアランスパネルで作成したスタイルを、そのままグラフィックスタイルパネルへドラッグすると登録できます。
• こうして登録しておけば、別の図形を選択してグラフィックスタイルをクリックするだけで、同じアピアランスを一瞬で適用できます。

毎回アピアランスを一から設定する必要がなくなり、デザインの統一やバリエーション作成がとても効率的になります。

🍎 アピアランスの分割でオブジェクトの中身にも反映させます

1. 「オブジェクト」メニューから 「アピアランスを分割」を選択します。
2. すると、「アウトライン」で見るとこれまで、見た目だけのアピアランスが実際の図形として認識されています。
3. ダイレクト選択ツールなどでこのオブジェクトを部分的に編集が可能になります。

• アピアランスを分割すると、これまで“見た目だけ”だった効果や線・塗りが、実際のパスとして確定します。
• そのため、ダイレクト選択ツールなどで細かく形を編集できるようになりますが、同時にアピアランスとしての情報は失われます。
• つまり、分割前のように「線の太さを変える」「効果の数値を調整する」といったアピアランス編集はできなくなります。
• 分割は“最終的な形を確定させたいとき”に使う操作であり、後から柔軟に調整したい場合は分割しない方が良い、という点がポイントです。

🧩 データを俯瞰する作業は分析の最初の重要なステップ

データ分析を始めたばかりのとき、最もつまずきやすいのが 「データの全体像がつかめない」 という問題です。 列が多かったり、欠損があったり、文字列と数値が混ざっていたりすると、どこから手をつければよいのか迷ってしまいます。

そこで役立つのが、このページで紹介する df_overview スクリプトです。 列名・データ型・ユニーク数・欠損数などを一覧で確認できるため、データセットの特徴を短時間で把握し、次に行うべき前処理や分析の方向性を決める助けになります。

初心者にとって、こうした 「データを俯瞰する作業」は、分析の最初の重要なステップです。

🧩 スクリプトの内容

1
2
3
4
5
6
7
8
9
10
# 必要なモジュールをインポート
import numpy as np
import pandas as pd

# DataFrame 要約　列番号、列名、ユニーク変数数、データタイプ、NaN の個数
pd.options.display.max_rows = 220
## Check for unique values of categorical variables
df_overview = pd.DataFrame([[i, len(df[i].unique()), df[i].dtypes, df[i].isnull().sum()] for i in df.columns], 
                          columns=['Feature', 'Unique Values', 'dtypes', 'NaN'])
df_overview

🧩 結果

🧩「ユニーク数を見ると何がわかるのか」

ユニーク数（その列に含まれる異なる値の数）を見ることで、列の性質がつかめます。 例えば、ユニーク数が少なければカテゴリ変数の可能性が高く、逆に非常に多ければIDのような識別子かもしれません。
この情報は、どの列を分析に使えるか、どの列を前処理すべきかを判断する助けになります。

🧩「欠損値が多い列はどう扱うのか」

欠損値（NaN）が多い列は、分析の精度に影響するため注意が必要です。 欠損が多い列は、

(1) 削除する
(2) 平均値・中央値・最頻値で補完する
(3) モデルを使って補完する
(4) そもそも使わない列として除外する

などの判断が必要になります。まずは 「どの列にどれくらい欠損があるのか」 を把握することが、前処理の第一歩です。

🧩「データ型を確認する理由」

データ型（int, float, object など）を確認することで、その列がどのように扱われるべきかがわかります。 例えば、数字に見えるのに object 型になっている場合、文字列として扱われてしまい、計算や集計が正しくできません。 データ型の確認は、後の分析でエラーを防ぐための重要なチェックポイントです。

🧩「このスクリプトを使うと、どんな分析準備が楽になるのか」

df_overview を使うと、列名・ユニーク数・データ型・欠損数を一覧で確認できるため、次のような作業がスムーズになります。

(1) どの列を前処理すべきか判断しやすくなる
(2) カテゴリ変数・数値変数の分類がすぐにできる
(3) 欠損値の扱い方針を立てやすくなる
(4) 不要な列（ID列など）を早い段階で除外できる

つまり、データセットの全体像を短時間でつかみ、分析の準備を効率化できるのが最大のメリットです。

データフレームのインデックス番号、インデックス名を指定してその行を削除する

おまけとして、インデックス名を指定してその行を削除するとてもよく使うコマンドを併記します。

1
2
3
4
5
# データフレームの2行目にもタイトルの残骸があり、その行は無効なの
# 行を指定して削除する
# index[0] はデータフレームとしては最初の行だが、無効なため削除する

df = df.drop(df.index[[0]])

データフレームの特定の列（例：部門）ごとに、❶件数（何件あるか）、❷構成比（全体のうち何%か）を出して、 後で加工しやすい「表（データフレーム）」の形にまと、ついでに合計（Total）行も付けるためのスクリプトをまとめました。

サンプルコードの紹介

カテゴリカルデータのそれぞれの個数を大きい順に表示し、その構成比率とトータル行を追加した内容を データフレームとして提供するスクリプトになります。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 件数（count）と構成比（normalize=Trueで比率が出せる）
vc = df[col_name].value_counts(dropna=False)         # 件数
ratio = df[col_name].value_counts(dropna=False, normalize=True)  # 構成比

# データフレーム化して結合
tab = pd.DataFrame({
    '件数': vc,
    '構成比': ratio
})

# 合計行（Total）を追加
tab.loc['Total', '件数'] = tab['件数'].sum()
tab.loc['Total', '構成比'] = tab['構成比'].sum()

# 表示用フォーマット
format_dict = {'構成比': '{:.1%}', '件数': '{:n}'}
display(tab.style.format(format_dict))

サンプルデータフレーム

以下のとおり、サンプルデータフレームの集計結果をデータフレームとして得ることができます。

1
2
3
4
5
6
7
8
9
10
# 演習用のデータフレームを作成します。
df = pd.DataFrame({ 'ID': ['01285679', '01340788', '02123782', '10541976', '12297411', 
                             '13299899', '48144450', '55339981'],
                   '出身地': ["東京都","山口県",'大阪府','千葉県','東京都',
                          '埼玉県','千葉県','千葉県'],
                  '部門':   ["首都圏営業部","関西支部","本部総務",
                               "研究開発","東北支部","北海道支部",
                               "首都圏営業部","研究開発"]},
                    index=[0, 1, 2, 3, 4, 5, 6,7])
# オリジナルのデータフレームを表示

スクリプトの結果

Step 1：datetime オブジェクトの確認

日付の列でソートするには、その列がdatetime オブジェクトでなければなりません。まず、ソートする列のデータ型を確認します。

1
2
3
4
5
6
7
8
# データ型を確認する

df['date'].dtypes

>> dtype('<M8[ns]')  --> OK
>> dtype('O')  --------> NG  datetime 型式にする必要ある
>> dtype('int64')  ----> NG  datetime 型式にする必要ある
>> dtype('float64') ---> NG  datetime 型式にする必要ある

NGの場合には、datetime オブジェクトにします。

1
2
3
# データ型をdatetime にする

df['date']=pd.to_datetime(df['date'])

Step 2：新しい順に並び替える

1
2
3
# ascending = False -> 値の大きい順、日付けの新しい順　

df = df.sort_values(["date"], ascending = False)

列名dateで新しい順に並び替えておく。

ascending = False » 降順 » 新しいものから古いもの

Step 3：列A（例：社員番号）の重複排除の基準として新しいものを残す

1
2
3
4
5
6
7
# 新しいものが最初にソートされているので、keep='first'とする
# inplace=True で上書きする
# 前後にdf.shapeで要素数をプリントし排除された数を把握する

print(df.shape)
df.drop_duplicates(subset='社員番号', keep='first', inplace=True)
print(df.shape)

barplot で棒グラフを作成し、各々のbarの値をannotationしたいと思います。Excelの代わりにseanborn でサクサク、グラフ化します。

サンプルデータセット

1. 日本語化した棒グラフを作成するためにデータセットを用意します。
   
2. Kagle のHRデータを編集して使っています。HRデータのうち、Age, EducationField, TotalWorkingYears　MonthlyIncome の列をそれぞれ、「年齢」、「専攻」、「勤続年数」、「月収」と書き換えました。
   
3. EducationFieldで含まれるカテゴリカルデータを日本語するとろまでは同じです。
   
4. 二次元データを作るために、「専攻」のカテゴリカルデータを軸にgroupbyメソッドでデータを集約します。
   
5. groupbyメソッドを使うとmean()平均値 やsum()トータルで各カテゴリー値を集約できますが、平均値で各カテゴリの値を集約したいと思います。

groupby での集約のイメージ

reset_index()でx軸、y軸をColumnに配置する

seaborn の barplotを利用するためには、ｘ軸、y軸ともデータフレームのcolumn で指定する必要があります。　しかし、groupby で集約したカテゴリカルデータのcolumn は、集約化されたデータフレームではラベルインデックスとして配置されています。　従って、reset_index()でカテゴリをcolumnに再配置させます。そのコードとデータフレームを図示しておきます。

1
2
3
4
5
#月収の列のみにする
df_gsum =  df_gsum.iloc[:, [2]]

#ラベルインデックスをreset_index()で列に配置する
df_gsum = df_gsum.reset_index()

Python コードの紹介

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
import numpy as np
import pandas as pd
import seaborn as sns
#matplotlibのグラフをRetinaの高解像度で表示する
%config InlineBackend.figure_formats = {'png', 'retina'}
#Jupyter Notebookの中で作図した画像を表示させる
%matplotlib inline
#matplotlib をインポートする
import matplotlib.pyplot as plt

#日本語タイトルのため、japanizeをインポートする
import japanize_matplotlib
plt.rcParams['font.family'] = 'IPAexGothic'

order = ['マーケティング', '理工学', '医薬、保健','人文科学','教育・人事','その他']
title = '専攻分野別平均月収'
y_name = '月収'
x_name = '専攻'
y_label = '平均月収(US$)'

ax = plt.subplots(figsize =(9,9))
ax = sns.barplot(x = x_name, y = y_name,
                   data = df_gsum, 
                   palette='pastel',
                  order = order)

plt.title(title, fontsize=18, fontweight='bold' )
plt.xticks(rotation=90)
plt.xlabel(x_name, fontsize = 14, fontweight='bold')
plt.ylabel(y_label, fontsize = 14, fontweight='bold')

for p in ax.patches:
    ax.annotate(format(p.get_height(), '.2f'), 
                   (p.get_x() + p.get_width() / 2., 
                    p.get_height()), 
                    ha = 'center', 
                    va = 'center', 
                    xytext = (0, 9), 
                    textcoords = 'offset points',
                    fontsize = 14,
                    color = 'blue')

小数点何位までの表示とするかの指定

数字表記の肝心な点として小数点何位まで表記するかだと思います。　平均値のため、小数点第二位まで表記するようにしています。　以下のformat( ‘.2f’)の部分がそれに相当します。

度数分布図、任意のカテゴリー順

order = [‘マーケティング’, ‘理工学’, ‘医薬、保健’,’人文科学’,’教育・人事’,’その他’]として
order = orderとすると、orderで指定した順に棒グラフが並びます。

イメージは以下のとおりです。