SASとの比較#
SASから移行してくる可能性のあるユーザーのために、このページでは、SASのさまざまな操作がpandasでどのように実行されるかを示します。
pandas を初めて使用する場合は、最初に10 Minutes to pandas を読んで、ライブラリに慣れておくことをお勧めします。
慣例に従い、pandas と NumPy を次のようにインポートします
In [1]: import pandas as pd
In [2]: import numpy as np
データ構造#
一般用語の翻訳#
pandas |
SAS |
|---|---|
|
データセット |
列 |
変数 |
行 |
観測 |
groupby |
BYグループ |
|
|
DataFrame#
pandasのDataFrameは、SASデータセットに似ています。これは、異なる型のラベル付き列を持つ2次元のデータソースです。このドキュメントで示すように、SASのDATAステップを使用してデータセットに適用できるほとんどすべての操作は、pandasでも実行できます。
Series#
Seriesは、DataFrameの1つの列を表すデータ構造です。SASには単一の列のための独立したデータ構造はありませんが、一般的にSeriesを操作することは、DATAステップで列を参照することに似ています。
Index#
すべてのDataFrameとSeriesにはIndexがあり、これはデータの行のラベルです。SASにはこれとまったく同じ概念はありません。SASデータセットの行は、DATAステップ中にアクセスできる暗黙的な整数インデックス（_N_）以外は、本質的にラベル付けされていません。
pandasでは、インデックスが指定されていない場合、デフォルトで整数インデックスが使用されます（最初の行=0、2番目の行=1など）。ラベル付きIndexまたはMultiIndexを使用することで洗練された分析が可能になり、最終的にはpandasを理解する上で重要な部分ですが、この比較ではIndexを本質的に無視し、DataFrameを列のコレクションとして扱います。Indexを効果的に使用する方法については、インデックスドキュメントを参照してください。
コピーとインプレース操作#
ほとんどの pandas 操作は、Series/DataFrame のコピーを返します。変更を「適用」するには、新しい変数に代入するか
sorted_df = df.sort_values("col1")
または元の変数を上書きする必要があります
df = df.sort_values("col1")
注
いくつかのメソッドでは inplace=True または copy=False キーワード引数が利用できます
df.replace(5, inplace=True)
replace を含むごく一部のメソッドを除き、ほとんどのメソッド (dropna など) で inplace と copy を非推奨にして削除することについて活発な議論が行われています。これらのキーワードは、Copy-on-Write のコンテキストではもはや必要ありません。提案はこちらで確認できます。
データ入出力#
値からのDataFrameの構築#
SASデータセットは、datalinesステートメントの後にデータを配置し、列名を指定することで、指定された値から構築できます。
data df;
input x y;
datalines;
1 2
3 4
5 6
;
run;
pandas の DataFrame はさまざまな方法で構築できますが、少数の値の場合は、Python 辞書として指定するのが便利なことがよくあります。この場合、キーは列名、値はデータです。
In [1]: df = pd.DataFrame({"x": [1, 3, 5], "y": [2, 4, 6]})
In [2]: df
Out[2]:
x y
0 1 2
1 3 4
2 5 6
外部データの読み込み#
SASと同様に、pandasも多くの形式からデータを読み込むユーティリティを提供しています。pandasのテスト内にあるtipsデータセット（csv）は、以下の多くの例で使用されます。
SASは、csvデータをデータセットに読み込むためにPROC IMPORTを提供しています。
proc import datafile='tips.csv' dbms=csv out=tips replace;
getnames=yes;
run;
pandasのメソッドはread_csv()で、同様に機能します。
In [3]: url = (
...: "https://raw.githubusercontent.com/pandas-dev/"
...: "pandas/main/pandas/tests/io/data/csv/tips.csv"
...: )
...:
In [4]: tips = pd.read_csv(url)
In [5]: tips
Out[5]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 29.03 5.92 Male No Sat Dinner 3
240 27.18 2.00 Female Yes Sat Dinner 2
241 22.67 2.00 Male Yes Sat Dinner 2
242 17.82 1.75 Male No Sat Dinner 2
243 18.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
PROC IMPORTと同様に、read_csvはデータをどのように解析するかを指定するために多くのパラメータを取ることができます。例えば、データがタブ区切りで、列名がなかった場合、pandasのコマンドは次のようになります。
tips = pd.read_csv("tips.csv", sep="\t", header=None)
# alternatively, read_table is an alias to read_csv with tab delimiter
tips = pd.read_table("tips.csv", header=None)
テキスト/CSVに加えて、pandasはExcel、HDF5、SQLデータベースなど、さまざまなデータ形式をサポートしています。これらはすべてpd.read_*関数を介して読み込まれます。詳細については、IOドキュメントを参照してください。
出力の制限#
デフォルトでは、pandas は大きな DataFrame の出力を、最初と最後の行を表示するように切り詰めます。これは、pandas のオプションを変更するか、DataFrame.head() または DataFrame.tail() を使用することでオーバーライドできます。
In [1]: tips.head(5)
Out[1]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
SASでの同等な操作は次のようになります。
proc print data=df(obs=5);
run;
データのエクスポート#
SASにおけるPROC IMPORTの逆はPROC EXPORTです。
proc export data=tips outfile='tips2.csv' dbms=csv;
run;
同様にpandasでは、read_csvの逆はto_csv()であり、他のデータ形式も同様のAPIに従います。
tips.to_csv("tips2.csv")
データ操作#
列の操作#
DATAステップでは、新規または既存の列に対して任意の数式を使用できます。
data tips;
set tips;
total_bill = total_bill - 2;
new_bill = total_bill / 2;
run;
pandas は、DataFrame 内の個々の Series を指定することで、ベクトル化された操作を提供します。新しい列も同様の方法で割り当てることができます。DataFrame.drop() メソッドは、DataFrame から列を削除します。
In [1]: tips["total_bill"] = tips["total_bill"] - 2
In [2]: tips["new_bill"] = tips["total_bill"] / 2
In [3]: tips
Out[3]:
total_bill tip sex smoker day time size new_bill
0 14.99 1.01 Female No Sun Dinner 2 7.495
1 8.34 1.66 Male No Sun Dinner 3 4.170
2 19.01 3.50 Male No Sun Dinner 3 9.505
3 21.68 3.31 Male No Sun Dinner 2 10.840
4 22.59 3.61 Female No Sun Dinner 4 11.295
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 13.515
240 25.18 2.00 Female Yes Sat Dinner 2 12.590
241 20.67 2.00 Male Yes Sat Dinner 2 10.335
242 15.82 1.75 Male No Sat Dinner 2 7.910
243 16.78 3.00 Female No Thur Dinner 2 8.390
[244 rows x 8 columns]
In [4]: tips = tips.drop("new_bill", axis=1)
フィルタリング#
SASでのフィルタリングは、1つ以上の列に対してifまたはwhereステートメントを使用して行われます。
data tips;
set tips;
if total_bill > 10;
run;
data tips;
set tips;
where total_bill > 10;
/* equivalent in this case - where happens before the
DATA step begins and can also be used in PROC statements */
run;
DataFrame は複数の方法でフィルタリングできますが、最も直感的な方法はブールインデックスを使用することです。
In [1]: tips[tips["total_bill"] > 10]
Out[1]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
5 23.29 4.71 Male No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[204 rows x 7 columns]
上記のステートメントは、True/False オブジェクトの Series を DataFrame に渡すだけで、True のすべての行が返されます。
In [2]: is_dinner = tips["time"] == "Dinner"
In [3]: is_dinner
Out[3]:
0 True
1 True
2 True
3 True
4 True
...
239 True
240 True
241 True
242 True
243 True
Name: time, Length: 244, dtype: bool
In [4]: is_dinner.value_counts()
Out[4]:
time
True 176
False 68
Name: count, dtype: int64
In [5]: tips[is_dinner]
Out[5]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[176 rows x 7 columns]
if/then ロジック#
SASでは、if/thenロジックを使用して新しい列を作成できます。
data tips;
set tips;
format bucket $4.;
if total_bill < 10 then bucket = 'low';
else bucket = 'high';
run;
pandas では、numpy の where メソッドを使用して同じ操作を実行できます。
In [1]: tips["bucket"] = np.where(tips["total_bill"] < 10, "low", "high")
In [2]: tips
Out[2]:
total_bill tip sex smoker day time size bucket
0 14.99 1.01 Female No Sun Dinner 2 high
1 8.34 1.66 Male No Sun Dinner 3 low
2 19.01 3.50 Male No Sun Dinner 3 high
3 21.68 3.31 Male No Sun Dinner 2 high
4 22.59 3.61 Female No Sun Dinner 4 high
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 high
240 25.18 2.00 Female Yes Sat Dinner 2 high
241 20.67 2.00 Male Yes Sat Dinner 2 high
242 15.82 1.75 Male No Sat Dinner 2 high
243 16.78 3.00 Female No Thur Dinner 2 high
[244 rows x 8 columns]
日付機能#
SASは、日付/日時列に対して操作を行うための様々な関数を提供しています。
data tips;
set tips;
format date1 date2 date1_plusmonth mmddyy10.;
date1 = mdy(1, 15, 2013);
date2 = mdy(2, 15, 2015);
date1_year = year(date1);
date2_month = month(date2);
* shift date to beginning of next interval;
date1_next = intnx('MONTH', date1, 1);
* count intervals between dates;
months_between = intck('MONTH', date1, date2);
run;
同等のpandas操作を以下に示します。これらの関数に加えて、pandasはBase SASでは利用できない他の時系列機能（リサンプリングやカスタムオフセットなど）をサポートしています。詳細については、時系列ドキュメントを参照してください。
In [1]: tips["date1"] = pd.Timestamp("2013-01-15")
In [2]: tips["date2"] = pd.Timestamp("2015-02-15")
In [3]: tips["date1_year"] = tips["date1"].dt.year
In [4]: tips["date2_month"] = tips["date2"].dt.month
In [5]: tips["date1_next"] = tips["date1"] + pd.offsets.MonthBegin()
In [6]: tips["months_between"] = tips["date2"].dt.to_period("M") - tips[
...: "date1"
...: ].dt.to_period("M")
...:
In [7]: tips[
...: ["date1", "date2", "date1_year", "date2_month", "date1_next", "months_between"]
...: ]
...:
Out[7]:
date1 date2 date1_year date2_month date1_next months_between
0 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
1 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
2 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
3 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
4 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
.. ... ... ... ... ... ...
239 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
240 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
241 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
242 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
243 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
[244 rows x 6 columns]
列の選択#
SASは、DATAステップで列を選択、削除、および名前変更するためのキーワードを提供します。
data tips;
set tips;
keep sex total_bill tip;
run;
data tips;
set tips;
drop sex;
run;
data tips;
set tips;
rename total_bill=total_bill_2;
run;
同じ操作が pandas では以下のように表現されます。
特定の列を保持する#
In [1]: tips[["sex", "total_bill", "tip"]]
Out[1]:
sex total_bill tip
0 Female 14.99 1.01
1 Male 8.34 1.66
2 Male 19.01 3.50
3 Male 21.68 3.31
4 Female 22.59 3.61
.. ... ... ...
239 Male 27.03 5.92
240 Female 25.18 2.00
241 Male 20.67 2.00
242 Male 15.82 1.75
243 Female 16.78 3.00
[244 rows x 3 columns]
列を削除する#
In [2]: tips.drop("sex", axis=1)
Out[2]:
total_bill tip smoker day time size
0 14.99 1.01 No Sun Dinner 2
1 8.34 1.66 No Sun Dinner 3
2 19.01 3.50 No Sun Dinner 3
3 21.68 3.31 No Sun Dinner 2
4 22.59 3.61 No Sun Dinner 4
.. ... ... ... ... ... ...
239 27.03 5.92 No Sat Dinner 3
240 25.18 2.00 Yes Sat Dinner 2
241 20.67 2.00 Yes Sat Dinner 2
242 15.82 1.75 No Sat Dinner 2
243 16.78 3.00 No Thur Dinner 2
[244 rows x 6 columns]
列名を変更する#
In [3]: tips.rename(columns={"total_bill": "total_bill_2"})
Out[3]:
total_bill_2 tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
値による並べ替え#
SASでのソートはPROC SORTを使用して行われます。
proc sort data=tips;
by sex total_bill;
run;
pandas には DataFrame.sort_values() メソッドがあり、これはソートする列のリストを受け取ります。
In [1]: tips = tips.sort_values(["sex", "total_bill"])
In [2]: tips
Out[2]:
total_bill tip sex smoker day time size
67 1.07 1.00 Female Yes Sat Dinner 1
92 3.75 1.00 Female Yes Fri Dinner 2
111 5.25 1.00 Female No Sat Dinner 1
145 6.35 1.50 Female No Thur Lunch 2
135 6.51 1.25 Female No Thur Lunch 2
.. ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3
156 46.17 5.00 Male No Sun Dinner 6
59 46.27 6.73 Male No Sat Dinner 4
212 46.33 9.00 Male No Sat Dinner 4
170 48.81 10.00 Male Yes Sat Dinner 3
[244 rows x 7 columns]
文字列処理#
文字列の長さを調べる#
SASは、LENGTHN関数とLENGTHC関数で文字列の長さを判断します。LENGTHNは末尾の空白を除外し、LENGTHCは末尾の空白を含みます。
data _null_;
set tips;
put(LENGTHN(time));
put(LENGTHC(time));
run;
文字文字列の長さは Series.str.len() で調べることができます。Python 3 では、すべての文字列は Unicode 文字列です。len は末尾の空白を含みます。末尾の空白を除外するには len と rstrip を使用します。
In [1]: tips["time"].str.len()
Out[1]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
In [2]: tips["time"].str.rstrip().str.len()
Out[2]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
部分文字列の位置を検索する#
SASは、FINDW関数を使用して文字列内の文字の位置を判断します。FINDWは、最初の引数で定義された文字列を取得し、2番目の引数として提供する部分文字列の最初の位置を検索します。
data _null_;
set tips;
put(FINDW(sex,'ale'));
run;
文字列の列内にある文字の位置は、Series.str.find() メソッドで検索できます。find は部分文字列の最初の位置を検索します。部分文字列が見つかった場合、メソッドはその位置を返します。見つからない場合は -1 を返します。Python のインデックスはゼロベースであることに注意してください。
In [1]: tips["sex"].str.find("ale")
Out[1]:
67 3
92 3
111 3
145 3
135 3
..
182 1
156 1
59 1
212 1
170 1
Name: sex, Length: 244, dtype: int64
位置による部分文字列の抽出#
SASは、SUBSTR関数を使用して、位置に基づいて文字列から部分文字列を抽出します。
data _null_;
set tips;
put(substr(sex,1,1));
run;
pandas では、[] 記法を使用して、位置によって文字列から部分文字列を抽出できます。Python のインデックスがゼロベースであることに注意してください。
In [1]: tips["sex"].str[0:1]
Out[1]:
67 F
92 F
111 F
145 F
135 F
..
182 M
156 M
59 M
212 M
170 M
Name: sex, Length: 244, dtype: object
N番目の単語の抽出#
SASのSCAN関数は、文字列からn番目の単語を返します。最初の引数は解析したい文字列、2番目の引数は抽出したい単語を指定します。
data firstlast;
input String $60.;
First_Name = scan(string, 1);
Last_Name = scan(string, -1);
datalines2;
John Smith;
Jane Cook;
;;;
run;
pandas で単語を抽出する最も簡単な方法は、文字列をスペースで分割し、インデックスで単語を参照することです。より強力なアプローチが必要な場合でも、それらが存在することに注意してください。
In [1]: firstlast = pd.DataFrame({"String": ["John Smith", "Jane Cook"]})
In [2]: firstlast["First_Name"] = firstlast["String"].str.split(" ", expand=True)[0]
In [3]: firstlast["Last_Name"] = firstlast["String"].str.rsplit(" ", expand=True)[1]
In [4]: firstlast
Out[4]:
String First_Name Last_Name
0 John Smith John Smith
1 Jane Cook Jane Cook
大文字/小文字の変更#
SASのUPCASE、LOWCASE、およびPROPCASE関数は、引数の大文字小文字を変更します。
data firstlast;
input String $60.;
string_up = UPCASE(string);
string_low = LOWCASE(string);
string_prop = PROPCASE(string);
datalines2;
John Smith;
Jane Cook;
;;;
run;
同等の pandas メソッドは、Series.str.upper()、Series.str.lower()、および Series.str.title() です。
In [1]: firstlast = pd.DataFrame({"string": ["John Smith", "Jane Cook"]})
In [2]: firstlast["upper"] = firstlast["string"].str.upper()
In [3]: firstlast["lower"] = firstlast["string"].str.lower()
In [4]: firstlast["title"] = firstlast["string"].str.title()
In [5]: firstlast
Out[5]:
string upper lower title
0 John Smith JOHN SMITH john smith John Smith
1 Jane Cook JANE COOK jane cook Jane Cook
結合#
以下の表は、結合の例で使用されます。
In [1]: df1 = pd.DataFrame({"key": ["A", "B", "C", "D"], "value": np.random.randn(4)})
In [2]: df1
Out[2]:
key value
0 A 0.469112
1 B -0.282863
2 C -1.509059
3 D -1.135632
In [3]: df2 = pd.DataFrame({"key": ["B", "D", "D", "E"], "value": np.random.randn(4)})
In [4]: df2
Out[4]:
key value
0 B 1.212112
1 D -0.173215
2 D 0.119209
3 E -1.044236
SASでは、マージする前にデータを明示的にソートする必要があります。異なる種類の結合は、in=ダミー変数を使用して、両方の入力フレームで一致が見つかったかどうかを追跡することで実現されます。
proc sort data=df1;
by key;
run;
proc sort data=df2;
by key;
run;
data left_join inner_join right_join outer_join;
merge df1(in=a) df2(in=b);
if a and b then output inner_join;
if a then output left_join;
if b then output right_join;
if a or b then output outer_join;
run;
pandas の DataFrame には、同様の機能を提供する merge() メソッドがあります。データは事前にソートする必要はなく、異なる結合タイプは how キーワードを介して実現されます。
In [1]: inner_join = df1.merge(df2, on=["key"], how="inner")
In [2]: inner_join
Out[2]:
key value_x value_y
0 B -0.282863 1.212112
1 D -1.135632 -0.173215
2 D -1.135632 0.119209
In [3]: left_join = df1.merge(df2, on=["key"], how="left")
In [4]: left_join
Out[4]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
In [5]: right_join = df1.merge(df2, on=["key"], how="right")
In [6]: right_join
Out[6]:
key value_x value_y
0 B -0.282863 1.212112
1 D -1.135632 -0.173215
2 D -1.135632 0.119209
3 E NaN -1.044236
In [7]: outer_join = df1.merge(df2, on=["key"], how="outer")
In [8]: outer_join
Out[8]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E NaN -1.044236
欠損データ#
pandasとSASの両方に、欠損データを表す方法があります。
pandasは、欠損データを特殊な浮動小数点値NaN（非数）で表します。多くのセマンティクスは同じです。例えば、欠損データは数値演算を通じて伝播し、集計ではデフォルトで無視されます。
In [1]: outer_join
Out[1]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E NaN -1.044236
In [2]: outer_join["value_x"] + outer_join["value_y"]
Out[2]:
0 NaN
1 0.929249
2 NaN
3 -1.308847
4 -1.016424
5 NaN
dtype: float64
In [3]: outer_join["value_x"].sum()
Out[3]: -3.5940742896293765
1つの違いは、欠損データはそのセンチネル値と比較できないことです。例えば、SASでは欠損値をフィルタリングするためにこれを行うことができます。
data outer_join_nulls;
set outer_join;
if value_x = .;
run;
data outer_join_no_nulls;
set outer_join;
if value_x ^= .;
run;
pandasでは、Series.isna()とSeries.notna()を使って行をフィルタリングできます。
In [1]: outer_join[outer_join["value_x"].isna()]
Out[1]:
key value_x value_y
5 E NaN -1.044236
In [2]: outer_join[outer_join["value_x"].notna()]
Out[2]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
pandasは欠損データを扱うためのさまざまなメソッドを提供しています。以下にいくつかの例を示します。
欠損値を含む行を削除#
In [3]: outer_join.dropna()
Out[3]:
key value_x value_y
1 B -0.282863 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
前の行から順方向補完#
In [4]: outer_join.ffill()
Out[4]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E -1.135632 -1.044236
欠損値を指定された値で置き換え#
平均値を使用する
In [5]: outer_join["value_x"].fillna(outer_join["value_x"].mean())
Out[5]:
0 0.469112
1 -0.282863
2 -1.509059
3 -1.135632
4 -1.135632
5 -0.718815
Name: value_x, dtype: float64
GroupBy#
集計#
SASのPROC SUMMARYは、1つ以上のキー変数でグループ化し、数値列に対して集計を計算するために使用できます。
proc summary data=tips nway;
class sex smoker;
var total_bill tip;
output out=tips_summed sum=;
run;
pandasは、同様の集計を可能にする柔軟なgroupbyメカニズムを提供します。詳細と例については、groupbyドキュメントを参照してください。
In [1]: tips_summed = tips.groupby(["sex", "smoker"])[["total_bill", "tip"]].sum()
In [2]: tips_summed
Out[2]:
total_bill tip
sex smoker
Female No 869.68 149.77
Yes 527.27 96.74
Male No 1725.75 302.00
Yes 1217.07 183.07
変換#
SASでは、グループ集計を元のフレームと組み合わせて使用する必要がある場合、それをマージし直す必要があります。例えば、喫煙者グループごとの各観測値の平均値を減算する場合です。
proc summary data=tips missing nway;
class smoker;
var total_bill;
output out=smoker_means mean(total_bill)=group_bill;
run;
proc sort data=tips;
by smoker;
run;
data tips;
merge tips(in=a) smoker_means(in=b);
by smoker;
adj_total_bill = total_bill - group_bill;
if a and b;
run;
pandasは、これらの種類の操作を1つの操作で簡潔に表現できる変換メカニズムを提供します。
In [1]: gb = tips.groupby("smoker")["total_bill"]
In [2]: tips["adj_total_bill"] = tips["total_bill"] - gb.transform("mean")
In [3]: tips
Out[3]:
total_bill tip sex smoker day time size adj_total_bill
67 1.07 1.00 Female Yes Sat Dinner 1 -17.686344
92 3.75 1.00 Female Yes Fri Dinner 2 -15.006344
111 5.25 1.00 Female No Sat Dinner 1 -11.938278
145 6.35 1.50 Female No Thur Lunch 2 -10.838278
135 6.51 1.25 Female No Thur Lunch 2 -10.678278
.. ... ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3 24.593656
156 46.17 5.00 Male No Sun Dinner 6 28.981722
59 46.27 6.73 Male No Sat Dinner 4 29.081722
212 46.33 9.00 Male No Sat Dinner 4 29.141722
170 48.81 10.00 Male Yes Sat Dinner 3 30.053656
[244 rows x 8 columns]
グループ別処理#
集計に加えて、pandasのgroupbyは、SASからの他のほとんどのグループ別処理を複製するために使用できます。例えば、このDATAステップは、性別/喫煙者グループ別にデータを読み込み、それぞれの最初のエントリにフィルタリングします。
proc sort data=tips;
by sex smoker;
run;
data tips_first;
set tips;
by sex smoker;
if FIRST.sex or FIRST.smoker then output;
run;
pandasでは、これは次のように書かれます。
In [4]: tips.groupby(["sex", "smoker"]).first()
Out[4]:
total_bill tip day time size adj_total_bill
sex smoker
Female No 5.25 1.00 Sat Dinner 1 -11.938278
Yes 1.07 1.00 Sat Dinner 1 -17.686344
Male No 5.51 2.00 Thur Lunch 2 -11.678278
Yes 5.25 5.15 Sun Dinner 2 -13.506344
その他の考慮事項#
ディスク vs メモリ#
pandasは排他的にメモリ上で動作しますが、SASデータセットはディスク上に存在します。これは、pandasに読み込むことができるデータのサイズがマシンのメモリによって制限されることを意味しますが、そのデータに対する操作がより高速になる可能性もあります。
コア外処理が必要な場合、1つの可能性は、ディスク上のDataFrameに対してpandas機能のサブセットを提供するdask.dataframeライブラリ（現在開発中）です。
データ相互運用性#
pandasは、XPORTまたはSAS7BDATバイナリ形式で保存されたSASデータを読み取ることができるread_sas()メソッドを提供します。
libname xportout xport 'transport-file.xpt';
data xportout.tips;
set tips(rename=(total_bill=tbill));
* xport variable names limited to 6 characters;
run;
df = pd.read_sas("transport-file.xpt")
df = pd.read_sas("binary-file.sas7bdat")
ファイル形式を直接指定することもできます。デフォルトでは、pandasは拡張子に基づいてファイル形式を推測しようとします。
df = pd.read_sas("transport-file.xpt", format="xport")
df = pd.read_sas("binary-file.sas7bdat", format="sas7bdat")
XPORTは比較的制限された形式であり、その解析は他のpandasリーダーほど最適化されていません。SASとpandas間でデータを相互運用する別の方法は、CSVにシリアル化することです。
# version 0.17, 10M rows
In [8]: %time df = pd.read_sas('big.xpt')
Wall time: 14.6 s
In [9]: %time df = pd.read_csv('big.csv')
Wall time: 4.86 s