In [1]: import pandas as pd
- タイタニックデータ
このチュートリアルでは、CSVとして保存されているタイタニックデータセットを使用します。データは次のデータ列で構成されています
PassengerId:各乗客のID。
Survived:乗客が生存したかどうかを示します。
0
は生存、1
は死亡。Pclass:3つのチケットクラスのいずれか:クラス
1
、クラス2
、クラス3
。Name:乗客の名前。
Sex:乗客の性別。
Age:乗客の年齢(歳)。
SibSp:乗船している兄弟または配偶者の数。
Parch:乗船している両親または子供の数。
Ticket:乗客のチケット番号。
Fare:運賃を示します。
Cabin:乗客の客室番号。
Embarked:乗船港。
In [2]: titanic = pd.read_csv("data/titanic.csv") In [3]: titanic.head() Out[3]: PassengerId Survived Pclass ... Fare Cabin Embarked 0 1 0 3 ... 7.2500 NaN S 1 2 1 1 ... 71.2833 C85 C 2 3 1 3 ... 7.9250 NaN S 3 4 1 1 ... 53.1000 C123 S 4 5 0 3 ... 8.0500 NaN S [5 rows x 12 columns]
テキストデータを操作する方法#
すべての名前の文字を小文字にします。
In [4]: titanic["Name"].str.lower() Out[4]: 0 braund, mr. owen harris 1 cumings, mrs. john bradley (florence briggs th... 2 heikkinen, miss. laina 3 futrelle, mrs. jacques heath (lily may peel) 4 allen, mr. william henry ... 886 montvila, rev. juozas 887 graham, miss. margaret edith 888 johnston, miss. catherine helen "carrie" 889 behr, mr. karl howell 890 dooley, mr. patrick Name: Name, Length: 891, dtype: object
Name
列の各文字列を小文字にするには、Name
列を選択し(データの選択に関するチュートリアルを参照)、str
アクセサーを追加してlower
メソッドを適用します。このように、各文字列は要素ごとに変換されます。
時系列チュートリアルのdatetimeオブジェクトがdt
アクセサーを持つのと同様に、str
アクセサーを使用すると、多くの特殊な文字列メソッドが利用できます。これらのメソッドは、一般的に単一要素用の組み込み文字列メソッドと同じ名前ですが、列の各値に対して要素ごとに適用されます(要素ごとの計算を覚えていますか?)。
コンマの前の部分を抽出することによって、乗客の姓を含む新しい列
Surname
を作成します。In [5]: titanic["Name"].str.split(",") Out[5]: 0 [Braund, Mr. Owen Harris] 1 [Cumings, Mrs. John Bradley (Florence Briggs ... 2 [Heikkinen, Miss. Laina] 3 [Futrelle, Mrs. Jacques Heath (Lily May Peel)] 4 [Allen, Mr. William Henry] ... 886 [Montvila, Rev. Juozas] 887 [Graham, Miss. Margaret Edith] 888 [Johnston, Miss. Catherine Helen "Carrie"] 889 [Behr, Mr. Karl Howell] 890 [Dooley, Mr. Patrick] Name: Name, Length: 891, dtype: object
Series.str.split()
メソッドを使用すると、各値は2つの要素のリストとして返されます。最初の要素はコンマの前、2番目の要素はコンマの後です。In [6]: titanic["Surname"] = titanic["Name"].str.split(",").str.get(0) In [7]: titanic["Surname"] Out[7]: 0 Braund 1 Cumings 2 Heikkinen 3 Futrelle 4 Allen ... 886 Montvila 887 Graham 888 Johnston 889 Behr 890 Dooley Name: Surname, Length: 891, dtype: object
姓を表す最初の部分(要素0)にのみ関心があるため、再び
str
アクセサーを使用してSeries.str.get()
を適用し、関連する部分を抽出できます。実際、これらの文字列関数は連結して複数の関数を一度に組み合わせることができます!
文字列の一部の抽出に関する詳細は、文字列の分割と置換に関するユーザーガイドセクションにあります。
タイタニック号に乗船している伯爵夫人に関する乗客データを抽出します。
In [8]: titanic["Name"].str.contains("Countess") Out[8]: 0 False 1 False 2 False 3 False 4 False ... 886 False 887 False 888 False 889 False 890 False Name: Name, Length: 891, dtype: bool
In [9]: titanic[titanic["Name"].str.contains("Countess")] Out[9]: PassengerId Survived Pclass ... Cabin Embarked Surname 759 760 1 1 ... B77 S Rothes [1 rows x 13 columns]
(*彼女の物語に興味がありますか?Wikipediaをご覧ください!*)
文字列メソッド
Series.str.contains()
は、Name
列の各値について、文字列にCountess
という言葉が含まれているかどうかをチェックし、各値についてTrue
(Countess
は名前の一部です)またはFalse
(Countess
は名前の一部ではありません)を返します。この出力は、データのサブセット化チュートリアルで紹介されている条件付き(ブール値)インデックスを使用して、データのサブセットを選択するために使用できます。タイタニック号には伯爵夫人が1人しかいなかったため、結果として1行が得られます。
注記
Series.str.contains()
メソッドとSeries.str.extract()
メソッドは正規表現を受け入れますが、このチュートリアルの範囲外です。より強力な文字列抽出がサポートされています。
文字列の一部の抽出に関する詳細は、文字列のマッチングと抽出に関するユーザーガイドセクションにあります。
タイタニック号で最も長い名前の乗客は誰ですか?
In [10]: titanic["Name"].str.len() Out[10]: 0 23 1 51 2 22 3 44 4 24 .. 886 21 887 28 888 40 889 21 890 19 Name: Name, Length: 891, dtype: int64
最も長い名前を取得するには、まず
Name
列の各名前の長さを取得する必要があります。pandasの文字列メソッドを使用することにより、Series.str.len()
関数が各名前に個別に(要素ごとに)適用されます。In [11]: titanic["Name"].str.len().idxmax() Out[11]: 307
次に、名前の長さが最も大きいテーブル内の対応する場所、できればインデックスラベルを取得する必要があります。
idxmax()
メソッドはまさにそれを行います。これは文字列メソッドではなく整数に適用されるため、str
は使用されません。In [12]: titanic.loc[titanic["Name"].str.len().idxmax(), "Name"] Out[12]: 'Penasco y Castellana, Mrs. Victor de Satode (Maria Josefa Perez de Soto y Vallejo)'
行のインデックス名(
307
)と列(Name
)に基づいて、サブセット化に関するチュートリアルで紹介されているloc
演算子を使用して選択を行うことができます。
「Sex」列で、「male」の値を「M」に、「female」の値を「F」に置き換えます。
In [13]: titanic["Sex_short"] = titanic["Sex"].replace({"male": "M", "female": "F"}) In [14]: titanic["Sex_short"] Out[14]: 0 M 1 F 2 F 3 F 4 M .. 886 M 887 F 888 F 889 M 890 M Name: Sex_short, Length: 891, dtype: object
replace()
は文字列メソッドではありませんが、マッピングまたは語彙を使用して特定の値を変換する便利な方法を提供します。マッピング{from : to}
を定義するには、dictionary
(辞書)が必要です。
警告
特定の文字セットを置き換えるために使用できるreplace()
メソッドもあります。ただし、複数の値のマッピングがある場合、これは
titanic["Sex_short"] = titanic["Sex"].str.replace("female", "F")
titanic["Sex_short"] = titanic["Sex_short"].str.replace("male", "M")
これは面倒になり、ミスを招きやすくなります。これらの2つのステートメントが逆の順序で適用された場合にどうなるか、考えてみてください(または自分で試してみてください)…
覚えておくこと
文字列メソッドは、
str
アクセサーを使用して使用できます。文字列メソッドは要素ごとに機能し、条件付きインデックスに使用できます。
replace
メソッドは、指定された辞書に従って値を変換する便利なメソッドです。
完全な概要は、テキストデータの操作に関するユーザーガイドページに記載されています。