In [1]: import pandas as pd
このチュートリアルで使用されるデータ
  • このチュートリアルでは、CSVとして保存されているタイタニックデータセットを使用します。データは次のデータ列で構成されています

    • PassengerId:各乗客のID。

    • Survived:乗客が生存したかどうかを示します。0は生存、1は死亡。

    • Pclass:3つのチケットクラスのいずれか:クラス1、クラス2、クラス3

    • Name:乗客の名前。

    • Sex:乗客の性別。

    • Age:乗客の年齢(歳)。

    • SibSp:乗船している兄弟または配偶者の数。

    • Parch:乗船している両親または子供の数。

    • Ticket:乗客のチケット番号。

    • Fare:運賃を示します。

    • Cabin:乗客の客室番号。

    • Embarked:乗船港。

    生データへ
    In [2]: titanic = pd.read_csv("data/titanic.csv")
    
    In [3]: titanic.head()
    Out[3]: 
       PassengerId  Survived  Pclass  ...     Fare Cabin  Embarked
    0            1         0       3  ...   7.2500   NaN         S
    1            2         1       1  ...  71.2833   C85         C
    2            3         1       3  ...   7.9250   NaN         S
    3            4         1       1  ...  53.1000  C123         S
    4            5         0       3  ...   8.0500   NaN         S
    
    [5 rows x 12 columns]
    

テキストデータを操作する方法#

  • すべての名前の文字を小文字にします。

    In [4]: titanic["Name"].str.lower()
    Out[4]: 
    0                                braund, mr. owen harris
    1      cumings, mrs. john bradley (florence briggs th...
    2                                 heikkinen, miss. laina
    3           futrelle, mrs. jacques heath (lily may peel)
    4                               allen, mr. william henry
                                 ...                        
    886                                montvila, rev. juozas
    887                         graham, miss. margaret edith
    888             johnston, miss. catherine helen "carrie"
    889                                behr, mr. karl howell
    890                                  dooley, mr. patrick
    Name: Name, Length: 891, dtype: object
    

    Name列の各文字列を小文字にするには、Name列を選択し(データの選択に関するチュートリアルを参照)、strアクセサーを追加してlowerメソッドを適用します。このように、各文字列は要素ごとに変換されます。

時系列チュートリアルのdatetimeオブジェクトがdtアクセサーを持つのと同様に、strアクセサーを使用すると、多くの特殊な文字列メソッドが利用できます。これらのメソッドは、一般的に単一要素用の組み込み文字列メソッドと同じ名前ですが、列の各値に対して要素ごとに適用されます(要素ごとの計算を覚えていますか?)。

  • コンマの前の部分を抽出することによって、乗客の姓を含む新しい列Surnameを作成します。

    In [5]: titanic["Name"].str.split(",")
    Out[5]: 
    0                             [Braund,  Mr. Owen Harris]
    1      [Cumings,  Mrs. John Bradley (Florence Briggs ...
    2                              [Heikkinen,  Miss. Laina]
    3        [Futrelle,  Mrs. Jacques Heath (Lily May Peel)]
    4                            [Allen,  Mr. William Henry]
                                 ...                        
    886                             [Montvila,  Rev. Juozas]
    887                      [Graham,  Miss. Margaret Edith]
    888          [Johnston,  Miss. Catherine Helen "Carrie"]
    889                             [Behr,  Mr. Karl Howell]
    890                               [Dooley,  Mr. Patrick]
    Name: Name, Length: 891, dtype: object
    

    Series.str.split()メソッドを使用すると、各値は2つの要素のリストとして返されます。最初の要素はコンマの前、2番目の要素はコンマの後です。

    In [6]: titanic["Surname"] = titanic["Name"].str.split(",").str.get(0)
    
    In [7]: titanic["Surname"]
    Out[7]: 
    0         Braund
    1        Cumings
    2      Heikkinen
    3       Futrelle
    4          Allen
             ...    
    886     Montvila
    887       Graham
    888     Johnston
    889         Behr
    890       Dooley
    Name: Surname, Length: 891, dtype: object
    

    姓を表す最初の部分(要素0)にのみ関心があるため、再びstrアクセサーを使用してSeries.str.get()を適用し、関連する部分を抽出できます。実際、これらの文字列関数は連結して複数の関数を一度に組み合わせることができます!

ユーザーガイドへ

文字列の一部の抽出に関する詳細は、文字列の分割と置換に関するユーザーガイドセクションにあります。

  • タイタニック号に乗船している伯爵夫人に関する乗客データを抽出します。

    In [8]: titanic["Name"].str.contains("Countess")
    Out[8]: 
    0      False
    1      False
    2      False
    3      False
    4      False
           ...  
    886    False
    887    False
    888    False
    889    False
    890    False
    Name: Name, Length: 891, dtype: bool
    
    In [9]: titanic[titanic["Name"].str.contains("Countess")]
    Out[9]: 
         PassengerId  Survived  Pclass  ... Cabin Embarked  Surname
    759          760         1       1  ...   B77        S   Rothes
    
    [1 rows x 13 columns]
    

    (*彼女の物語に興味がありますか?Wikipediaをご覧ください!*)

    文字列メソッドSeries.str.contains()は、Name列の各値について、文字列にCountessという言葉が含まれているかどうかをチェックし、各値についてTrueCountessは名前の一部です)またはFalseCountessは名前の一部ではありません)を返します。この出力は、データのサブセット化チュートリアルで紹介されている条件付き(ブール値)インデックスを使用して、データのサブセットを選択するために使用できます。タイタニック号には伯爵夫人が1人しかいなかったため、結果として1行が得られます。

注記

Series.str.contains()メソッドとSeries.str.extract()メソッドは正規表現を受け入れますが、このチュートリアルの範囲外です。より強力な文字列抽出がサポートされています。

ユーザーガイドへ

文字列の一部の抽出に関する詳細は、文字列のマッチングと抽出に関するユーザーガイドセクションにあります。

  • タイタニック号で最も長い名前の乗客は誰ですか?

    In [10]: titanic["Name"].str.len()
    Out[10]: 
    0      23
    1      51
    2      22
    3      44
    4      24
           ..
    886    21
    887    28
    888    40
    889    21
    890    19
    Name: Name, Length: 891, dtype: int64
    

    最も長い名前を取得するには、まずName列の各名前の長さを取得する必要があります。pandasの文字列メソッドを使用することにより、Series.str.len()関数が各名前に個別に(要素ごとに)適用されます。

    In [11]: titanic["Name"].str.len().idxmax()
    Out[11]: 307
    

    次に、名前の長さが最も大きいテーブル内の対応する場所、できればインデックスラベルを取得する必要があります。idxmax()メソッドはまさにそれを行います。これは文字列メソッドではなく整数に適用されるため、strは使用されません。

    In [12]: titanic.loc[titanic["Name"].str.len().idxmax(), "Name"]
    Out[12]: 'Penasco y Castellana, Mrs. Victor de Satode (Maria Josefa Perez de Soto y Vallejo)'
    

    行のインデックス名(307)と列(Name)に基づいて、サブセット化に関するチュートリアルで紹介されているloc演算子を使用して選択を行うことができます。

  • 「Sex」列で、「male」の値を「M」に、「female」の値を「F」に置き換えます。

    In [13]: titanic["Sex_short"] = titanic["Sex"].replace({"male": "M", "female": "F"})
    
    In [14]: titanic["Sex_short"]
    Out[14]: 
    0      M
    1      F
    2      F
    3      F
    4      M
          ..
    886    M
    887    F
    888    F
    889    M
    890    M
    Name: Sex_short, Length: 891, dtype: object
    

    replace()は文字列メソッドではありませんが、マッピングまたは語彙を使用して特定の値を変換する便利な方法を提供します。マッピング{from : to}を定義するには、dictionary(辞書)が必要です。

警告

特定の文字セットを置き換えるために使用できるreplace()メソッドもあります。ただし、複数の値のマッピングがある場合、これは

titanic["Sex_short"] = titanic["Sex"].str.replace("female", "F")
titanic["Sex_short"] = titanic["Sex_short"].str.replace("male", "M")

これは面倒になり、ミスを招きやすくなります。これらの2つのステートメントが逆の順序で適用された場合にどうなるか、考えてみてください(または自分で試してみてください)…

覚えておくこと

  • 文字列メソッドは、strアクセサーを使用して使用できます。

  • 文字列メソッドは要素ごとに機能し、条件付きインデックスに使用できます。

  • replaceメソッドは、指定された辞書に従って値を変換する便利なメソッドです。

ユーザーガイドへ

完全な概要は、テキストデータの操作に関するユーザーガイドページに記載されています。