Pandas 简介 #

┌─────────────────┐
│     原始数据     │
│   杂乱无章      │
└────────┬────────┘
         │
         ▼
┌─────────────────┐
│   数据清洗       │
│   Pandas 处理    │
└────────┬────────┘
         │
         ▼
┌─────────────────┐
│   数据分析       │
│   统计、建模     │
└────────┬────────┘
         │
         ▼
┌─────────────────┐
│   洞察与决策     │
│   可视化呈现     │
└─────────────────┘

┌─────────────────────────────────────────────────────────────┐
│                         Pandas                               │
├─────────────────────────────────────────────────────────────┤
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐         │
│  │   Series    │  │  DataFrame  │  │   Index     │         │
│  └─────────────┘  └─────────────┘  └─────────────┘         │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐         │
│  │  数据清洗    │  │  数据分析    │  │  数据可视化  │         │
│  └─────────────┘  └─────────────┘  └─────────────┘         │
└─────────────────────────────────────────────────────────────┘

2008年 ─── Pandas 诞生
    │
    │      Wes McKinney 创建
    │      AQR Capital Management
    │      解决金融数据分析问题
    │
2009年 ─── 开源发布
    │
    │      GitHub 开源
    │      社区开始贡献
    │
2012年 ─── Python 数据分析书籍
    │
    │      Wes McKinney 著书
    │      推广 Pandas 使用
    │
2015年 ─── Pandas 0.17
    │
    │      更好的 NumPy 集成
    │      性能优化
    │
2018年 ─── Pandas 0.23
    │
    │      可空整数类型
    │      改进时间序列
    │
2020年 ─── Pandas 1.0
    │
    │      正式版发布
    │      API 稳定
    │
2023年 ─── Pandas 2.0
    │
    │      Apache Arrow 后端
    │      性能大幅提升
    │
至今   ─── 行业标准
    │
    │      数据分析必备工具
    │      活跃的社区

# 传统方式：使用 Python 列表和字典
data = [
    {'name': 'Alice', 'age': 25, 'city': 'New York'},
    {'name': 'Bob', 'age': 30, 'city': 'London'},
    {'name': 'Charlie', 'age': 35, 'city': 'Tokyo'}
]

# 计算平均年龄需要手动循环
total_age = 0
for person in data:
    total_age += person['age']
average_age = total_age / len(data)

# 筛选数据也很繁琐
filtered = [p for p in data if p['age'] > 25]

import pandas as pd

# 使用 DataFrame
df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'London', 'Tokyo']
})

# 计算平均年龄 - 一行搞定
average_age = df['age'].mean()

# 筛选数据 - 简洁直观
filtered = df[df['age'] > 25]

import pandas as pd
import numpy as np

# Series - 一维带标签数组
s = pd.Series([1, 2, 3, 4, 5], index=['a', 'b', 'c', 'd', 'e'])
print(s)

# DataFrame - 二维表格
df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': ['a', 'b', 'c'],
    'C': [1.1, 2.2, 3.3]
})
print(df)

# 数据清洗
df.dropna()                    # 删除缺失值
df.fillna(0)                   # 填充缺失值
df.drop_duplicates()           # 删除重复值

# 数据转换
df['new_col'] = df['A'] * 2    # 新增列
df.rename(columns={'A': 'a'})  # 重命名列

# 数据筛选
df[df['A'] > 1]                # 条件筛选
df.query('A > 1')              # 查询语法

# 描述统计
df.describe()                  # 统计摘要
df.mean()                      # 平均值
df.corr()                      # 相关系数

# 分组聚合
df.groupby('category').sum()   # 分组求和
df.pivot_table(...)            # 透视表

# 时间序列
df.resample('M').mean()        # 月度重采样
df.rolling(7).mean()           # 7日滚动平均

# 读取数据
pd.read_csv('data.csv')        # CSV
pd.read_excel('data.xlsx')     # Excel
pd.read_json('data.json')      # JSON
pd.read_sql(query, conn)       # SQL 数据库

# 写入数据
df.to_csv('output.csv')
df.to_excel('output.xlsx')
df.to_json('output.json')
df.to_sql('table', conn)

import pandas as pd

# 读取股票数据
df = pd.read_csv('stock_prices.csv', parse_dates=['date'])

# 计算收益率
df['returns'] = df['price'].pct_change()

# 计算移动平均
df['ma_20'] = df['price'].rolling(20).mean()

# 计算波动率
volatility = df['returns'].std() * np.sqrt(252)

# 处理缺失值
df.dropna(subset=['important_col'])
df.fillna({'col1': 0, 'col2': 'unknown'})

# 处理重复值
df.drop_duplicates()

# 数据类型转换
df['date'] = pd.to_datetime(df['date'])
df['amount'] = df['amount'].astype(float)

# 销售数据分析
sales = pd.read_excel('sales.xlsx')

# 按地区分组
regional_sales = sales.groupby('region')['amount'].sum()

# 月度趋势
monthly = sales.resample('M', on='date')['amount'].sum()

# 产品排名
top_products = sales.groupby('product')['amount'].sum().nlargest(10)

# 实验数据处理
data = pd.read_csv('experiment.csv')

# 描述统计
summary = data.describe()

# 相关性分析
correlation = data.corr()

# 分组比较
grouped = data.groupby('treatment').agg(['mean', 'std'])

# 一维带标签数组
s = pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])

# 访问元素
s['a']        # 通过标签
s[0]          # 通过位置
s['a':'c']    # 切片

# 二维表格结构
df = pd.DataFrame({
    'name': ['Alice', 'Bob'],
    'age': [25, 30]
})

# 访问数据
df['name']           # 选择列
df.loc[0]            # 选择行（标签）
df.iloc[0]           # 选择行（位置）
df.loc[0, 'name']    # 选择单元格

# 行索引
df.index             # 行标签
df.columns           # 列标签

# 设置索引
df.set_index('id')   # 设置某列为索引
df.reset_index()     # 重置索引

# 多层索引
df.set_index(['year', 'month'])

# 所有操作围绕数据展开
df.head()          # 查看数据
df.info()          # 数据信息
df.describe()      # 数据统计

# 流畅的链式调用
result = (df
    .dropna()
    .query('age > 18')
    .groupby('city')
    .agg({'salary': 'mean'})
    .sort_values('salary', ascending=False)
)

# 避免循环，使用向量化操作
df['new_col'] = df['col1'] + df['col2']  # 高效
# 而不是：
# for i in range(len(df)):
#     df.loc[i, 'new_col'] = df.loc[i, 'col1'] + df.loc[i, 'col2']

⚠️ 内存限制
   - 数据需要全部加载到内存
   - 超大数据集需要分块处理

⚠️ 单线程
   - 默认单线程执行
   - 大数据计算可能较慢

⚠️ 数据类型
   - 某些操作会改变数据类型
   - 需要注意类型推断

# 大数据处理
df = pd.read_csv('large.csv', chunksize=10000)
for chunk in df:
    process(chunk)

# 使用 Dask 扩展
import dask.dataframe as dd
ddf = dd.read_csv('very_large.csv')

# 类型优化
df = df.astype({'col1': 'int32', 'col2': 'category'})

入门阶段
├── Pandas 简介（本文）
├── 安装与配置
└── Series 和 DataFrame 基础

进阶阶段
├── 数据选择与过滤
├── 数据清洗
└── 统计分析

高级阶段
├── 分组聚合
├── 合并连接
└── 时间序列

实战阶段
├── 数据分析项目
├── 性能优化
└── 最佳实践