Python 数据处理常见性能优化手段
哪些公司问过
答案要点
- 先 profile(cProfile、line_profiler)定位热点再优化
- 向量化:用 NumPy/Pandas 整列运算替代循环、iterrows 和逐行 apply
- 优化 dtype:category、数值降精度、稀疏矩阵,减少内存
- IO 优化:分块读取、列式格式如 Parquet、只读必要列;减少中间拷贝,批量 concat
- Numba/Cython 加速热点,多进程绕开 GIL;大数据用 Dask、Spark、Polars
易错点
- 不做 profile 就凭感觉优化
- 用多线程加速纯 Python 的 CPU 密集计算
- 在循环里反复 concat 或 append DataFrame
面试官常见追问
- 为什么多线程不能加速 CPU 密集的 Python 代码?
- Pandas 里 apply 为什么慢?
- 循环里 append 到 DataFrame 有什么问题?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。