pandas 如何读取超大文件
哪些公司问过
答案要点
- read_csv 设置 chunksize 返回 TextFileReader 迭代器,按块读取
- 逐块过滤、聚合,只保留中间结果后合并,避免整体载入
- iterator=True 配合 get_chunk 可手动按需读取
- usecols 只读必要列,dtype 用更小类型,低基数字符串用 category
- 反复使用转 Parquet;更大数据用 Dask、Polars、数据库或 Spark
易错点
- 以为设置 chunksize 后返回的仍是 DataFrame
- 分块求均值时直接平均各块均值
- 不指定 dtype,字符串列占用大量内存、含缺失值的整数列被推断为 float64
面试官常见追问
- 分块读取时如何正确做分组求均值?
- 如何查看 DataFrame 的内存占用?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。