面试题库 › 算法 / 大模型 › pandas 如何读取超大文件

pandas 如何读取超大文件

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:常用库与框架

哪些公司问过

cvte1

常见岗位:NLP / 语音

答案要点

  1. read_csv 设置 chunksize 返回 TextFileReader 迭代器,按块读取
  2. 逐块过滤、聚合,只保留中间结果后合并,避免整体载入
  3. iterator=True 配合 get_chunk 可手动按需读取
  4. usecols 只读必要列,dtype 用更小类型,低基数字符串用 category
  5. 反复使用转 Parquet;更大数据用 Dask、Polars、数据库或 Spark

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题