1. 实验概述：文件操作基础
文件操作是编程中最基础也最重要的技能之一。无论是处理配置文件、日志分析还是数据持久化，都离不开对文件的读写操作。这个实验将带你系统掌握文件操作的核心技术点。
文件操作的本质是程序与存储设备之间的数据交互。在内存中处理的数据是临时的，程序结束后就会消失，而文件提供了持久化保存数据的能力。理解这一点对后续学习数据库等知识至关重要。
2. 文件操作核心技术解析
2.1 文件打开模式详解
文件操作的第一步是正确打开文件。常见的打开模式包括：
- 'r'：只读模式（默认）
- 'w'：写入模式（会清空原有内容）
- 'a'：追加模式
- 'b'：二进制模式
- '+'：读写模式（可与其他模式组合使用）
特别要注意的是，在Windows系统下处理文本文件时，换行符会自动转换为\r\n，而在Linux/Mac下是\n。使用二进制模式('b')可以避免这个问题。
2.2 文件指针操作技巧
文件指针决定了读写操作的位置。关键方法包括：
- tell()：获取当前指针位置
- seek(offset, whence)：移动指针位置
- whence=0：从文件开头计算（默认）
- whence=1：从当前位置计算
- whence=2：从文件末尾计算
一个实用技巧：在处理大文件时，可以使用seek快速定位到特定位置，避免逐行读取的低效操作。
3. 文件操作实战演练
3.1 文本文件处理
文本文件处理是最常见的场景。基本操作流程：
python复制# 最佳实践：使用with语句自动管理文件资源
with open('example.txt', 'r', encoding='utf-8') as f:
# 逐行读取（内存友好）
for line in f:
print(line.strip())
# 读取所有内容（小文件适用）
content = f.read()
编码问题是最常见的坑点。务必明确指定编码格式（如utf-8），避免因系统默认编码不同导致的乱码问题。
3.2 二进制文件操作
处理图片、视频等二进制文件时：
python复制with open('image.jpg', 'rb') as f:
data = f.read()
# 处理二进制数据...
二进制模式下，读取的内容是bytes对象而非字符串。处理时要注意字节序等问题。
3.3 高效文件处理技巧
对于大文件处理，推荐使用：
- 迭代器逐行处理（内存友好）
- 缓冲区读写（平衡性能与内存）
- mmap内存映射（超大型文件）
python复制# 缓冲区读写示例
BUFFER_SIZE = 1024 * 1024 # 1MB
with open('large_file.bin', 'rb') as f:
while chunk := f.read(BUFFER_SIZE):
process_chunk(chunk)
4. 高级文件操作技术
4.1 文件锁机制
在多进程/线程环境下操作同一文件时，需要使用文件锁避免冲突：
python复制import fcntl
with open('shared_file.txt', 'a') as f:
fcntl.flock(f, fcntl.LOCK_EX) # 获取排他锁
f.write("重要数据\n")
fcntl.flock(f, fcntl.LOCK_UN) # 释放锁
注意：Windows系统需要使用msvcrt模块而非fcntl。
4.2 临时文件处理
tempfile模块提供了安全的临时文件创建方式：
python复制import tempfile
# 创建临时文件（自动删除）
with tempfile.NamedTemporaryFile(delete=True) as tmp:
tmp.write(b"临时数据")
tmp.seek(0)
print(tmp.read())
这种方法比手动创建/tmp下的文件更安全，能避免竞态条件。
5. 常见问题与解决方案
5.1 文件操作典型错误处理
-
文件不存在错误（FileNotFoundError）
- 解决方案：先检查os.path.exists()
- 或者使用try-except捕获异常
-
权限问题（PermissionError）
- 检查文件权限（os.access()）
- 以适当权限运行程序
-
编码问题（UnicodeDecodeError）
- 明确指定编码格式
- 使用errors参数处理异常字符
5.2 性能优化技巧
- 批量写入替代频繁小写入
- 适当调整缓冲区大小
- 避免重复打开/关闭文件
- 考虑使用内存映射(mmap)处理超大文件
python复制# 性能对比：单次写入 vs 多次写入
import time
start = time.time()
with open('test1.txt', 'w') as f:
for i in range(10000):
f.write(str(i))
print(f"多次写入耗时：{time.time()-start:.4f}s")
start = time.time()
data = ''.join(str(i) for i in range(10000))
with open('test2.txt', 'w') as f:
f.write(data)
print(f"单次写入耗时：{time.time()-start:.4f}s")
6. 文件系统相关操作
6.1 目录遍历技巧
os和pathlib模块提供了丰富的目录操作功能：
python复制from pathlib import Path
# 递归查找所有.py文件
py_files = list(Path('.').rglob('*.py'))
# 获取文件信息
for f in py_files:
print(f.name, f.stat().st_size, f.stat().st_mtime)
pathlib相比传统os.path方法更现代、更易用，推荐优先使用。
6.2 文件监控实践
使用watchdog库实现文件变化监控：
python复制from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
class MyHandler(FileSystemEventHandler):
def on_modified(self, event):
print(f"文件被修改：{event.src_path}")
observer = Observer()
observer.schedule(MyHandler(), path='.', recursive=True)
observer.start()
这在开发自动构建系统、日志监控等场景非常有用。
文件操作看似简单，但在实际项目中往往会遇到各种边界情况和性能问题。建议在开发过程中多考虑异常处理、资源释放和性能优化，养成良好的编程习惯。对于复杂的文件处理需求，可以考虑使用专门的库如pandas（处理结构化数据）、PyArrow（处理大型数据集）等。