Python文件读写操作技巧：高效处理文本与JSON

在Python编程中，文件读写是基础且至关重要的操作。无论是处理日志文件、配置文件，还是与外部数据源交互，高效的文件读写能力都能显著提升程序的性能和可靠性。文本文件和JSON文件是两种常见的数据存储格式，文本文件以纯文本形式存储数据，简单通用；JSON文件则以结构化的方式存储数据，便于不同系统间的数据交换。本文ZHANID工具网将详细介绍Python中高效处理文本与JSON文件的读写操作技巧，帮助开发者在实际项目中更加得心应手。

文本文件读写操作技巧

基本读写方法

• 读取文本文件：Python提供了多种读取文本文件的方法，最常用的是使用内置的open()函数结合read()、readline()和readlines()方法。

• read()方法会一次性读取整个文件内容，并将其作为字符串返回。适用于文件较小的情况，若文件过大，可能会占用大量内存。示例代码如下：

with open('example.txt', 'r', encoding='utf-8') as file:
  content = file.read()
  print(content)

- `readline()`方法每次读取文件的一行内容，返回一个字符串。通过循环调用该方法可以逐行读取文件，适合处理大文件，避免内存溢出。示例如下：

with open('example.txt', 'r', encoding='utf-8') as file:
  while True:
    line = file.readline()
    if not line:
      break
    print(line.strip()) # strip()方法去除行末的换行符

- `readlines()`方法将文件的每一行作为一个元素存储在列表中返回。同样，对于大文件要谨慎使用，以免内存不足。示例代码如下：

with open('example.txt', 'r', encoding='utf-8') as file:
  lines = file.readlines()
  for line in lines:
    print(line.strip())

• 写入文本文件：写入文本文件主要使用write()和writelines()方法。

• write()方法将字符串写入文件，若文件不存在则创建，存在则覆盖原有内容（除非以追加模式打开）。示例如下：

with open('output.txt', 'w', encoding='utf-8') as file:
  file.write('Hello, World!\n')
  file.write('This is a text file.\n')

- `writelines()`方法接受一个字符串列表作为参数，将列表中的每个字符串依次写入文件，不会自动添加换行符，需要手动在字符串中添加。示例代码如下：

lines = ['Line 1\n', 'Line 2\n', 'Line 3\n']
with open('output.txt', 'w', encoding='utf-8') as file:
  file.writelines(lines)

高效读写技巧

• 使用上下文管理器（with语句）：上下文管理器能够自动管理文件的打开和关闭操作，即使在文件读写过程中发生异常，也能确保文件被正确关闭，避免资源泄漏。前面的示例代码中已经展示了with语句的使用方法，这是一种非常推荐的文件操作方式。

• 逐块读取大文件：对于大文件，一次性读取可能会导致内存不足。可以采用逐块读取的方式，指定每次读取的字节数，减少内存占用。示例代码如下：

chunk_size = 1024 # 每次读取1024字节
with open('large_file.txt', 'r', encoding='utf-8') as file:
  while True:
    chunk = file.read(chunk_size)
    if not chunk:
      break
    # 处理读取到的数据块
    print(chunk)

• 批量写入数据：如果需要写入大量数据，可以将数据先收集到一个列表中，然后使用writelines()方法一次性写入，减少磁盘I/O操作次数，提高写入效率。示例如下：

data_list = []
for i in range(1000):
  data_list.append(f'This is line {i}\n')

with open('batch_output.txt', 'w', encoding='utf-8') as file:
  file.writelines(data_list)

• 处理文件编码：在读写文本文件时，正确处理文件编码非常重要。常见的编码有utf-8、gbk等。如果不指定编码，可能会在不同平台上出现乱码问题。建议在打开文件时明确指定编码方式，如前面示例中的encoding='utf-8'。

文本文件处理实例

假设有一个日志文件log.txt，内容如下：

2023-01-01 10:00:00 ERROR: Failed to connect to database
2023-01-01 10:01:00 WARNING: Low disk space
2023-01-01 10:02:00 INFO: User logged in

现在需要统计日志中不同级别（ERROR、WARNING、INFO）的数量。可以使用以下代码实现：

log_levels = {'ERROR': 0, 'WARNING': 0, 'INFO': 0}

with open('log.txt', 'r', encoding='utf-8') as file:
  for line in file:
    parts = line.split()
    if len(parts) >= 4:
      level = parts[3].rstrip(':')
      if level in log_levels:
        log_levels[level] += 1

print(log_levels)

JSON文件读写操作技巧

基本读写方法

• 读取JSON文件：Python的json模块提供了load()方法用于从文件中读取JSON数据并将其转换为Python对象（如字典、列表等）。示例代码如下：

import json

with open('data.json', 'r', encoding='utf-8') as file:
  data = json.load(file)
  print(data)

• 写入JSON文件：使用json模块的dump()方法可以将Python对象转换为JSON格式的字符串并写入文件。示例如下：

import json

data = {
  'name': 'John',
  'age': 30,
  'city': 'New York'
}

with open('output.json', 'w', encoding='utf-8') as file:
  json.dump(data, file)

高效读写技巧

• 处理复杂数据类型：JSON本身支持的数据类型有限，如字符串、数字、布尔值、列表和字典等。如果Python对象中包含JSON不支持的数据类型（如日期时间对象），需要进行自定义序列化和反序列化处理。示例代码如下：

import json
from datetime import datetime

class CustomEncoder(json.JSONEncoder):
  def default(self, obj):
    if isinstance(obj, datetime):
      return obj.isoformat()
    return super().default(obj)

data = {
  'event': 'Meeting',
  'time': datetime.now()
}

with open('custom_output.json', 'w', encoding='utf-8') as file:
  json.dump(data, file, cls=CustomEncoder)

# 反序列化时需要手动处理日期时间字符串的转换
with open('custom_output.json', 'r', encoding='utf-8') as file:
  loaded_data = json.load(file)
  if 'time' in loaded_data:
    loaded_data['time'] = datetime.fromisoformat(loaded_data['time'])
  print(loaded_data)

• 美化输出JSON：默认情况下，dump()方法写入的JSON数据是紧凑格式的，没有换行和缩进，可读性较差。可以使用indent参数指定缩进空格数，使输出的JSON数据更易读。示例如下：

import json

data = {
  'name': 'John',
  'age': 30,
  'city': 'New York',
  'hobbies': ['reading', 'traveling', 'photography']
}

with open('pretty_output.json', 'w', encoding='utf-8') as file:
  json.dump(data, file, indent=4)

• 处理大JSON文件：对于大JSON文件，一次性读取可能会导致内存不足。可以使用ijson库逐项解析JSON文件，减少内存占用。示例代码如下：

import ijson

# 假设有一个大JSON文件large_data.json，包含一个对象列表
with open('large_data.json', 'r', encoding='utf-8') as file:
  # 逐项解析列表中的对象
  for item in ijson.items(file, 'item'):
    # 处理每个对象
    print(item)

JSON文件处理实例

假设有一个JSON文件students.json，内容如下：

[
  {
    "name": "Alice",
    "age": 20,
    "grade": "A"
  },
  {
    "name": "Bob",
    "age": 21,
    "grade": "B"
  },
  {
    "name": "Charlie",
    "age": 19,
    "grade": "A"
  }
]

现在需要统计每个年级的学生人数。可以使用以下代码实现：

import json

grade_count = {}

with open('students.json', 'r', encoding='utf-8') as file:
  students = json.load(file)
  for student in students:
    grade = student['grade']
    grade_count[grade] = grade_count.get(grade, 0) + 1

print(grade_count)

综合应用：文本与JSON文件交互处理

在实际项目中，常常需要将文本文件和JSON文件进行交互处理。例如，从文本文件中读取数据，处理后保存为JSON文件；或者从JSON文件中读取数据，生成文本报告。下面是一个综合示例：

假设有一个文本文件raw_data.txt，内容如下：

Alice,20,A
Bob,21,B
Charlie,19,A

需要将该文本文件中的数据转换为JSON格式并保存，同时生成一个包含学生基本信息摘要的文本报告。

import json

# 读取文本文件数据
students = []
with open('raw_data.txt', 'r', encoding='utf-8') as file:
  for line in file:
    name, age, grade = line.strip().split(',')
    students.append({
      'name': name,
      'age': int(age),
      'grade': grade
    })

# 保存为JSON文件
with open('students_data.json', 'w', encoding='utf-8') as file:
  json.dump(students, file, indent=4)

# 生成文本报告
report_lines = []
report_lines.append("Student Information Summary")
report_lines.append("=" * 30)
for student in students:
  report_lines.append(f"Name: {student['name']}, Age: {student['age']}, Grade: {student['grade']}")

with open('student_report.txt', 'w', encoding='utf-8') as file:
  file.write('\n'.join(report_lines))

结论

本文详细介绍了Python中高效处理文本与JSON文件的读写操作技巧。对于文本文件，掌握了基本的读写方法后，通过使用上下文管理器、逐块读取、批量写入等技巧可以提高文件处理的效率和可靠性。对于JSON文件，除了基本的读写操作，还需要注意处理复杂数据类型、美化输出以及处理大文件等问题。通过综合应用文本和JSON文件的处理技巧，可以更好地满足实际项目中的数据存储和交换需求。开发者在实际编程中应根据具体场景选择合适的方法，不断提升文件处理的性能和代码质量。