语料数据建模

1. 六种基本类型

2. 嵌套：对象里放数组，数组里放对象

{
    "metadata": {
        "title": "示例标题",
        "date": "2026-09-16"
    },
    "content": [
        { "sentence_english": "Hello.", "sentence_chinese": "你好。" },
        { "sentence_english": "World.", "sentence_chinese": "世界。" }
    ]
}

• 整份记录是一个对象，也就是按名称组织的信息；里面分别存材料信息和双语内容
• metadata 的值是另一个对象（文档级材料信息）
• content是数组，也就是有顺序的多条记录；每条记录可以是一组句子，也可以是一组段落，需标明记录单位。

读取 JSON 文件 — json.load()

import json

# 从文件读取语料
with open("corpus/china-english-language-education.json", "r", encoding="utf-8") as f:
    corpus = json.load(f)

# 访问 metadata
print(corpus["metadata"]["title_chinese"])
# 人工智能时代，中国人还需要学英语吗？

# 遍历句对
for pair in corpus["content"]:
    en = pair["sentence_english"]
    zh = pair["sentence_chinese"]
    print(f"EN: {en}")
    print(f"ZH: {zh}")
    print("---")

• json.load(f) 从文件对象解析 JSON 为 Python 字典/列表
• 本例文件采用UTF-8，读取时也按UTF-8；其他文件需核对实际编码
• 解析后的corpus是字典，可按字段名取出标题或句对。

写入 JSON 文件 — json.dump()

import json

# 构建语料记录（清洗 + 对齐后的句对）
corpus_record = {
    "metadata": {
        "url": "https://cn.nytimes.com/china/20260916/china-english-language-education/dual/",
        "title_english": "In the Age of A.I., Some in China Wonder if Learning English Is Worth the Trouble",
        "title_chinese": "人工智能时代，中国人还需要学英语吗？",
        "date": "2026-09-16",
        "category": "china",
        "sentence_count": len(pairs)
    },
    "content": pairs   # pairs 是 [{"sentence_english": ..., "sentence_chinese": ...}, ...]
}

# 写入文件
with open("output/china-english-language-education.json", "w", encoding="utf-8") as f:
    json.dump(
        corpus_record,
        f,
        ensure_ascii=False,   # 便于直接阅读汉字，不显示为 \uXXXX
        indent=2              # 缩进 2 空格，便于人类阅读
    )

print("语料已保存")

字符串与文件：json.loads() / json.dumps()

import json

# 字符串 → Python 对象
json_str = '{"title": "示例", "count": 42}'
data = json.loads(json_str)       # loads = load string
print(data["title"])              # 示例

# Python 对象 → 字符串
text = json.dumps(data, ensure_ascii=False, indent=2)
print(text)

load/dump 操作文件；loads/dumps 操作字符串（s = string）。