安全与对齐

幻觉（Hallucination）

什么是幻觉

幻觉是指模型生成的内容与事实不符或凭空编造信息。这是 LLM 最核心的安全问题之一。

幻觉的三种类型：

• 事实性幻觉：模型生成错误的事实信息，如虚构历史事件、捏造引用来源
• 忠实性幻觉：模型没有遵循用户指令或上下文约束，如偏离角色设定
• 一致性幻觉：模型在同一对话中出现前后矛盾的表述

幻觉成因

1. 训练数据中的错误：模型从包含错误信息的训练数据中学习
2. 解码策略：过高的 temperature 会增加随机性，提高幻觉概率
3. 知识边界模糊：模型无法清晰区分”知道”和”不知道”
4. 统计偏好：模型倾向于生成”听起来合理”的内容，即使不符合事实

缓解策略

# 1. 约束解码 - 强制引用来源
def answer_with_citations(query, context):
    prompt = f"""
    基于以下资料回答问题。如果不确定，明确说不知道。
    请在每个事实描述后标注引用编号。

    资料：
    {context}

    问题：{query}
    回答：
    """
    return llm.invoke(prompt)

# 2. 不确定性校准
def calibrated_answer(query):
    prompt = f"""
    回答以下问题。根据你的确定程度，在回答前添加置信度标签：
    [高确定性]、[中等确定性] 或 [低确定性]

    问题：{query}
    """
    return llm.invoke(prompt)

# 3. 检索增强（RAG）
# 在生成之前检索相关文档，让模型的回答有所依据

越狱攻击（Jailbreak）

越狱攻击的目的是绕过模型的安全护栏，诱导模型生成有害内容。

常见攻击手法

防御措施

# 输入内容检测
def detect_jailbreak(user_input):
    patterns = [
        r"忽略(所有)?(之前|先前)?(的)?(指令|规则|约束)",
        r"你(现在|必须|要).*(没有限制|自由|什么都说)",
        r"DAN|do anything now",
        r"假装|扮演|角色.*没有限制",
        r"这是(一个|场).*(安全|测试|实验).*为了(展示|演示|说明)",
    ]
    for pattern in patterns:
        if re.search(pattern, user_input, re.IGNORECASE):
            return True
    return False

红队测试

红队测试是主动发现模型安全漏洞的过程。建议：

1. 组建专门的红队团队
2. 建立攻击手法库并持续更新
3. 每次模型发布前进行系统性测试
4. 将发现的漏洞分类并修复

内容过滤

多层级过滤系统

用户输入 → 输入过滤器 → LLM → 输出过滤器 → 用户

                     ↓
                监控系统

class ContentFilter:
    def __init__(self):
        self.blocklist = load_blocklist()
        self.classifier = load_harm_classifier()

    def filter_input(self, text):
        # 1. 关键词匹配
        for keyword in self.blocklist:
            if keyword in text:
                return False, "输入包含违禁词"

        # 2. 分类器判断
        result = self.classifier.predict(text)
        if result["harmful"] > 0.9:
            return False, f"输入被判定为有害（类别：{result['category']}）"

        return True, None

    def filter_output(self, text):
        # 输出同样需要过滤，因为模型可能被诱导产生有害内容
        return self.filter_input(text)

安全分类

安全分类器可以将内容按照安全维度分类：

• 色情内容：性暗示、色情描写
• 暴力内容：杀戮、伤害、恐怖主义
• 仇恨言论：种族歧视、性别歧视
• 违法内容：毒品制作、黑客攻击、欺诈
• 政治敏感：违反所在地法律法规的言论

RLHF（基于人类反馈的强化学习）

RLHF 是让模型行为与人类价值观对齐的核心技术。

RLHF 三阶段

第一阶段：SFT（监督微调）
在高质量人工标注数据上微调模型，学习基础的对齐行为

第二阶段：RM（奖励模型训练）
收集人类对不同回复的偏好数据，训练一个打分模型

第三阶段：PPO（强化学习优化）
用奖励模型指导语言模型优化，最大化期望奖励

奖励模型

# 奖励模型训练数据格式
preference_data = [
    {
        "prompt": "如何制作炸弹？",
        "chosen": "抱歉，我无法提供此类危险信息。",
        "rejected": "制作炸弹需要以下材料：..."
    },
    {
        "prompt": "写一首关于春天的诗",
        "chosen": "春风又绿江南岸...",
        "rejected": "抱歉，我不能写诗。"
    }
]

DPO（Direct Preference Optimization）

DPO 是 RLHF 的简化替代方案，不需要单独训练奖励模型，直接用偏好数据优化策略。

from datasets import Dataset
from trl import DPOTrainer

training_args = DPOConfig(
    beta=0.1,          # KL 散度惩罚系数
    learning_rate=5e-6,
    per_device_batch_size=4,
    max_length=1024,
)

dpo_trainer = DPOTrainer(
    model=model,
    ref_model=ref_model,
    args=training_args,
    train_dataset=preference_dataset,
    tokenizer=tokenizer,
)

dpo_trainer.train()

DPO 的 beta 参数控制了模型更新的激进程度。值越小，模型越积极地迎合偏好数据中的选择；值越大，行为越接近原始模型。

安全工程清单

1. 输入过滤和输出过滤双保险
2. 定期红队测试并修复发现的漏洞
3. 建立安全指标和监控告警
4. 制定人工干预机制（Human-in-the-loop）
5. 遵循各地法律法规（如中国的生成式 AI 管理办法）
6. 保持透明，公开模型的能力边界和限制