从“数据库读写错误”到 AppArmor DENIED:NAS 升级故障的全链路复盘与最小权限修复
一次系统升级之后,Web 界面挂载硬盘突然报出“数据库读写错误”。重装、格式化、检查磁盘 SMART,所有直觉指向存储故障,但真正的拦截发生在内核的强制访问控制层:升级默认启用了 AppArmor,而新挂载的数据目录并不在既有 profile 的白名单里。应用层把一个 EACCES 归类成“数据库错误”,于是整条排查线索从第一句话就被带偏了。
网上常见的处理办法是在 GRUB 里加 apparmor=0 一关了之。本文不复述这个操作,而是给出一条可复用的证据链:如何从 UI 报错一路走到内核审计日志,如何用 complain 模式学习出真实访问集合,怎样做不关闭安全模块的最小权限修正,以及变更前后的备份、验证与回滚预案。文中命令与 profile 片段均为通用 Linux 强制访问控制实践,具体路径请按自己设备的实际挂载点调整。
一、错误信息的语义错位:为什么“数据库读写错误”不是数据库问题
NAS 的“挂载硬盘”从来不是一个单纯的动作,而是一串跨层调用。把它拆开,才能看清报错究竟产生于哪一层:
Web UI 点击挂载
→ 挂载编排服务(校验 / 写库 / 通知)
→ PostgreSQL(trim_license 等 licensing / 元数据服务)
→ Docker volume metadata.db
→ /vol1 上的普通文件与目录
→ VFS 路径解析 + DAC(Unix 权限位)
→ LSM hook(AppArmor / SELinux)
→ 具体文件系统(btrfs / ext4)→ 块设备关键判据是「块设备已经挂上,但服务写不进去」。如果 findmnt 能看到挂载点、dd 能读写裸文件,那么问题不在磁盘、不在文件系统、也不在数据库引擎本身,而在路径访问的某个中间层。此时“数据库读写错误”只是编排层对底层返回值的二次包装:它捕获了一个失败,然后把 errno 抹掉,换上一句面向用户的模糊文案。
这种失真是排障成本的主要来源。下面这张表把常见 errno 与最可能的拦截层对应起来,拿到真实 errno 就能立刻把搜索范围缩小一半:
| errno | 内核语义 | 最可能的拦截层 | 典型现场 |
|---|---|---|---|
| EACCES | 权限不足 | DAC 或 LSM | 目录属主不符、AppArmor profile 未放行路径 |
| EPERM | 操作不被允许 | capability / LSM / seccomp | 容器缺 CAP_DAC_OVERRIDE、只读挂载 |
| EROFS | 只读文件系统 | 挂载选项 / systemd 保护 | remount ro、ProtectSystem=strict |
| ENOENT | 路径不存在 | 挂载命名空间 / 路径拼接 | 服务在容器 namespace 内看不到宿主机挂载点 |
| EIO / ENOSPC | 设备或空间 | 块设备层 | 才是真正该去查 SMART / dmesg 的情况 |
换句话说:先证伪存储故障,再查权限层,顺序反了会浪费大量时间。本例最终落到 EACCES,而 DAC 权限位完全正常,于是唯一剩下的解释就是 LSM。
二、证据链:从 UI 报错走到内核审计日志
排障最忌讳“看到同类帖子就照着改”。可靠的做法是先建立一条从现象到根因、每一步都有可观测输出的证据链。下面按顺序列出,其中第 3 步是决定性的一步。
2.1 证伪磁盘与挂载
# 块设备、文件系统、挂载点是否都在 lsblk -f findmnt -T /vol1 dmesg -T | tail -40 # 用 root 在该挂载点做一次真实写入(能写说明块设备与 FS 正常) touch /vol1/.probe && echo FS_OK || echo FS_BLOCKED rm -f /vol1/.probe
2.2 找到真正的服务与 errno
# 定位编排服务与数据库单元
systemctl list-units --type=service | grep -Ei 'trim|postgres|docker|mount'
journalctl -u trim_license --since "10 min ago" -o cat | tail -30
# 直接跟踪失败的系统调用,拿到被抹掉的 errno
strace -f -e trace=openat,mkdir,unlink,statx,chmod \
-s 200 -o /tmp/trace.log -p "$(pidof trim_license)"
grep -E 'EACCES|EPERM|EROFS' /tmp/trace.log | tail -20如果 strace 里出现 openat(..., "/vol1/@appdata/...", O_CREAT) = -1 EACCES,而同一路径用 root 直接 touch 又成功,基本可以断定:拦截来自 DAC 之外的另一套机制,或者服务运行在受限的 profile / namespace 里。
2.3 决定性证据:内核里的 DENIED
# AppArmor 的拒绝会同时进内核日志与 audit dmesg -T | grep -i 'apparmor' | tail -30 journalctl -k --since "10 min ago" | grep 'apparmor="DENIED"' ausearch -m AVC,USER_AVC -ts recent 2>/dev/null | grep -i apparmor | tail -20 # 当前加载了哪些 profile、处于什么模式 aa-status cat /sys/module/apparmor/parameters/enabled
一条典型的拒绝记录长这样:
audit: type=1400 audit(1768600000.123:47): apparmor="DENIED" operation="mktemp" profile="trim_license" name="/vol1/@appdata/trim/" pid=2143 comm="postgres" requested_mask="c" denied_mask="c" fsuid=108 ouid=0
| 字段 | 读法 | 本例结论 |
|---|---|---|
| profile | 被哪个 confinement 规则拦住 | licensing 服务自身的 profile |
| operation | 触发的动作 | 建临时文件,是数据库初始化的典型动作 |
| name | 被访问的路径 | 全部落在 /vol1 数据盘子树 |
| denied_mask | 被拒绝的权限集 | c(create),说明写入白名单缺失 |
| fsuid / ouid | 进程 uid / 目标属主 | 非 root 服务账号,DAC 上本来就该能写 |
至此根因闭环:升级引入的默认 profile 只放行了系统盘路径,数据盘挂载点不在其中。为什么偏偏是升级之后?三个条件同时成立才会暴露:其一,该版本把安全模块默认设为启用;其二,profile 包随之更新,规则集收紧;其三,用户数据目录是后期挂载的动态路径,静态 profile 天然无法预先覆盖。这也解释了为什么全新安装往往不受影响——初始化流程会把数据盘路径写进规则,而升级路径没有。
三、原理:LSM 究竟在哪一层拦住了一次 open()
Linux Security Modules 不是一个具体的安全模块,而是内核里的一组 security_* 钩子骨架。AppArmor、SELinux、Smack、TOMOYO 都挂在这套骨架上。一次文件访问的判定顺序大致是:
/* 简化示意:一次 openat 的权限判定链 */
int do_open(pathname, flags)
{
ret = path_lookup(pathname); /* 路径解析 */
if (ret) return ret;
ret = generic_permission(inode, mask); /* DAC: uid/gid/mode */
if (ret) return ret;
ret = security_path_open(path, ...); /* LSM hook */
if (ret) return ret; /* EACCES 常在这里产生 */
return fs->open(...); /* 落到具体文件系统 */
}这里有两个容易混淆的点:
- LSM 在 DAC 之后、文件系统之前。所以「目录权限 755/777 都没问题」完全不能证明没有拦截;反过来,LSM 拒绝也不会改变任何文件权限位,用
ls -l永远看不出异常。 - AppArmor 按路径名匹配,SELinux 按标签匹配。前者规则写成
/vol1/** rwk,,路径一变或挂载点改名就失效;后者依赖 inode 的 security context,目录换位置无所谓,但需要用restorecon/semanage fcontext维护标签。同一类故障在 SELinux 机器上的对应排查是ausearch -m AVC+sealert,修复手段是补标签而非补路径。
AppArmor 的 profile 有两种工作模式,这个区别是下一节方案设计的基础:
- enforce:拒绝并写入 DENIED 日志,进程拿到
EACCES。 - complain:只记录 ALLOWED 日志不拦截,业务照常运行。这是生产环境收集真实访问集合的安全方式——不需要先猜规则。
另外,Docker 的 metadata.db 与 licensing 服务之所以同时报错,并非两个独立故障:它们的数据目录都位于同一个 /vol1 子树下,被同一条路径规则一并挡住。把多个同时出现的报错合并成一个共同根因,是这类排障里最省时间的一步。
四、三种修复方案与安全权衡
4.1 方案 A:全局禁用安全模块
sudo cp /etc/default/grub /etc/default/grub.bak # 在 GRUB_CMDLINE_LINUX_DEFAULT 的引号内追加 apparmor=0 sudo nano /etc/default/grub sudo update-grub sudo reboot
优点是见效快、无需理解 profile 语法。代价是整机强制访问控制层被整体关闭:此后容器逃逸、Web 服务 RCE 之类的入侵,将只剩 DAC 一道防线;对暴露在公网的 NAS 来说,这个折抵并不划算。若只是临时验证根因,用它做一次 A/B 对照是合理的;作为长期方案,我更倾向 B。
4.2 方案 B:最小权限修正(推荐)
思路是不关模块,只给需要的 profile 补上数据盘路径,并且先用 complain 模式把真实访问集合学出来,再切回 enforce。这样规则既够用又不过度授权。
# 1) 切到 complain,只记录不拦截 aa-complain /etc/apparmor.d/trim_license # 2) 复现一次完整挂载流程,让所有调用路径都跑一遍 # 3) 从审计日志交互式生成规则(逐条审阅,不要一路回车) aa-logprof -f /var/log/audit/audit.log # 4) 审阅后回到 enforce 并热加载 aa-enforce /etc/apparmor.d/trim_license apparmor_parser -r /etc/apparmor.d/trim_license systemctl restart trim_license
生成的规则建议放进局部覆盖文件,而不是直接改主 profile —— 后者会在下次包升级时被覆盖,故障就会「升级一次、复发一次」:
# /etc/apparmor.d/local/trim_license # 仅放行本服务需要的数据盘子路径,不开放整个 /vol1 /vol1/@appdata/trim/** rwkl, /vol1/docker/** rwkl, /vol1/**/metadata.db rwk, owner /vol1/**/.tmp-* rw,
规则里的 rwkl 分别是 read / write / link / lock,** 递归匹配多层目录,owner 前缀把权限再收紧到文件属主与进程 uid 一致时才生效。把它写成白名单而不是 /vol1/** rwkl, 一把梭,是这一步最重要的取舍。
4.3 方案 C:官方修复脚本
厂商通常会针对具体版本放出修复脚本。这类脚本是黑盒,建议先下载、先阅读、再执行,而不是直接管道进 shell:
curl -fsSL https://<厂商域名>/aptfix/trim-sec -o /tmp/trim-sec less /tmp/trim-sec # 重点看:改 GRUB?改 profile?是否重启服务? chmod +x /tmp/trim-sec && sudo /tmp/trim-sec
审阅时盯三件事:它是否悄悄改了 /etc/default/grub(等价于方案 A)、是否覆盖了 /etc/apparmor.d/ 下你已有的自定义规则、以及执行后是否需要重启。知道它做了什么,回滚才有依据。
4.4 横向对比
| 维度 | A 全局禁用 | B 最小权限 | C 官方脚本 |
|---|---|---|---|
| 生效速度 | 慢(需重启) | 快(热加载) | 快,但不可预期 |
| 安全代价 | 高,整机失去 MAC | 低,仅新增必要路径 | 取决于实现 |
| 升级后是否复发 | 不会 | 用 local/ 覆盖可避免 | 随版本变化 |
| 可回滚性 | 好(还原 GRUB) | 好(删覆盖片段) | 差,需先读懂脚本 |
| 适用场景 | 临时 A/B 验因 | 生产长期方案 | 确认实现后按版本使用 |
五、变更安全:备份、验证与回滚
改 GRUB 属于「改错了可能起不来」的操作,三条纪律值得固定下来:
- 先备份、保留可启动项。
/etc/default/grub备份一份;不要删掉旧内核启动项,确保新参数失败时还能从 GRUB 菜单选回旧配置。 - 追加而非替换。在
GRUB_CMDLINE_LINUX_DEFAULT原有值的引号内追加参数,别整行覆盖,否则可能连带丢掉quiet之外的关键参数。 - 用服务自己的身份验证。root 能写不代表服务能写,这是最容易出现的误判。
下面是一个「写探针」:以目标服务的 uid 去创建文件,直接验证修复是否对它生效,而不是验证对 root 生效。
#!/usr/bin/env bash # 以服务自身 uid 做写入探针,避免"root 能写"的假阳性 SVC_UID=$(id -u postgres) PROBE=/vol1/@appdata/trim/.write_probe sudo -u "#$SVC_UID" sh -c "touch $PROBE && echo PROBE_OK || echo PROBE_BLOCKED" rm -f "$PROBE" # 修复是否真的生效:模块仍启用、DENIED 不再新增 cat /sys/module/apparmor/parameters/enabled aa-status | grep -A2 'trim_license' journalctl -k --since "5 min ago" | grep -c 'apparmor="DENIED"'
回滚同样要能一步完成:
# 方案 A 回滚 sudo cp /etc/default/grub.bak /etc/default/grub && sudo update-grub && sudo reboot # 方案 B 回滚 sudo rm /etc/apparmor.d/local/trim_license sudo apparmor_parser -r /etc/apparmor.d/trim_license sudo aa-enforce /etc/apparmor.d/trim_license
最后回到业务侧做端到端确认:Web 界面重新挂载不再报错、相关服务 systemctl is-active 全部为 active、metadata.db 与 licensing 库可正常读写、并且升级到下一个版本后故障不复发。只在命令行验证、不回到 UI 复现一遍,不算修完。
六、把它沉淀成可复用的排查清单
这类故障的真正价值不在于记住某个产品的某个版本,而在于形成一套下次遇到「看起来像 A,其实是 B」时能直接套用的顺序:
| 步 | 动作 | 判定点 |
|---|---|---|
| 1 | 证伪底层(挂载 / 块设备 / 空间) | root 能否真实读写挂载点 |
| 2 | 拿到原始 errno 与失败调用 | journalctl + strace,不信 UI 文案 |
| 3 | 查内核安全审计日志 | DENIED / AVC / seccomp 记录 |
| 4 | 确认生效的 profile 与模式 | aa-status / sestatus |
| 5 | 合并多个报错为共同根因 | 是否落在同一受限路径 / 标签 |
| 6 | complain 学习,再做最小授权 | 规则覆盖面是否超过必要范围 |
| 7 | 以服务身份验证 + UI 端到端复现 | 不用 root 做假阳性验证 |
| 8 | 写回滚预案,确认升级后不复发 | 规则放 local/ 或标签持久化 |
同一套思路还能迁移到一批「伪装成数据库故障」的场景,它们的表层报错几乎一样,拦截层却各不相同:
| 真实拦截层 | 典型表现 | 定位手段 |
|---|---|---|
| AppArmor / SELinux | 数据目录建文件失败,权限位正常 | DENIED / AVC 日志 |
| seccomp | 特定系统调用直接失败,容器内尤甚 | strace 看 ENOSYS / EPERM,审计 SECCOMP |
| systemd 沙箱 | 仅某服务写不了,同目录其他进程正常 | ProtectSystem / ReadWritePaths / PrivateTmp |
| 挂载 namespace | 路径根本不存在(ENOENT) | nsenter 对比 /proc/<pid>/mountinfo |
| NFS root squash | root 在远程卷上反而写不了 | exports 的 squash 选项、nfsstat |
七、结论
- 别信二次包装的错误文案。“数据库读写错误”只说明有一次写入失败,不说明数据库坏了;第一步永远是拿到原始 errno,并把存储层证伪掉。
- 能挂载但写不进,先查 DAC 之外的层。LSM 拒绝不会改变文件权限位,
ls -l看不出任何异常,只有内核审计日志会说话。 - 修故障不等于关安全。complain 学习 + 局部覆盖 + 最小路径白名单,可以既恢复业务又保留强制访问控制;全局禁用适合做临时 A/B 验因,不该成为长期配置。
- 让修复活过下一次升级。把自定义规则放进
/etc/apparmor.d/local/(或把 SELinux 标签写进策略),并留下回滚命令,才算真正闭环。
这类问题最有意思的地方在于:它表面上是一次产品升级的兼容性事故,实质上是一次关于抽象层泄漏的提醒——当应用把内核的 EACCES 翻译成“数据库错误”,它就替你做了一个错误的归因决策。排障能力的一半,其实就是把被抽象掉的信息一层层还原回来。

发表评论 取消回复