从“数据库读写错误”到 AppArmor DENIED:NAS 升级故障的全链路复盘与最小权限修复

一次系统升级之后,Web 界面挂载硬盘突然报出“数据库读写错误”。重装、格式化、检查磁盘 SMART,所有直觉指向存储故障,但真正的拦截发生在内核的强制访问控制层:升级默认启用了 AppArmor,而新挂载的数据目录并不在既有 profile 的白名单里。应用层把一个 EACCES 归类成“数据库错误”,于是整条排查线索从第一句话就被带偏了。

网上常见的处理办法是在 GRUB 里加 apparmor=0 一关了之。本文不复述这个操作,而是给出一条可复用的证据链:如何从 UI 报错一路走到内核审计日志,如何用 complain 模式学习出真实访问集合,怎样做不关闭安全模块的最小权限修正,以及变更前后的备份、验证与回滚预案。文中命令与 profile 片段均为通用 Linux 强制访问控制实践,具体路径请按自己设备的实际挂载点调整。

一、错误信息的语义错位:为什么“数据库读写错误”不是数据库问题

NAS 的“挂载硬盘”从来不是一个单纯的动作,而是一串跨层调用。把它拆开,才能看清报错究竟产生于哪一层:

Web UI 点击挂载
  → 挂载编排服务(校验 / 写库 / 通知)
    → PostgreSQL(trim_license 等 licensing / 元数据服务)
    → Docker volume metadata.db
      → /vol1 上的普通文件与目录
        → VFS 路径解析 + DAC(Unix 权限位)
          → LSM hook(AppArmor / SELinux)
            → 具体文件系统(btrfs / ext4)→ 块设备

关键判据是「块设备已经挂上,但服务写不进去」。如果 findmnt 能看到挂载点、dd 能读写裸文件,那么问题不在磁盘、不在文件系统、也不在数据库引擎本身,而在路径访问的某个中间层。此时“数据库读写错误”只是编排层对底层返回值的二次包装:它捕获了一个失败,然后把 errno 抹掉,换上一句面向用户的模糊文案。

这种失真是排障成本的主要来源。下面这张表把常见 errno 与最可能的拦截层对应起来,拿到真实 errno 就能立刻把搜索范围缩小一半:

errno内核语义最可能的拦截层典型现场
EACCES权限不足DAC 或 LSM目录属主不符、AppArmor profile 未放行路径
EPERM操作不被允许capability / LSM / seccomp容器缺 CAP_DAC_OVERRIDE、只读挂载
EROFS只读文件系统挂载选项 / systemd 保护remount ro、ProtectSystem=strict
ENOENT路径不存在挂载命名空间 / 路径拼接服务在容器 namespace 内看不到宿主机挂载点
EIO / ENOSPC设备或空间块设备层才是真正该去查 SMART / dmesg 的情况

换句话说:先证伪存储故障,再查权限层,顺序反了会浪费大量时间。本例最终落到 EACCES,而 DAC 权限位完全正常,于是唯一剩下的解释就是 LSM。

二、证据链:从 UI 报错走到内核审计日志

排障最忌讳“看到同类帖子就照着改”。可靠的做法是先建立一条从现象到根因、每一步都有可观测输出的证据链。下面按顺序列出,其中第 3 步是决定性的一步。

2.1 证伪磁盘与挂载

# 块设备、文件系统、挂载点是否都在
lsblk -f
findmnt -T /vol1
dmesg -T | tail -40

# 用 root 在该挂载点做一次真实写入(能写说明块设备与 FS 正常)
touch /vol1/.probe && echo FS_OK || echo FS_BLOCKED
rm -f /vol1/.probe

2.2 找到真正的服务与 errno

# 定位编排服务与数据库单元
systemctl list-units --type=service | grep -Ei 'trim|postgres|docker|mount'
journalctl -u trim_license --since "10 min ago" -o cat | tail -30

# 直接跟踪失败的系统调用,拿到被抹掉的 errno
strace -f -e trace=openat,mkdir,unlink,statx,chmod \
       -s 200 -o /tmp/trace.log -p "$(pidof trim_license)"
grep -E 'EACCES|EPERM|EROFS' /tmp/trace.log | tail -20

如果 strace 里出现 openat(..., "/vol1/@appdata/...", O_CREAT) = -1 EACCES,而同一路径用 root 直接 touch 又成功,基本可以断定:拦截来自 DAC 之外的另一套机制,或者服务运行在受限的 profile / namespace 里。

2.3 决定性证据:内核里的 DENIED

# AppArmor 的拒绝会同时进内核日志与 audit
dmesg -T | grep -i 'apparmor' | tail -30
journalctl -k --since "10 min ago" | grep 'apparmor="DENIED"'
ausearch -m AVC,USER_AVC -ts recent 2>/dev/null | grep -i apparmor | tail -20

# 当前加载了哪些 profile、处于什么模式
aa-status
cat /sys/module/apparmor/parameters/enabled

一条典型的拒绝记录长这样:

audit: type=1400 audit(1768600000.123:47): apparmor="DENIED"
  operation="mktemp"  profile="trim_license"  name="/vol1/@appdata/trim/"
  pid=2143 comm="postgres" requested_mask="c" denied_mask="c"
  fsuid=108 ouid=0
字段读法本例结论
profile被哪个 confinement 规则拦住licensing 服务自身的 profile
operation触发的动作建临时文件,是数据库初始化的典型动作
name被访问的路径全部落在 /vol1 数据盘子树
denied_mask被拒绝的权限集c(create),说明写入白名单缺失
fsuid / ouid进程 uid / 目标属主非 root 服务账号,DAC 上本来就该能写

至此根因闭环:升级引入的默认 profile 只放行了系统盘路径,数据盘挂载点不在其中。为什么偏偏是升级之后?三个条件同时成立才会暴露:其一,该版本把安全模块默认设为启用;其二,profile 包随之更新,规则集收紧;其三,用户数据目录是后期挂载的动态路径,静态 profile 天然无法预先覆盖。这也解释了为什么全新安装往往不受影响——初始化流程会把数据盘路径写进规则,而升级路径没有。

三、原理:LSM 究竟在哪一层拦住了一次 open()

Linux Security Modules 不是一个具体的安全模块,而是内核里的一组 security_* 钩子骨架。AppArmor、SELinux、Smack、TOMOYO 都挂在这套骨架上。一次文件访问的判定顺序大致是:

/* 简化示意:一次 openat 的权限判定链 */
int do_open(pathname, flags)
{
    ret = path_lookup(pathname);            /* 路径解析 */
    if (ret) return ret;

    ret = generic_permission(inode, mask);  /* DAC: uid/gid/mode */
    if (ret) return ret;

    ret = security_path_open(path, ...);    /* LSM hook */
    if (ret) return ret;                    /* EACCES 常在这里产生 */

    return fs->open(...);                    /* 落到具体文件系统 */
}

这里有两个容易混淆的点:

  • LSM 在 DAC 之后、文件系统之前。所以「目录权限 755/777 都没问题」完全不能证明没有拦截;反过来,LSM 拒绝也不会改变任何文件权限位,用 ls -l 永远看不出异常。
  • AppArmor 按路径名匹配,SELinux 按标签匹配。前者规则写成 /vol1/** rwk,,路径一变或挂载点改名就失效;后者依赖 inode 的 security context,目录换位置无所谓,但需要用 restorecon / semanage fcontext 维护标签。同一类故障在 SELinux 机器上的对应排查是 ausearch -m AVC + sealert,修复手段是补标签而非补路径。

AppArmor 的 profile 有两种工作模式,这个区别是下一节方案设计的基础:

  • enforce:拒绝并写入 DENIED 日志,进程拿到 EACCES。
  • complain:只记录 ALLOWED 日志不拦截,业务照常运行。这是生产环境收集真实访问集合的安全方式——不需要先猜规则。

另外,Docker 的 metadata.db 与 licensing 服务之所以同时报错,并非两个独立故障:它们的数据目录都位于同一个 /vol1 子树下,被同一条路径规则一并挡住。把多个同时出现的报错合并成一个共同根因,是这类排障里最省时间的一步。

四、三种修复方案与安全权衡

4.1 方案 A:全局禁用安全模块

sudo cp /etc/default/grub /etc/default/grub.bak
# 在 GRUB_CMDLINE_LINUX_DEFAULT 的引号内追加 apparmor=0
sudo nano /etc/default/grub
sudo update-grub
sudo reboot

优点是见效快、无需理解 profile 语法。代价是整机强制访问控制层被整体关闭:此后容器逃逸、Web 服务 RCE 之类的入侵,将只剩 DAC 一道防线;对暴露在公网的 NAS 来说,这个折抵并不划算。若只是临时验证根因,用它做一次 A/B 对照是合理的;作为长期方案,我更倾向 B。

4.2 方案 B:最小权限修正(推荐)

思路是不关模块,只给需要的 profile 补上数据盘路径,并且先用 complain 模式把真实访问集合学出来,再切回 enforce。这样规则既够用又不过度授权。

# 1) 切到 complain,只记录不拦截
aa-complain /etc/apparmor.d/trim_license

# 2) 复现一次完整挂载流程,让所有调用路径都跑一遍

# 3) 从审计日志交互式生成规则(逐条审阅,不要一路回车)
aa-logprof -f /var/log/audit/audit.log

# 4) 审阅后回到 enforce 并热加载
aa-enforce /etc/apparmor.d/trim_license
apparmor_parser -r /etc/apparmor.d/trim_license
systemctl restart trim_license

生成的规则建议放进局部覆盖文件,而不是直接改主 profile —— 后者会在下次包升级时被覆盖,故障就会「升级一次、复发一次」:

# /etc/apparmor.d/local/trim_license
# 仅放行本服务需要的数据盘子路径,不开放整个 /vol1
/vol1/@appdata/trim/**       rwkl,
/vol1/docker/**              rwkl,
/vol1/**/metadata.db         rwk,
owner /vol1/**/.tmp-*        rw,

规则里的 rwkl 分别是 read / write / link / lock,** 递归匹配多层目录,owner 前缀把权限再收紧到文件属主与进程 uid 一致时才生效。把它写成白名单而不是 /vol1/** rwkl, 一把梭,是这一步最重要的取舍。

4.3 方案 C:官方修复脚本

厂商通常会针对具体版本放出修复脚本。这类脚本是黑盒,建议先下载、先阅读、再执行,而不是直接管道进 shell:

curl -fsSL https://<厂商域名>/aptfix/trim-sec -o /tmp/trim-sec
less /tmp/trim-sec      # 重点看:改 GRUB?改 profile?是否重启服务?
chmod +x /tmp/trim-sec && sudo /tmp/trim-sec

审阅时盯三件事:它是否悄悄改了 /etc/default/grub(等价于方案 A)、是否覆盖了 /etc/apparmor.d/ 下你已有的自定义规则、以及执行后是否需要重启。知道它做了什么,回滚才有依据。

4.4 横向对比

维度A 全局禁用B 最小权限C 官方脚本
生效速度慢(需重启)快(热加载)快,但不可预期
安全代价高,整机失去 MAC低,仅新增必要路径取决于实现
升级后是否复发不会用 local/ 覆盖可避免随版本变化
可回滚性好(还原 GRUB)好(删覆盖片段)差,需先读懂脚本
适用场景临时 A/B 验因生产长期方案确认实现后按版本使用

五、变更安全:备份、验证与回滚

改 GRUB 属于「改错了可能起不来」的操作,三条纪律值得固定下来:

  • 先备份、保留可启动项。/etc/default/grub 备份一份;不要删掉旧内核启动项,确保新参数失败时还能从 GRUB 菜单选回旧配置。
  • 追加而非替换。在 GRUB_CMDLINE_LINUX_DEFAULT 原有值的引号内追加参数,别整行覆盖,否则可能连带丢掉 quiet 之外的关键参数。
  • 用服务自己的身份验证。root 能写不代表服务能写,这是最容易出现的误判。

下面是一个「写探针」:以目标服务的 uid 去创建文件,直接验证修复是否对它生效,而不是验证对 root 生效。

#!/usr/bin/env bash
# 以服务自身 uid 做写入探针,避免"root 能写"的假阳性
SVC_UID=$(id -u postgres)
PROBE=/vol1/@appdata/trim/.write_probe
sudo -u "#$SVC_UID" sh -c "touch $PROBE && echo PROBE_OK || echo PROBE_BLOCKED"
rm -f "$PROBE"

# 修复是否真的生效:模块仍启用、DENIED 不再新增
cat /sys/module/apparmor/parameters/enabled
aa-status | grep -A2 'trim_license'
journalctl -k --since "5 min ago" | grep -c 'apparmor="DENIED"'

回滚同样要能一步完成:

# 方案 A 回滚
sudo cp /etc/default/grub.bak /etc/default/grub && sudo update-grub && sudo reboot

# 方案 B 回滚
sudo rm /etc/apparmor.d/local/trim_license
sudo apparmor_parser -r /etc/apparmor.d/trim_license
sudo aa-enforce /etc/apparmor.d/trim_license

最后回到业务侧做端到端确认:Web 界面重新挂载不再报错、相关服务 systemctl is-active 全部为 active、metadata.db 与 licensing 库可正常读写、并且升级到下一个版本后故障不复发。只在命令行验证、不回到 UI 复现一遍,不算修完。

六、把它沉淀成可复用的排查清单

这类故障的真正价值不在于记住某个产品的某个版本,而在于形成一套下次遇到「看起来像 A,其实是 B」时能直接套用的顺序:

步动作判定点
1证伪底层(挂载 / 块设备 / 空间)root 能否真实读写挂载点
2拿到原始 errno 与失败调用journalctl + strace,不信 UI 文案
3查内核安全审计日志DENIED / AVC / seccomp 记录
4确认生效的 profile 与模式aa-status / sestatus
5合并多个报错为共同根因是否落在同一受限路径 / 标签
6complain 学习,再做最小授权规则覆盖面是否超过必要范围
7以服务身份验证 + UI 端到端复现不用 root 做假阳性验证
8写回滚预案,确认升级后不复发规则放 local/ 或标签持久化

同一套思路还能迁移到一批「伪装成数据库故障」的场景,它们的表层报错几乎一样,拦截层却各不相同:

真实拦截层典型表现定位手段
AppArmor / SELinux数据目录建文件失败,权限位正常DENIED / AVC 日志
seccomp特定系统调用直接失败,容器内尤甚strace 看 ENOSYS / EPERM,审计 SECCOMP
systemd 沙箱仅某服务写不了,同目录其他进程正常ProtectSystem / ReadWritePaths / PrivateTmp
挂载 namespace路径根本不存在(ENOENT)nsenter 对比 /proc/<pid>/mountinfo
NFS root squashroot 在远程卷上反而写不了exports 的 squash 选项、nfsstat

七、结论

  • 别信二次包装的错误文案。“数据库读写错误”只说明有一次写入失败,不说明数据库坏了;第一步永远是拿到原始 errno,并把存储层证伪掉。
  • 能挂载但写不进,先查 DAC 之外的层。LSM 拒绝不会改变文件权限位,ls -l 看不出任何异常,只有内核审计日志会说话。
  • 修故障不等于关安全。complain 学习 + 局部覆盖 + 最小路径白名单,可以既恢复业务又保留强制访问控制;全局禁用适合做临时 A/B 验因,不该成为长期配置。
  • 让修复活过下一次升级。把自定义规则放进 /etc/apparmor.d/local/(或把 SELinux 标签写进策略),并留下回滚命令,才算真正闭环。

这类问题最有意思的地方在于:它表面上是一次产品升级的兼容性事故,实质上是一次关于抽象层泄漏的提醒——当应用把内核的 EACCES 翻译成“数据库错误”,它就替你做了一个错误的归因决策。排障能力的一半,其实就是把被抽象掉的信息一层层还原回来。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部