二值信号量当锁:高优先级任务为何被饿死?

采集终端用二值信号量保护共享缓冲,低优先级持锁被中优先级抢占,高优先级任务无界等待;换成互斥量并把 Flash 写移出临界区后恢复。

问题背景

采集终端基于 STM32F4 + FreeRTOS,跑量产后一直比较稳定。任务划分是四层:通信任务(优先级 6)负责串口 DMA 收帧和应答;协议解析任务(优先级 4)把收到的帧解析成测点;上报任务(优先级 3)按周期组包上传;日志与存储任务(优先级 2)把共享日志缓冲区落到 SPI NOR Flash。

共享日志缓冲区用二值信号量保护——xSemaphoreCreateBinary() 创建后先 give 一次,各任务 take 到就写、写完 give,相当于一把锁。这套写法在很多示例代码里都能看到,团队也就沿用了。

故障现象

现场设备偶发「通信假死」:上位机轮询超时、设备不回帧,串口抓包能看到设备侧总线空闲,确实没发。没开看门狗的版本会一直卡着,开了看门狗的版本则直接复位,复位后又一切正常。

故障和负载正相关:实验室里轻载跑几天都复现不了,现场把上报频率调高、测点数量上来之后,故障开始零星出现。早期怀疑是串口驱动丢中断或者上位机重试逻辑问题,查了一圈都没有证据。

排查过程

第一步先让任务「开口说话」。打开 configGENERATE_RUN_TIME_STATS 和 configUSE_STATS_FORMATTING_FUNCTIONS,用 vTaskGetRunTimeStats() 周期性输出各任务 CPU 占比。故障前通信任务的占比骤降到接近 0,状态是 Blocked;与此同时解析任务的占比明显上升。

第二步给信号量的 take/give 两侧打时间戳,统计「持锁时长」。正常时都在 2ms 以内,故障时能看到持锁几百毫秒甚至几秒的记录,持有者都是日志与存储任务。

第三步用 SystemView 看任务切换序列,因果链就很清楚了:日志任务拿到锁,开始在锁内做 SPI Flash 扇区擦除;解析任务被周期数据唤醒(优先级 4 高于日志任务的 2),抢占日志任务并连续运行;通信任务此时要写日志缓冲区,take 锁被阻塞;日志任务因为解析任务持续占用 CPU 无法恢复执行,锁就永远不释放。通信任务等锁等到超时,应答发不出去;看门狗由通信任务喂,喂不上就复位。

第四步做对照验证:临时把解析任务 vTaskSuspend 挂起,故障消失;把二值信号量换成 xSemaphoreCreateMutex(),故障也消失。两个对照都指向同一个机制——优先级反转。

第五步回到 API 语义确认:xSemaphoreCreateBinary() 创建的二值信号量只做「有/无」同步,不记录持有者,也没有优先级继承;FreeRTOS 的互斥量(xSemaphoreCreateMutex(),需要 configUSE_MUTEXES=1)才带优先级继承——持锁的低优先级任务会在高优先级任务等锁时被临时提升到对方优先级,从而有机会继续运行、尽快释放锁。

同时确认了一个放大器:锁内做 Flash 扇区擦除,单次几十毫秒,把反转窗口从微秒级拉到了秒级。没有这个慢操作,问题可能表现为偶发几十微秒的抖动,根本不会暴露。

解决方案

  1. 把锁换成互斥量:共享缓冲区改用 xSemaphoreCreateMutex(),take/give 调用方式不变;确认 configUSE_MUTEXES=1。优先级继承生效后,日志任务持锁期间被中优先级抢占时会被提升到通信任务的优先级,能继续跑完并释放锁。
  2. 缩短临界区:Flash 擦写移出锁——锁内只把日志拷贝到写队列,落盘交给日志任务在锁外完成;更彻底的做法是「单写者」模型,只有日志任务碰 Flash,其他任务一律入队。
  3. 高优先级路径非阻塞:通信任务写缓冲区改成 xQueueSend(..., 0),队列满就计数丢弃并上报,绝不在高优先级路径上无限等锁。
  4. 区分递归场景:同一任务需要嵌套拿锁时用 xSemaphoreCreateRecursiveMutex,普通互斥量不可重入,误用会自锁。
  5. 验证:把上报频率提高 10 倍做压力测试,通信任务最大等锁时间从秒级降到 5ms 以内,看门狗不再复位;连续 72 小时回放现场数据,没有复现假死。

根因分析

二值信号量被当成锁用,缺的是两项关键语义:持有者识别和优先级继承。当低优先级任务持锁时被中优先级任务抢占,等锁的高优先级任务无法把持有者「拉上来」,等待时间没有上界。

实时系统里,互斥的等待时间必须是有界的——无界等待就等于实时性失效。优先级反转不是停留在教材里的名词:1997 年火星探路者号就栽在这上面,低优先级气象任务持锁、中优先级通信任务抢占、高优先级总线管理任务等锁,系统反复复位,最后靠远程打开优先级继承才恢复。

另外两个因素把问题放大了:一是锁内 Flash 擦除这类慢操作,单次几十毫秒,远大于调度周期;二是数据量越大,解析任务单次运行越久,抢占窗口越长。这正好解释了「实验室轻载测不出、现场重载才出现」的规律。看门狗则把「任务饿死」升级成「整机复位」,反而把根因掩盖了。

预防措施

  • 编码规范:保护共享资源一律用互斥量;二值信号量只用于中断与任务之间的同步(例如串口空闲中断唤醒接收任务)。
  • 锁内只做内存操作:禁止在临界区里做 Flash、文件、网络这类慢 IO;需要落盘就移出锁,用队列交给专用任务。
  • 评审关键词清单:全局搜索 xSemaphoreCreateBinary 的每一处使用,逐一确认不是当锁用;搜索临界区内是否存在 HAL_FLASH_*、擦除、延时等调用。
  • 运行时监控:统计每个任务的最长持锁时间与最长等锁时间,超过阈值(例如 10ms)就记录上报;看门狗复位次数单独上报,不要只依赖「复位后自愈」。
  • 设计原则:单写者模型 + 消息队列,减少共享可变状态;高优先级任务路径尽量做到无锁。
  • 反转压力测试:在测试用例里人为让中优先级任务长跑,验证高优先级任务仍能在界内完成——这类用例比正常功能测试更能暴露调度问题。

总结

API 的语义就是契约:二值信号量的契约是「同步」,互斥量的契约是「互斥 + 优先级继承」。拿同步原语当锁,就是用错了契约,轻则抖动,重则任务饿死、看门狗反复复位。

选型之外还有一条更朴素的原则:只要高优先级任务会等一把锁,这把锁的等待时间就必须有上界——要么靠优先级继承,要么靠缩短临界区,两者至少做到一个,最好都做。

延伸阅读

使用 Hugo 构建
主题 Stack 由 Jimmy 设计