3.3 皮层怎么组织：分层连接与稀疏编码

3.3 皮层怎么组织：分层连接与稀疏编码

本节摘要：人脑约 860 亿神经元、百万亿量级突触，功耗只有二十瓦，靠的是三个结构性选择：连接率极低（单个神经元只连接全部神经元中的约百万分之一）、通路的层级与复馈并存、任一时刻的发放高度稀疏（活跃神经元占比百分之几）。这三个数字各自翻译成一条芯片设计约束，本节把它们一一对应。

前两节解决了单元和接口，本节回答组织问题：把上千亿个会学习的单元连起来，为什么不会烧掉、不会乱掉。答案不在器件，在结构——而结构恰恰是可以被工程抄走的部分。这也是本章通往第 5 章的直接桥梁：本节每给出一条生物约束，第 5 章就有一块芯片电路回应它。

数字先行：三个量级撑起一切

先摆数字。人脑皮层单个神经元平均有约 7000 个突触连接，而神经元总数以千亿计——连接率大约百万分之一，这是第一个关键数字。整个大脑功率约 20 瓦，摊到每个突触事件平均约 1 至 10 飞焦耳量级（不同口径的估算有出入，但比芯片低两三个数量级是公认的），这是第二个。静息状态下任一时刻活跃神经元的比例估计在百分之几，即便高活动任务也不超过十分之一，这是第三个。三个数字互相咬合：连接率低让布线物理可行，发放稀疏让能耗可负担，两者又让"每个突触自带学习引擎"在能量上不破产。

对照组同样有说服力。深绿——不，说错了，深看深度学习模型：全连接层的连接率是百分之百，训练时激活率接近满值，所以它必须依赖"权重集中存放、计算时分复用"的架构，而这正是第 1 章那堵墙的成因。结构选择决定架构命运，两个系统从数字上就分道扬镳了。

分层与复馈：不是流水线，是往返讨论

视觉通路是研究最透的例子。视网膜到外侧膝状体再到初级视觉皮层 V1，随后经 V2、V4 到颞下皮层，感受野逐级变大、特征逐级抽象——这条腹侧通路常被画成单向流水线，深度学习的卷积网络也确实是按这个印象搭的。但真实的解剖图里有大量反馈连接（高层向低层的下行投射，数量与前馈相当甚至更多）：注意力选择性地放大相关区域的增益，预测编码让高层把"预期"提前发给低层、只让"预测误差"向上传。

工程含义有两层。浅层含义：纯前馈的 SNN 只是拿脉冲语言重写了卷积网络，能效来自脉冲稀疏，但智能行为的能力上限同 ANN 一样受流水线范式限制。深层含义：复馈连接需要"环路"——脉冲从高层绕回低层时，低层的状态还没被清掉，时间维度自然参与计算。这是循环网络在脉冲世界里比在浮点世界里更自然的原因之一：LIF 神经元本身就是自带时间状态的循环单元，任何环路都不需要额外的展开技巧。

稀疏编码：谁在说话比多少人说话更重要

Hubel 与 Wiesel 在 V1 发现方向选择性细胞，开启了"特征检测器"的图景：每个神经元只对特定朝向、特定位置的边缘高发放。后续工作补全了统计图景——皮层表示是稀疏且分布式的：单个刺激激活一小群高度特化的神经元，大部分神经元保持沉默。稀疏性的好处是一个三角关系：表示容量大（稀疏码的组合数远超稠密码）、能量低（沉默者不耗电）、可读性好（下游解码只需监听少数通道）。

第一个把这个三角做成算法的是 Olshausen 与 Field 1996 年的稀疏编码工作：给自然图像的表示加稀疏约束，学出来的基函数自动长得像 V1 感受野——生物结构的指纹从纯数学约束里长了出来。脉冲世界的对应物正是第 4 章 STDP 的竞争学习：胜负者发放并加强输入连接，沉默者被 homeostasis 慢慢拉回竞争，稀疏特征无需标签自组织。生物、算法、芯片三方在这里会师。

# 稀疏性账：同样 1 百万神经元的两种网络，一次"更新"的能量骨架
n_neurons = 1_000_000
conn_rate_bio   = 7000 / n_neurons     # 生物连接率：平均 7000 突触每神经元
conn_rate_dense = 1.0                  # 全连接

active_ratio_bio, active_ratio_dense = 0.02, 1.0
e_syn_event_pj = 10.0                  # 每突触事件 10 pJ（芯片口径）

# 生物式：只有活跃神经元发放，且只投递自己的约 7000 个突触
events_bio = n_neurons * active_ratio_bio * 7000
# 全连接式：所有神经元发放且投递所有目标
events_dense = n_neurons * active_ratio_dense * n_neurons

print(f"生物式事件数每步: {events_bio:.1e}")
print(f"全连接事件数每步: {events_dense:.1e}")
print(f"能量骨架之比: {events_dense/events_bio:.0e} 倍")
# 输出约 7000 倍：结构选择（稀疏连接 + 稀疏发放）先于任何器件优化
​

跑一遍就能看到，7000 倍的差距全部来自结构，器件还没登场。这正是本节想让你带走的工程直觉：在脉冲系统里，结构就是第一性能优化。

图：皮层组织三原则到芯片约束的映射

把本节的结构遗产对照到两代芯片上，可以做个"结构符合度"的小测试。第一代 TrueNorth：连接结构支持稀疏（轴突共享），但核间拓扑固定、反馈路径要靠软件绕——三原则符合一个半。Loihi 2：稀疏连接、任意核间拓扑、可编程多周期状态保持，三原则全中，这正是它成为科研主流平台的结构原因。给你的选型启示：评估一颗神经形态芯片，别只看神经元数量，问三个对应三原则的问题——支持的最大稀疏度是多少、反馈连接的路由代价多大、状态能跨多少时间步保持。答案决定了你的网络架构在它上面是"原生"还是"迁就"。

组织层还有一个常被忽视的量值得记住：突触传递延迟的分布。皮层内突触传递约 1 至 2 毫秒，加上轴突传导，跨区往返的环路时延在几十毫秒量级——这不小，但生物把它用成了特性：不同长短的环路天然构成不同的"时间尺度层"，感知到的因果链在不同深度上被并行处理。工程翻译：芯片上多跳路由的纳秒级延迟虽然小得多，但"延迟分层"的设计思想可以直接借用——把需要快反应的通路放在相邻核、需要整合的通路故意绕长，一张芯片就能同时跑多个时间尺度的计算。这是组织结构不止省电、还能贡献计算能力的又一个例证。

皮层给工程界的三笔遗产：低连接率换来布线可行，稀疏发放换来能耗可行，分层复馈换来智能行为的时间结构。第 5 章你会看到，每一代神经形态芯片的架构图，本质上都是这三条遗产的工程收据。

至此生物原型部分完结。下一章进入全册的技术核心：这些单元与结构，怎么在没有反向传播的条件下学习。