四、神經回放的機制
在對神經回放腦機制的探索中，儘管也有研究發現神經回放與更低頻的神經振盪有關（Higgins et al.， 2021），但是目前大部分研究者還是一致認同尖波漣漪（Sharp-Wave Ripples， SPW-Rs）的產生是神經回放的關鍵機制，神經回放通常發生在 SPW-Rs 期間。從第一部分介紹的實驗中，我們就可以看到這一結論。
尖波漣漪，顧名思義包括尖波（Sharp-Wave）和漣漪（Ripples）兩部分，尖波是 Vanderwolf 等人最早在嚙齒類動物的海馬子區 CA1 觀測到的大幅度負朝向的波形，持續時長 40-100ms 左右。漣漪是 O』Keefe 等人在 CA1 區域觀測到一種由高度同步的神經元活動引起的，快速且短暫的神經振盪活動，波形似水面激盪起的漣漪。其頻率在人類和靈長類動物上為 80~140Hz 左右。多數情況下，尖波的產生都伴隨着漣漪，因此稱之為尖波漣漪（Buzsáki， 2015）。
https://zhuanlan.zhihu.com/p/79345382
由於尖波漣漪通常在海馬子區被檢測到，很多研究者也直接將其稱為「海馬尖波漣漪」，了解了海馬和尖波漣漪之間的關係，我們就不難猜想為何神經回放會在記憶鞏固中起到如此重要的作用了。通過Buzsáki（Buzsáki， 2015）和 Neuron 上的一篇文獻（Gupta et al.， 2010），我們可以對海馬尖波漣漪及其在神經回放中的作用有一個更清晰的了解。
而隨着科學家對大腦了解的加深，單一腦區的解釋逐漸變得單薄起來，今年的一篇研究指出了腦區尖波漣漪的全腦耦合情況（Nitzan et al.， 2022），這也為神經回放背後的全腦參與提供了一定的證據，接下來，我們將對已被證實參與神經回放的部分腦區和腦網絡進行一個簡單的介紹。
相關腦區
replay may be a conserved mechanism of learning and memory across multiple cortical systems， including semantic， navigational， and motor systems —— Rubin et al.， 2022
①海馬與新皮層
前文中，我們講述了神經回放對記憶鞏固的作用以及海馬尖波漣漪的爆發如何作為其底層機制。但是記憶的形成和鞏固過程並不能僅僅在海馬中就完成。研究者一般認為海馬和新皮層的交互在記憶形成的過程中起着關鍵的作用，現在讓我們來看一看神經回放是否確實遵循這種交互方式。
研究者（Ji & Wilson， 2007）通過在大鼠完成迷宮行走任務的時候和之後記錄其海馬和初級視覺皮層的神經元活動，發現海馬和皮層上的神經回放模式傾向於在精細的時間尺度上同時開始和結束（如下圖所示）。
且兩處腦區的細胞放電序列呈現相同的軌跡，即兩個腦區回放了相同的體驗（如下圖所示）。
之後其他研究者在此類發現的基礎上提出了標準系統鞏固理論（standard systems consolidation theory， SSCT），表明信息僅僅暫時存儲在海馬體裡，只有通過離線期間的鞏固才能進入皮層區域形成長期記憶。後續又有研究者提出情境綁定假說（contextual binding account），強調了海馬的核心作用和大腦離線狀態對信息編碼後情境漂移產生遺忘的抑制（Yonelinas et al.， 2019）。
儘管這些理論分別強調了不同的方面，但是都指出了神經回放扮演的積極角色以及海馬和新皮層作為一個整體的交互模式。
②默認模式網絡
如果把神經回放這一神經活動現象放在一個更大的範圍里說，可以把它歸類為一種特定的大腦自發神經活動，即不需要特定的任務或刺激誘發的大腦活動，那麼既然它是一種大腦自發活動，我們很容易猜想默認模式網絡（DMN）是否會相應地在其中起到一定的作用，而研究者已經證明了這一假設。
這個月中旬，Nature Reviews Neuroscience 上刊登了一篇文章（Kaefer et al.， 2022），研究者在其中提出了一種級聯記憶系統（cascaded memory systems， CMS）模型，他們認為在大腦離線期間，神經回放和 DMN 的激活兩種現象密切相關，且具有重疊的潛在功能。他們假設DMN 不僅構成了回放傳播的主幹，中介了海馬和新皮層之間的相互作用，它還可以獨立啟動回放級聯（replay cascades），以支持記憶或高級語義表徵的重新激活。
CMS模型示意圖，彩色圓環描述了DMN（黃色）到單峰感覺區域（藍色）的主要功能連接梯度，三角形表示皮層區域，三角形的顏色反映了不同皮層區域在瞬態事件期間激活的順序（紅色→黃色→綠色，灰色為未激活）
研究者通過這一模型表明：神經回放主要從海馬體出發沿上述主要連接梯度傳播；神經回放可以在多個皮層區域上獨立地發生，即神經回放的產生不限於海馬，許多皮層都具有足夠的內在連接性以支持神經回放活動，但是會因為級聯層次有所不同；存在於全腦空間中的回放會以一種瞬態廣泛激活（transient widespread activations）的形式產生。
說到這裡，我們已經對神經回放的底層可能機制有了一個大概的了解，諸如 CMS 模型此類的最新研究提出了許多的假設，這些假設可以啟示和指導後來的研究者對神經回放進行更深入的研究，但是對於神經回放本身依舊還有大量的問題需要得到實證的驗證和更徹底的理論檢驗。
五、小結
在本文中，我們簡單介紹了生物神經回放的研究歷程及其特點。神經回放是大腦「離線期間」對先前經歷的神經元放電序列的順序重新激活，這種重新激活可以在多個時間尺度上發生，且具有正向、反向兩種不同的回放方向，並且大腦不止可以在經歷後的相同環境中產生本地神經回放，還可以在距離實際經歷更遙遠的其他環境中發生遠程神經回放，多種形式的神經回放支持了生物體記憶鞏固、學習、決策、推理和規劃等多樣的認知過程，且這種特定的大腦自發活動會在以海馬為核心的全腦尺度上產生和傳播。
對類似神經回放的大腦無意識狀態下自發活動的研究可以幫助科學家不斷接近大腦的本質，至今為止，大腦依舊擁有着任何超級計算機都無法匹敵的能力：腦神經網絡大約包含1000億個神經元和100萬億個神經突觸，如此龐大的網絡在信息加工上卻僅耗能約20W。並且神經元以幾毫秒的速度就可以實現生物互聯，對組件級的故障又具有優異的容錯性。
在信息技術高度發展的當代，如何從此類現象中汲取靈感、製造出更優的 human-level 的人工智能是各個領域科學家都需要關注的問題。
除此之外，儘管隨着技術的更新，科學對人腦神經回放研究的限制正在不斷被解除，但是生物神經回放依舊遺留着太多需要去探索的問題：神經回放在多大程度上是自發的，其是否需要認知資源的參與，又有什麼因素會對其產生影響？在自然的生活下，面對海量的信息輸入，大腦會選擇什麼內容進行回放？神經回放的強度和速度是否會又如何受到調節？
很多神經科學研究者對這些問題依舊束手無策，但隨着計算機技術的發展，深度學習網絡等領域的發展，神經學家們也有了更多探索的路徑和方法，這些工具也正變得越來越適合解決具有挑戰性的神經科學問題（Richards et al.， 2019）。
神經科學和計算機科學正在成為兩門不斷交叉和融合的學科，彼此都可以從對方的研究中獲得靈感和啟發，在下期推文中，我們將介紹計算機學家如何受到人腦神經回放的啟發，創造出更低功耗、可持續學習的人工神經回放。
文源微信公眾號：Mindverse Research*作者:朱思嘉*審校:十三維*內容獨立觀點，不代表虎嗅立場。
-[原文標題：Growing offline：生物神經回放*題圖來自：視覺中國/來源:虎嗅虎嗅]
參考文獻
Ambrose， R. E.， Pfeiffer， B. E.， & Foster， D. J. (2016). Reverse Replay of Hippocampal Place Cells Is Uniquely Modulated by Changing Reward. Neuron， 91(5)， 1124–1136. https://doi.org/10.1016/j.neuron.2016.07.047
Buch， E. R.， Claudino， L.， Quentin， R.， Bönstrup， M.， & Cohen， L. G. (2021). Consolidation of human skill linked to waking hippocampo-neocortical replay. Cell Reports， 35(10)， 109193. https://doi.org/10.1016/j.celrep.2021.109193
Buzsáki， G. (2015). Hippocampal sharp wave-ripple: A cognitive biomarker for episodic memory and planning. Hippocampus， 25(10)， 1073–1188. https://doi.org/10.1002/hipo.22488
Denovellis， E. L.， Gillespie， A. K.， Coulter， M. E.， Sosa， M.， Chung， J. E.， Eden， U. T.， & Frank， L. M. (2021). Hippocampal replay of experience at real-world speeds. ELife， 10， e64505. https://doi.org/10.7554/eLife.64505
Diba， K.， & Buzsáki， G. (2007). Forward and reverse hippocampal place-cell sequences during ripples. Nature Neuroscience， 10(10)， 1241–1242. https://doi.org/10.1038/nn1961
Diekelmann， S.， Büchel， C.， Born， J.， & Rasch， B. (2011). Labile or stable: Opposing consequences for memory when reactivated during waking and sleep. Nature Neuroscience， 14(3)， 381–386. https://doi.org/10.1038/nn.2744
Dupret， D.， O』Neill， J.， Pleydell-Bouverie， B.， & Csicsvari， J. (2010). The reorganization and reactivation of hippocampal maps predict spatial memory performance. Nature Neuroscience， 13(8)， 995–1002. https://doi.org/10.1038/nn.2599
Ego-Stengel， V.， & Wilson， M. A. (2010). Disruption of ripple-associated hippocampal activity during rest impairs spatial learning in the rat. Hippocampus， 20(1)， 1–10. https://doi.org/10.1002/hipo.20707
Eichenlaub， J.-B.， Jarosiewicz， B.， Saab， J.， Franco， B.， Kelemen， J.， Halgren， E.， Hochberg， L. R.， & Cash， S. S. (2020). Replay of Learned Neural Firing Sequences during Rest in Human Motor Cortex. Cell Reports， 31(5). https://doi.org/10.1016/j.celrep.2020.107581
Ekman， M.， Kok， P.， & de Lange， F. P. (2017). Time-compressed preplay of anticipated events in human primary visual cortex. Nature Communications， 8(1)， 15276. https://doi.org/10.1038/ncomms15276
Euston， D. R.， Tatsuno， M.， & McNaughton， B. L. (2007). Fast-Forward Playback of Recent Memory Sequences in Prefrontal Cortex During Sleep. Science， 318(5853)， 1147–1150. https://doi.org/10.1126/science.1148979
Foster， D. J. (2017). Replay Comes of Age. Annual Review of Neuroscience， 40(1)， 581–602. https://doi.org/10.1146/annurev-neuro-072116-031538
Girardeau， G.， Benchenane， K.， Wiener， S. I.， Buzsáki， G.， & Zugaro， M. B. (2009). Selective suppression of hippocampal ripples impairs spatial memory. Nature Neuroscience， 12(10)， 1222–1223. https://doi.org/10.1038/nn.2384
Gupta， A. S.， van der Meer， M. A. A.， Touretzky， D. S.， & Redish， A. D. (2010). Hippocampal Replay Is Not a Simple Function of Experience. Neuron， 65(5)， 695–705. https://doi.org/10.1016/j.neuron.2010.01.034
Higgins， C.， Liu， Y.， Vidaurre， D.， Kurth-Nelson， Z.， Dolan， R.， Behrens， T.， & Woolrich， M. (2021). Replay bursts in humans coincide with activation of the default mode and parietal alpha networks. Neuron， 109(5)， 882-893.e7. https://doi.org/10.1016/j.neuron.2020.12.007
Ji， D.， & Wilson， M. A. (2007). Coordinated memory replay in the visual cortex and hippocampus during sleep. Nature Neuroscience， 10(1)， 100–107. https://doi.org/10.1038/nn1825
Kaefer， K.， Stella， F.， McNaughton， B. L.， & Battaglia， F. P. (2022). Replay， the default mode network and the cascaded memory systems model. Nature Reviews Neuroscience， 1–13. https://doi.org/10.1038/s41583-022-00620-6
Liu， Y.， Dolan， R. J.， Kurth-Nelson， Z.， & Behrens， T. E. J. (2019). Human Replay Spontaneously Reorganizes Experience. Cell， 178(3)， 640-652.e14. https://doi.org/10.1016/j.cell.2019.06.012
Liu， Y.， Mattar， M. G.， Behrens， T. E. J.， Daw， N. D.， & Dolan， R. J. (2021). Experience replay is associated with efficient nonlocal learning. Science， 372(6544)， eabf1357. https://doi.org/10.1126/science.abf1357
Maquet， P [P.]， Laureys， S [S.]， Peigneux， P [P.]， Fuchs， S [S.]， Petiau， C.， Phillips， C [C.]， Aerts， J [J.]， Del Fiore， G [G.]， Degueldre， C [C.]， Meulemans， T.， Luxen， A [A.]， Franck， G.， van der Linden， M.， Smith， C.， & Cleeremans， A. (2000). Experience-dependent changes in cerebral activation during human REM sleep. Nature Neuroscience， 3(8)， 831–836. https://doi.org/10.1038/77744
Momennejad， I.， Otto， A. R.， Daw， N. D.， & Norman， K. A. (2018). Offline replay supports planning in human reinforcement learning. ELife， 7， e32548. https://doi.org/10.7554/eLife.32548
Mou， X.， Pokhrel， A.， Suresh， P.， & Ji， D. (2022). Observational learning promotes hippocampal remote awake replay toward future reward locations. Neuron， 110(5)， 891-902.e7. https://doi.org/10.1016/j.neuron.2021.12.005
Nitzan， N.， Swanson， R.， Schmitz， D.， & Buzsáki， G. (2022). Brain-wide interactions during hippocampal sharp wave ripples. Proceedings of the National Academy of Sciences， 119(20)， e2200931119. https://doi.org/10.1073/pnas.2200931119
Peigneux， P [Philippe]， Laureys， S [Steven]， Fuchs， S [Sonia]， Collette， F.， Perrin， F.， Reggers， J.， Phillips， C [Christophe]， Degueldre， C [Christian]， Del Fiore， G [Guy]， Aerts， J [Joël]， Luxen， A [André]， & Maquet， P [Pierre] (2004). Are spatial memories strengthened in the human hippocampus during slow wave sleep? Neuron， 44(3)， 535–545. https://doi.org/10.1016/j.neuron.2004.10.007
Richards， B. A.， Lillicrap， T. P.， Beaudoin， P.， Bengio， Y.， Bogacz， R.， Christensen， A.， Clopath， C.， Costa， R. P.， de Berker， A.， Ganguli， S.， Gillon， C. J.， Hafner， D.， Kepecs， A.， Kriegeskorte， N.， Latham， P.， Lindsay， G. W.， Miller， K. D.， Naud， R.， Pack， C. C.， … Kording， K. P. (2019). A deep learning framework for neuroscience. Nature Neuroscience， 22(11)， 1761–1770. https://doi.org/10.1038/s41593-019-0520-2
Rubin， D. B.， Hosman， T.， Kelemen， J. N.， Kapitonava， A.， Willett， F. R.， Coughlin， B. F.， Halgren， E.， Kimchi， E. Y.， Williams， Z. M.， Simeral， J. D.， Hochberg， L. R.， & Cash， S. S. (2022). Learned Motor Patterns Are Replayed in Human Motor Cortex during Sleep. Journal of Neuroscience， 42(25)， 5007–5020. https://doi.org/10.1523/JNEUROSCI.2074-21.2022
Schwartenbeck， P.， Baram， A.， Liu， Y.， Mark， S.， Muller， T.， Dolan， R.， Botvinick， M.， Kurth-Nelson， Z.， & Behrens， T. (2021). Generative replay for compositional visual understanding in the prefrontal-hippocampal circuit (p. 2021.06.06.447249). bioRxiv. https://doi.org/10.1101/2021.06.06.447249
Schuck， N. W.， & Niv， Y. (2019). Sequential replay of nonspatial task states in the human hippocampus. Science (New York， N.Y.)， 364(6447). https://doi.org/10.1126/science.aaw5181
Wilson， M. A.， & McNaughton， B. L. (1994). Reactivation of hippocampal ensemble memories during sleep. Science (New York， N.Y.)， 265(5172)， 676–679. https://doi.org/10.1126/science.8036517
Wimmer， G. E.， Liu， Y.， Vehar， N.， Behrens， T. E. J.， & Dolan， R. J. (2020). Episodic memory retrieval success is associated with rapid replay of episode content. Nature Neuroscience， 23(8)， 1025–1033. https://doi.org/10.1038/s41593-020-0649-z
Y， L.， Mg， M.， Tej， B.， Nd， D.， & Rj， D. (2021). Experience replay is associated with efficient nonlocal learning. Science， 372. https://www.neuroscience.ox.ac.uk/publications/1179004
Yonelinas， A. P.， Ranganath， C.， Ekstrom， A. D.， & Wiltgen， B. J. (2019). A contextual binding theory of episodic memory: Systems consolidation reconsidered. Nature Reviews Neuroscience， 20(6)， 364–375. https://doi.org/10.1038/s41583-019-0150-4
Zuo， S.， Wang， L.， Shin， J. H.， Cai， Y.， Zhang， B.， Lee， S. W.， Appiah， K.， Zhou， Y.， & Kwok， S. C. (2020). Behavioral evidence for memory replay of video episodes in the macaque. ELife， 9. https://doi.org/10.7554/eLife.54519
https://debuglies.com/2020/05/07/first-direct-evidence-that-human-brains-replay-waking-experiences-while-asleep/
https://zhuanlan.zhihu.com/p/79345382
