（目次）
増補版へのまえがき
旧版・はじめに
第１章 脳を宇宙誌からみよう
第２章 脳とはなんだろう
第３章 「理論」脳ではどう考えられてきたのか
第４章 数理で脳を紐解く（１） 神経興奮の力学と情報処理の仕組み
第５章 数理で脳を紐解く（２） 「神経学習」の理論とは
第６章 人工知能の歴史とこれから
第７章 心に迫ろう
第８章 現代AIの基本技術 深層回路網と生成AI
第９章 心と意識 AIは心を持つか
第10章 AI時代の文明と社会
旧版・おわりに
増補版の後書きに代えて
解説 数理脳科学が切り拓いた人口知能への道 合原一幸
【第１章】
生命は自己複製をつくり出す奇妙な物質だ。同じものをつくり出すには、自分の構造を情報として持ち、これに依拠して自己を複製する。これまでの物質とエネルギーを支配する物理の法則に加えて、情報を考えないと生命は理解できない。とくに生命体がランダムな突然変異と適者生存の仕組みによって進化し発展していく様相は、物質に支えられているとはいえ、これ自体を生命特有の新しい法則、情報を利用した進化の法則と捉えることができる。宇宙を支配する物質とエネルギーの法則に、この段階で情報に関わる進化の法則が加わった（P22~23）
動物は生き抜くため、餌を探すこと、自分が食われないこと、子孫繁栄のためのパートナー探しが重要だ。このため、外界から情報を獲得し、処理して、自分の行動を決める。これには外界の情報を受容する細胞（感覚器官）、外界に働きかける細胞（運動器官）、情報を処理し行動を決定する神経系が必要で、その中に記憶を保持する系も含まれる。動物は進化の法則に導かれて、脳（中枢神経系）を作るに至った（P24）
人類は、社会生活を送り、生き延びるのに人々の協力を活用とした。共同で仕事をするためには、自分の意図を人に伝えなければならない。このため自分の意図を知る必要がある。こうして意識が生まれ、意図を伝える手段として言葉が発達した。言語は論理的な思考にも重要だ（P27）
【第２章】
（脳）（P32~34）
①脳幹：基本的な生命維持装置：呼吸、睡眠と覚醒を制御、情報の中継
②小脳：脳の10％。ニューロン数800億個で脳内最大。知覚と運動制御
③大脳：ニューロン数200億個。大脳基底核（運動計画と調整、動機づけ、強化学習）、海馬（記憶）、扁桃核（情動）、大脳皮質左脳（論理的思考、言語）右脳（知覚、感性）
（ニューロン）(P35~35)
①細胞体：ソーマ
②樹状突起：デンドライト。入力情報を受け取る
③軸索：アクソン。情報を出力
１つのニューロンからの出力は１度に１個で、１本の軸索が途中で枝分かれし、何千個もの他のニューロンと結合し、同じ情報を伝える。情報は電子パルスの形。ニューロン内部は外部より70mV低電位だが、外部からの信号が電位上昇（興奮性結合）or下落（抑制性結合）に作用し、全体として興奮性情報が強ければ電位が上がる（P36）
１個のニューロンでは、合計で20mV電位が上がると、ニューロン電位が突如100mV上昇（興奮）し、軸索から100mV、時間幅１ミリ秒の電気パルスが他のニューロンに伝わる(P36~37)
情報はデジタル情報で担われているかにみえるが、発火率（発火回数/１秒）を用いたアナログ量と見ることもできる（P37）
数多くのニューロンが協調して動作するから、脳内の情報はどのニューロンが発火しどれが沈黙しているかの発火のパターンとして表現され、このパターンがニューロンの相互作用によって時間とともに変化し発展していく。これが脳の情報処理だ(P37~38)
脳の情報は、発火時期の微妙な時間差に担わせることもできる。脳では空間に分布した発火パターンのみならず、発火の時間差パターンも役割を担っており、興奮のリズミカルな振動が重要だ（P38）
１つのパルスが電位をどのくらい上げ下げするか、その強さをシナプス効率orシナプス結合の強度という。脳が柔軟に働くのは、シナプス結合の強度を必要に応じて自動的に変えていく（シナプス可塑性）からだ。これが学習、記憶の基礎にある（P39）
前のニューロンからシナプスに電気パルスが１つ到着すると、その軸索の末端から化学物質がこぼれだす。これがシナプスに作用して、標的ニューロンの電位を上下させる。この化学物質を受け取る受容体がシナプスに数種類あり、効率を変えたり、数が増減することで、シナプス可塑性が実現する（P39）
これには受容体を構成する物質が関与するから、最終的にはDNAの遺伝情報を読んでアミノ酸を作り出して定着する。脳は、分子が活躍する分子機械だ(P39~40)
我々の脳ではニューロン結合の情報（配線図）が遺伝情報よりずっと多いので、遺伝情報は結合の大まかな指示を与えるのみで、後はランダムに枝を伸ばしながら適当につながる。ニューロン数も必要以上に多い。その後自己組織化で、外界の情報や内部の情報を利用しながら、必要な配線を補い、使わない結合を不要として消していく(P40~41)
脳の基本的な機能は、自己組織化が進んで完成する。脳の発達の過程には臨界期（感受性期）があり、ある時期にある特定の仕組みが発達する。視覚の線分の傾きや左右眼の協調による立体視等は生後4~6週目だ(P41~42)
生まれたばかりの子は多様な母音に感受性を持っている。本人はしゃべれなくてもある言語環境の中で育つと、その言語に対する感受性が増す。言語の習得にも臨界期がある。第２言語を学習してバイリンガルになるのは、８~９歳までに習得した場合だが、大人になって外国語を習得して達人になった人は多い。脳は可塑性を持っている（P42）
大脳皮質は、厚さ2~3㎜で６層に分かれ、各層に種々のニューロンが配置され、横方向の層内、厚み方向の層間でニューロンが結合している。シートを0.5㎜角で区切れば、これが厚さ方向に柱状に通ったコラムと呼ぶ単位で、コラムが１つの機能を担い、入力情報を内部で処理し、他の部位へと伝えていく（P43）
入力情報の分析が進むと、連合野で他の関連情報と統合され、前頭野で総合的な判断や計画が立てられて、この情報が運動野へと運ばれる。ここで大脳基底核や小脳と協力しながら細かい運動計画ができあがり、運動が実行される(P43~44)
脳は高度に分化し局在化した並列コンピュータに見えるが、多くの階層を情報が上がっていく階層コンピュータでもある。異なる領域の間にも密接な結合があるから、全体が密に働く超並列コンピュータでもある。フィードバックの結合も豊富なので、全体がダイナミックスで支配される動的並列コンピュータだ（P44~45）
ニューロンは基本的には多数決素子だ。興奮性と抑制性の和をとる。それぞれにシナプスの効率を掛けた重み付きの和だ。これが一定値h（閾値）を超えれば、ニューロンが発火し、出力z=1を出す(P45)
脳内のニューロン数は1000億(10¹¹）個で、これらが平均1000個の他のニューロンとつながっていれば、シナプス数は10¹⁴個になる(P45)
本を読んでいて意味が分かると面白いとかつまらないとか感じる。これは大脳皮質が情報を分析して処理した結果出てくるもので、この最中、脳は情報をニューロンの興奮の時空間パターンとして蓄えている（作業記憶）（P47）
大脳皮質には、知識等情報を理解するのに必要な記憶が収まっている。その意味で記憶は大脳皮質にある（P47）
短期記憶、特に作業記憶は、脳の興奮の時空間パターンとして保持されるから、ニューロンの興奮を維持するためにエネルギーが必要だ。長く蓄えると脳はオーバーヒートする。短期記憶は活性化した興奮パターンからシナプスの強弱のパターンに変換されて静的に海馬で蓄えられるのでエネルギーは少量で済む(P47~48)
海馬は空間や事物の関連をシナプス強度の形で記憶する。その後キーとなる目印がくれば、海馬の関連するニューロンがそれを手がかりに発火し、記憶が再生する。この海馬の仕組みはコンピュータ（CP）とは異なる。CPでは、記憶事項は０or１の情報ビットに変換され、あるがままの姿で記憶装置に蓄えられる。人間は、必要な情報を再生する仕掛けを記憶する(P49)
海馬からの情報の転送は睡眠時に起こり、整理した情報を送り出している。転送時に実時間の倍速で興奮パターンの早回し再生が起こり、大脳皮質に送っている(P51)
通常の活動時にも海馬と大脳皮質は会話をしている。瞬きは目を潤すためだが、その間に海馬から信号が出て情報転送が行われている。絶え間なく流れてくる視覚情報を途切れさせ、そこで一区切りをつけてまとめて情報の整理を行っている(P51)
海馬は新しい情報を受け容れ記憶するので、常に新しいニューロンが生まれ、回路に組み込まれている（ニューロンの新生）(P52)
学習は、神経回路網の動作がよくなるようにシナプスの効率を変化させる。教師あり学習では、ニューロンが動作したときに別のニューロンから信号が入って、こういう動きをすべきだったと教え、シナプス効率の改変が起こる。動作が正しければ何も起こらない。教師信号は、動作を実行している脳の部位とは異なる部位で作られる。自己組織化は教師なし学習で、外界によく現れる信号に対して、これを素早く的確に処理できるようになる（ヘブ学習）(P53~54）
ニューロンが興奮したとき、これを興奮させるのに寄与したシナプスは増強する。自分が興奮したか否かが教師信号となって学習する。自分が興奮するか否かは、回路網が決定する。回路網が教師信号を作り出している(P54)
大脳基底核では現段階での予想よりよい方向に局面が進んだ時＝期待よりうまくいったとき、ドーパミンを多く出すニューロンがある。期待外れで少ないドーパミンが出る。これを手がかりにシナプスの効率を変える学習が行われる(P56)
脳波は、安静時10Hzのα波、14Hzβのβ波、活動時50Hzのγ波、遅い6Hzのθ波がある。局所電位が高いときは付近のニューロンは興奮しやすく、低いときは興奮しにくい。多数のニューロンが作る局所電位は、その場所のニューロンの活動に影響を与える（P57）
局所的な振動は、螺旋の中の位置で位相を表現できる。多次元時間（t,τ）＝実時間t、振動の位相τ（タウ）。海馬が記憶を転移するため前頭野と情報交換するときは、両者のθ波が同期（位相がそろう）し、同じリズムの中で効率的に情報交換が進む(P59~60)
ヒトの脳は安静時にも活動していて、かなりのエネルギーを使っている。瞑想時も同じ。安静時でも領野間で同期して活動する興奮パターンが生じ、それが時間とともに切り替わる。安静時の脳は休んでいるのではなく、次に来る刺激に備えて、脳内でそれに備える準備活動をしている（P60）
（脳の測定方法）(P61~66)
①細胞染色技術：神経解剖学
②微小電極：電気生理学
③化学物質が担う情報：神経化学
④遺伝子操作：分子生物学
⑤オプトジェネティクス：光遺伝学
ニューロンが発火するにはエネルギー補給が必要であり、これは血流で運ばれる。ニューロンが興奮するときエネルギーを使い、血流中の酸素が消費され、酸化ヘモグロビンが還元ヘモグロビンに変わる。機能的磁気共鳴装置（fMRI）は、血流のヘモグロビンの酸化還元の度合いを見るため、強い回転磁場を外部から当てて、血流中のヘモグロビン分子の状態を探る（P68）
理解するとはその動作の細部をの詳細を知ることではない。動作の基本原理を知り、何が来れば何が起こるかを予測することだ。それには脳の動作原理を理論的に解明することが必要だ（P72）
【第３章】
私が考えたのと同じ確率的勾配降下法のアイデアが、15年ほど遅れて第2次ニューロブームのときに発表された（ラメルハート：誤差逆伝搬法）（P83）
ニューロンのような素子を用いて実現できる情報処理の基本原則があり、生命は進化の過程で材料の制約と歴史的な宿命を負う中で、それまでに実現したものの上にかぶせる形で新しいものを作らねばならなかった（P94）
原理を追究するにはモデルを使う。そこに情報処理の本質に関係した構造が含まれていれば、ここから原理を構築できる。脳が拠って立つ原理は１つではない。脳はミクロからマクロまで種々の階層を持ち、それぞれが順につながり、その機能も多様だ。だから多くの原理を複合して用いているに違いない(P94~95)
【第４章】
多くの場合、脳は個々のニューロンに基礎を置きつつも、集団として情報を処理する。n個のニューロンでi番目のニューロンが時間tで興奮しているか否かをXi(t)で示す。Xi(t)=1ならi番目のニューロンは興奮している。ニューロンiからニューロンjへの結合の重みをWjiとする。すると、次の時間のニューロンkの状態（興奮or非興奮）は、ここへの入力信号の重み付き和で決まる（以後、式略）（P101）
個々のニューロンの興奮ではなく、n個のニューロンのうち何割が興奮しているかを見る立場では、興奮しているニューロンの割合Xを回路の活動度とする。時間tでの活動度Xは、Xt＝の式（略）で、これが次の時間にXt₊₁になっていくかを見る(P102~103)
結合の重みの平均値をばらつき（分散）で補正した量Wとし、F関数（シグモイド関数）で示す。Sは外部から入る刺激。この式の結果をグラフ化すると、この曲線が45度の直線との交点が平衡状態だ。交点は3か所あり、活動度の低いところから安定～不安定～安定となる。外部入力により回路が活性化すると、不安定から高活動安定に至り、しばらく保持する。活動度が低いと低活動安定に至り安定する(P104~105)
回路が保持できる安定状態が２つあり、どちらを保持するかは過去の履歴で決まる（双安定）双安定回路は、一度励起して高い活動状態に達すると、外部刺激が消えてもこれを保持できる＝過去の刺激を記憶できる（作業記憶）（P105）
安定に保持できる状態がk個あるとして、静止状態にある回路システムが外部の刺激によって励起されれば、どこか１つの安定の状態に落ち着いて、これを保持する。安定な状態がたくさんあれば、ダイナミックスによって中の１つが選ばれ、これを保持する作業記憶になる。この仕掛けが連想記憶のモデルだ（P109）
外部からの刺激がトリガーになって興奮性の集団活動度が高まると、これに刺激されて抑制性の集団の活動度も高まる。これが興奮性集団を抑制し活動度を下げる。結果、抑制性集団への興奮入力が小さくなるから活動が弱まる。この繰り返しが起これば、神経集団は一定の周期で高い活動度と低い活動度の間を振動する（発振）（P110）
神経集団のダイナミックスは多安定と発振だけでなく、時系列を生成し、カオス現象を引き起こすこともできる。状態は方程式に従って決定論的に推移するのに、カオスでは状態の遍歴はランダムに見える。方程式から少し先の将来の予測は易しいが、その先の予測は難しい。状態が少しずれただけで、そのずれが拡大し、将来は全く違った様相を呈するからだ（P111）
これはランダムではなく、特殊な領域（カオスアトラクター）に収束して、その内部を経巡るが周期振動にはならない。カオスは非線形のダイナミックスによく現れ、脳はこれを活用している。多安定なシステムにカオスダイナミックスの効果を加えると、安定状態をカオスを利用して経巡り、次から次へと探すことができ、ランダムに探すより安定状態の探索を早くできる（P112）
場の興奮は局在していて、ある場所ｘの周りに長さaの興奮が起こり、他の場所は興奮しないとする（局所興奮）。場のニューロン間の結合は、距離が小さいときは興奮性で正の結合、離れると抑制性で負だとする。近くのニューロン同士はともに興奮し、離れたニューロンは互いに抑制しようとする（相互抑制結合）(P115~116)
興奮領域と非興奮領域の境界点は、受け取る刺激の挿話はゼロだ。これが正になれば興奮領域の境界が右に動く。負なら非興奮で境界は左に動く。この境界点が時間とともにどう動くかを調べる。場自体はどこも安定で、局在興奮波がある場所に立つとそれを持続的に保持する。この仕組みは作業記憶に適する(P116)
外部から刺激が来れば、局在興奮波はこれに惹かれてダイナミックスによって刺激の一番強い場所で向かって動いていく(P117)
発生は、１個の受精卵から出発して、一様な卵から種々の形態が生ずる。反応拡散系では、興奮と抑制が非線形で作用するとともに、拡散を通じて興奮が近くへ伝わる。神経場は拡散ではなく、神経結合で軸索を伸ばすことで興奮が伝わるため、反応拡散系より豊富な内容のパターン形成のダイナミックスを持っている。軸索が短いときは反応拡散系と同じになる(P117)
海馬は神経興奮のままで情報を蓄えるのではなく、回路のシナプス結合の強弱に形を変えて蓄える。脳は情報の関連性に着目し、１つの情報要素が他の要素と関連している場合に、情報の結びつきをシナプス結合の形で強化する(P119)
１つのパターンの中にＡ，Ｂ，Ｃの図柄があり全体として１つの絵になっている場合、Ａ，Ｂ，Ｃは同一の絵の中に存在していることで互いに関連している。それぞれの情報を表現するニューロン（集団）間のシナプス結合を強くする。結果、Ａに対応するニューロンが興奮すれば、Ｂ，Ｃも興奮する。Ａ，Ｂ，Ｃのどれからもダイナミックス相互作用により、Ａ，Ｂ，Ｃの組み合わせが復元できる（P120）
X₁からX₁₀₀の100個のアイテムがあり、外部の情報はその中の数個の組み合わせだ。要素の組み合わせのパターンは多数あり、それらを記銘する場合、パターンを100次元のベクトルｘと考える。このベクトルは2¹⁰⁰個あるが、外界に現れるのはこのうち特殊な組み合わせだけだ。その組み合わせのパターンだけ現れ、記憶する場合、Ｓkだけ外界に現れる(P120~121)
脳は、パターンの中のアイテム（ベクトルの成分）の関係性に着目する。アイテムはそれぞれがニューロン（集団）に担われている。脳は、各パターンの行列を重ね合わせて（平均値の行列にして）記銘する（P122）
連想記憶の神経回路網は、初期状態X₀から始めて、想起のダイナミックスの方程式に従って状態Xtが推移していく。回路のダイナミックスが多安定で、想起したいパターンがすべて安定平衡状態にあれば、状態遷移によってどれか１つに落ち着く。どこに落ち着くかは初期状態による。初期状態がうまいヒントを含めば、そこから関連したパターンを想起できる(P122~123)
たくさんのパターンを重ね合わせた場合、初期状態rに行列Wを掛ければ、２つのベクトルs₁とs₂の線形結合が得られ、２つのパターンが混じり合う。s₁がs₂と直交したベクトルであれば、係数c₂が０になるため、s₁だけが出てくる。直交とは内積０だが、直感的にはs₁とs₂が全然似てなければよい。初期状態rがs₁と似てなければ、s₂が答えとして取り出せる⇒重ね合わせによる混線が防げる(P124~125)
k個のパターンでも、s₁‥skを混ぜ合わせてWを作る。初期値として与えるパターンrがs₁に関連していて、他のsjと直交していればsiが取り出せる。直交はふつう起こらないから、ダイナミックスで不要な係数cjを小さくし、一歩一歩siに近づけていく（P124）
覚えたパターンが相互に直交していることは通常ないので、覚えるパターンを符号化して、直交に近いパターンに変換しておく。これにはパターンのランダムな変換が役に立つ。脳は、これを行っているようだ（P124）
脳は覚えるべきパターンの関係性をシナプスの重みとして覚え、その関係性を重ね合わせる。思い出すときは、重ね合わせを解くが、探索のための初期パターンが覚えたもののどれかに関係していれば、これをヒントに安永平衡状態にダイナミックスでたどり着く。安定平衡状態が覚えたパターンだ(P124~125)
初期値のヒントから正しいパターンをダイナミックスによって作り出す。脳は記憶を蓄えるのではなく、思い出すためのヒントから復元すべき情報を作り出す（P125）
海馬は短期の記憶を実現する。大脳皮質から入る情報は、歯状回を介して海馬のCA3に入る。このとき入力パターンの疑似直交化が起こる。CA3ではニューロンが相互に結合し、連想記憶のダイナミックスが行われる。記憶パターン内部の相互の関係は、ここでシナプス荷重の重みとして蓄えられる（P125）
ホップフィールドは、記憶すべきパターンをランダム化することによって、記憶容量を明らかにした（P127）
連想記憶は、静的パターンの記憶だけでなく、動的パターンの系列＝パターンの時系列を記憶できる（P128）
【第５章】
パーセプトロンは、1950年代末提案のパターン認識を行う学習機械で深層学習（ディープラーニング）に進化した。入力信号を受けて、それがどのカテゴリーに属するかを識別分類する。訓練期間中は教師信号が入り機械が誤るたびに内部を調整する（P134）
パーセプトロンは、多層の神経回路網のモデルで、情報が一方向に流れる。入力層のニューロンが入力信号を受けると次の中間層のニューロンが計算し答えを出す。答えを次の中間層のニューロンに渡し、最後の出力ニューロンが答えを出す（P134）
入力信号xが入ったとき、この回路が出す出力yは、ｘと重みw₁‥wNの関数だ。これが教師信号の示す正解Ýと違ってた時、パーセプトロンの誤り＝出力誤差eはyーÝだ。ここでパラメータ（シナプスの重み）の１つwiを少し変えて、これをwi+Δwiに増やすと誤差も少し変わる。これで誤差が減るなら、wiをΔwだけ変える。増えるなら反対方向-Δwiだけ変える（P136）
具体的には、誤差の二乗を損失関数として、これをwiで微分すれば、どの方向にwiを変えれば誤差が減るかがわかる。この方法で、シナプスの重みを変えていけば、誤差の小さいところに落ち着く(P136)
関数の勾配（関数をベクトルのパラメータで微分したもの）は、関数の値が増える方向を表すベクトルで、減らすにはパラメータを勾配とは逆の方向へ変えればよい。勾配は入力ｘに依存し、xはランダムに現れる。１回１回の学習では誤差が減るとは限らないが、全体としては望ましい方向へ変わっていく（確率的勾配降下学習法）（P137）
（多層パーセプトロンの確率的勾配降下学習法：むずいので略）(P138~140
学習には確率的勾配降下学習法を用い、損失関数が減る方向にパラメータwを少しずつ変えていき、損失（誤差）が最低になるところを目指すが、関数の形が曲がり、周囲より低い谷になるところがいくつもあるとき（局所最適）が生じることがある(P143)
学習を進めていくと、損失関数が減っていくが、ほとんど減らなくなる箇所がある（プラトー）(P144)
学習で縮退の効果をなくすには、リーマン空間の立場に戻って、損失関数の勾配をリーマン空間の中で考えればよい（自然勾配学習法）(P147)
脳の構造は進化してできたのだから、確率的勾配降下学習で実現できる構造を、別の仕方で、進化の過程で見出したのかもしれない(P148)
今の状態から次の状態へ移って、その価値が予想通りならよいが、そうでなければ変えなければならない。予測の誤差を教師信号として使って、これが減る方向に学習を進めていけばよい（強化学習）(p152~153)
大脳基底核には、ドーパミンを出すニューロンがある。期待以上によい結果をもらうとドーパミンがたくさん出るが、期待外れだと通常より分泌が減る。学習が進むにつれて、局面（状態）の評価が改善されて、それをもとにドーパミンが出るタイミングが前に移っていく(P154)
多様な環境の情報構造を脳内に獲得しておくのが自己組織化（教師なし学習）だ。これは環境の情報を脳内にどう表現するかという、情報表現の学習だ。外界によく現れる信号に対して、これを処理しやすい表現を作っておけば、それがその後の教師あり学習に有利に働く(P155)
脳内で階層が１つ上に進むと、両眼の情報を融合するニューロンが現れる。立体視も左目と右目に映った対応する物体の微妙な視差から、奥行きの知覚を作り上げる(P160)
自然環境には、木、森、山、川、人、動物がいる。これらは輪郭線があり、まとまった形をなしている。このような環境で、多数のニューロンからなる脳が、外界の信号を受けて、ヘブ方式の自己組織化を行う。このとき感覚情報を受けて処理するニューロンは、よく出る信号の１つに特化し、それが現れたときに興奮し、その特徴のない信号には興奮しないようになる（P161）
外界の事物は、網膜上は２次元の像で映り、脳の皮質も２次元だ。両者は対応が取れており、網膜と皮質の間には１対１の連続的な写像があって場の２次元トポロジーを保存する（レチノトピー）。レチノトピーも自己組織化で形成される（P162）
網膜では近くにあるニューロンは同時発火することが多い。受け手のニューロンに入るときに、同時に発火する軸索は網膜上の近くのニューロンからきていることが多い。この情報を使って、同時に発火するニューロンの軸索は、視覚野で近くのニューロンに結合すればよい。神経場の自己組織化はこのように進む（P163）
外界の情報は多次元（網膜に映った線分の角度等）なので、神経場の２次元では足りない。神経場の自己組織化方程式は、ブロック構造（ブロック状のコラム）に離散化し、離散化した領域が２次元に並んでレチノトピーを保つと同時に、ブロックの内部（厚み）に角度等他の情報を表現するニューロンを並べることができる(P163~164)
海馬のグリッド細胞は、格子状に離れた位置できれいに並んでおり、グリッド構造というが、これも自己組織化で作られる(P164~165)
入力信号が各シナプスに入り、その結果起こるニューロンの興奮には少しの時間的遅れがある。そこで入力より少し遅れて興奮したニューロンにシナプスの重みを増加し、入力より早く興奮したニューロンは重みを減らす（時間依存シナプス可塑性）このモデルでは、抑制の効果が自動的に組み込まれる(P165~166)
ベクトルｘがあるときに、その成分がほとんど０であるとき、スパースベクトル（疎ベクトル）といい、０でないものを活性化した成分という。脳には極めて多数のニューロンがあり、ある課題を遂行するのに活動するのは少しのニューロンだけだ。ニューロンの活動（ニューロン間の結合）をベクトルで表せばスパース（疎）となる(P166~167)
我々が知りたいのはｍ個の成分を持つ信号であるとき、これをベクトルsで表す。これが要因となって結果ｘが生じるのだが、我々は結果から要因sを推測た。観測できるのは結果ｘ＝要因の線形結合（要因の重み付き和）だ。重みの係数をベクトルで書いてaとする。条件を変えてたくさんの測定を行い、測定ごとに異なる重み係数ベクトルaを用いる。測定数n個をまとめてn次元のベクトルxで表す。このときi番目の測定値xiは、既知の係数ベクトルaiとsの内積になる。結合の係数を並べれば、n行m列の行列Ａとなり、要因sと測定値xを結ぶ式は、行列ーベクトルの方程式x=Asとなる(P167)
測定には誤差が伴うから、式の最後に誤差ベクトルεを足す。xからsを求めるには、方程式を解くが、sがスパースのときはその中で活性化している成分はk個だ。kが小さければ、測定数nがｍよりずっと小さいk log m程度でも多くの解が求まる(P168~169)
【第６章】
パーセプトロンは、入力に応じて答えを出すシステムであるから、教師信号ありの教師あり学習をする。その前に、自己組織化学習をしておくのが、深層学習の斬新なアイデアだった（P186）
画像学習では,1000万枚の入力画像を用意し、それらを神経回路がいち早く抽出し、階層が上がるにつれてこれらを組み合わせながら、高次の特徴である概念のようなものを作り上げておけば、その後の教師あり学習が容易になる(P186~187)
脳の場合も、幼児期からの自己組織化で特徴を把握する仕組みを作り上げる。進化の過程で獲得した遺伝情報も、回路の形成に関与している。自己組織化学習の基本はヘブ型だが、人工知能はそこにいろいろな工夫を加える自由度がある(P187~188)
上の層のニューロンの個数を絞って少なくする。結果、無駄を省いて圧縮する。必要な特徴だけが抽出され、概念化したものが現れる（P187）
深層学習は時間とともに事態が変化していく動的な問題にも対応できる。これにはフィードバック結合を持つ神経回路＝リカーレント（再帰）結合のニューラルネットワークを使う。これは、時間が進むにつれて興奮のパターンを次から次へと発展させて計算を進める。
【第７章】
実験によれば、４歳ごろになると他人の心が分かり、相手の立場に立って物事を理解できるようになる（P204）
心は脳の中で葛藤を経て定まる。神経興奮のダイナミックスが働いて、脳の中で多くの部位が覇権を競い、その結果で自分の心が決まる（P204）
（心の葛藤のゲーム）(P204~209)
①囚人のジレンマ
②究極のゲーム：自分が配分者になるゲーム
③割引ゲーム：割引率の問題
各ゲームでは脳の多くの部位が関係し、その間での情報交換と競合が起こり、ニューロン集団間の興奮のダイナミックスが始まる。結果、どこが優勢になるかで最終的な決定が下され、心が定まる（P210）
自分が今何を考え何をしようとしているかを知ることが意識だ。意識は人類が社会で共同作業をする中で発生した。共同で作業するには、自分が何をするつもりかを人に伝えなければならない。それには自分が何をするつもりかを自分が知らなければならない。これが意識の萌芽だ（P212）
自分の意図を人に伝える手段として言語が発達した。自分の考えを原語で表現できるようになれば、そこに論理的な操作が加えられる。事態がどのように推移していくかを脳内でシミュレーションできる（P212）
数学的帰納法のように、有限の手段で無限の話ができる。このような仕組みを入れ子構造を持つ再帰的な推論という（P212）
人の脳は、無意識で膨大な情報を処理している。意識の上るのはほんの一角だ。視覚、聴覚、触角等の感覚器官から情報を受け取り、無用なものは意識の上らせることなく、直ちに処理する。意識に上らない行動を司るものをゾンビシステムという（P213）
意識は脳の特定の部位が担うものではなく、多くの部位が協働して行う集団行動の結果として生じる（P213）
脳内の広範囲の情報を統合すると意識が生ずるのであれば、統合の度合いで意識の強さを測ろうとするのが意識の統合情報理論だ（P214）
人は自分が選んだ行動を後付けで合理化して、後から自分で納得させる。結果、時に因果関係に反して、なかった要因まで存在したかのように錯覚する（P220）
意識に上る推論のプロセスは、先読みで出した結果を再考できる。この段階で、後付けで合理化して推論を補強もできる。自由意志はあるかという問題は、それ自体面白いが、答えのない問題だ。ミクロの物質レベルの因果律で考えれば、決定論的だ（P221）
【第８章】
P個のパラメータを並べたθ（P次元の空間）をSとし、関数f(x)のすべてがなす空間をFとする。深層回路網が実現する関数f(x,θ）は、特別な形をしたものだけで、無限大の次元を持つFの中ではP次元の部分空間をなす（P238）
Sの像I(S)は、Fの中で折れ曲がっており、特異点が普遍的に存在し、全体を網の目のように覆っている。これで深層回路網の学習時に生ずる汎化誤差解析ができる(P238~239)
２つの異なるパラメータθとθ’を持つ深層回路網に対して、もしf(x,θ)=f(x,θ’)がどのｘに対しても成立していれば、θとθ’は見かけが違ってもその実現する関数は同じもの（θとθ’は同値）だ。同値のものを１つに（圧縮）すると特異点になる。パラメータ空間Ｓは、至る所に同値なものがあって、これが部分空間をなしてつながっている(P239~240)
ランダムに決めた初期値θを多数作って集めると、それらは確率法則に従っているから偏りがある。wijの平均が０だどすると、その１個１個は０からランダムにずれているが、多数のニューロンに対してその平均をとると、大数の法則により０に極めて近くなる。だからランダムに決めたθを沢山集めても、それらはSの中に満遍なく分布しているのではなく、極めて偏った一部分に集まってくる。確率分布を変えれば、２つの異なる分布に従って作ったθの集まりにはほとんど重なりがない(P241~242)
ランダムに決めた層状回路が役割を果たす（神経接核理論）かってなランダム初期値θを基にして、そのすぐ近くを探せばいくらでもよい近似でf(x)を実現できるθが見つかる。このことがPを大きくしさえすれば言える。これは普遍近似定理より強力だ。ある法則に従うランダムな回路は、Sの極めて偏った部分にしかないからだ（P242）
我々はパラメータ空間SはP次元の空間と考えていたが、それは特殊構造の網の目に覆われて、同値なものを１つにまとめ至る所がくびれてつながった空間だった（P243）
深層回路網は、特異点が網の目のように至る所を覆っている、極めて特殊な空間をなしている（P243）
創発とは、あるシステムが巨大化すると、小さなシステムにはなかった新しい性質が現れることだ。気体の粒子の個数が巨大になると、温度、圧力等の集団的な量が現れ、それらの間の関係が新しく生じる。深層回路網で何が創発したかはわからない。理論が遅れをとっている（P244~245)
強化学習とは、手順を追って局面を動かして、最後に最適な結果を得る仕組みの学習だ。各手順でアクション（行動）を１つ選び実行する。これで局面が変化する。この手順を繰り返して得られる最後の局面が最良になる方策を学習する。各局面に価値を定め、方策を実行することで価値の高い局面に移行し、最後に最高の価値の局面を得るようにする。このために、各局面の価値を評価する価値観数を、最終結果から深層学習によって作る（P246）
拡散生成回路網は、自然画像の各画素に雑音を加えて画像をぼかしていく（拡散過程）深層回路網を使って、ぼやけた画像から雑音を少しずつ除去して、元の鮮明な画像を復元する。この過程で元の画像の確率的な構造を利用し、プロンプト（指示）を与えると、それに沿った確率計算を行い、指示通りの画像を生成する(P247~248)
文章は、時間を追って現れる単語の系列パターンだ。文章中の単語の列を空間的に並んだパターンと見る。各単語を高次元のベクトル空間の一点と見て、各単語に対してベクトル演算をする。男ー女≒王ー女王のはずだから、王ー男＋女⇒女王が出てくる。東京ー日本＋フランス⇒パリも近似的に成立する(P249~250)
この単語の列の次に出る単語を類推する。トランスフォーマー（深層回路網）を作り、層が上がるごとにより抽象的な表現をとる構造に変換する。次に来るべき単語の類推には、連想記憶の仕組みを一般化したものを使う。連想すべきパターンを複数個掲げ、それらの信頼性の度合いを計算する（一般化連想システム）（P250）
抽象空間での表現を使って生成した単語列は、連想記憶により次の単語の候補を獲得する。これを現実の単語に逆変換する深層回路網を使って、元の言葉の列に直す⇒文章の生成(P250~251)
【第９章】
物事の背後にある普遍的な仕組みを見抜いて納得したとき、我々は理解したと感じる。日常会話では、言葉が何気なく次から次へと出てくる。出た後で話した言葉を認識し、ときに間違いがあり、訂正する（ポストディクション）(P258~259)
【第10章】
人間は働くことと遊ぶことが好きだ（P266）
AIがさらに普及するには、大規模AIだけでなく、ダウンサイズした、小規模ながらも高性能のAIが広がらなければならない（P268）
