explore activations

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.10%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20layout_file%3D%22data%3Aapplication%2Fjson%3Bbase64%2Cew0KICAidHlwZSI6ICJncmlkIiwNCiAgImRhdGEiOiB7DQogICAgImNvbHVtbnMiOiAyNCwNCiAgICAicm93SGVpZ2h0IjogMjEsDQogICAgIm1heFdpZHRoIjogMTUwMCwNCiAgICAiYm9yZGVyZWQiOiB0cnVlLA0KICAgICJjZWxscyI6IFsNCiAgICAgIHsNCiAgICAgICAgInBvc2l0aW9uIjogbnVsbA0KICAgICAgfSwNCiAgICAgIHsNCiAgICAgICAgInBvc2l0aW9uIjogbnVsbA0KICAgICAgfSwNCiAgICAgIHsNCiAgICAgICAgInBvc2l0aW9uIjogbnVsbA0KICAgICAgfSwNCiAgICAgIHsNCiAgICAgICAgInBvc2l0aW9uIjogbnVsbA0KICAgICAgfSwNCiAgICAgIHsNCiAgICAgICAgInBvc2l0aW9uIjogbnVsbA0KICAgICAgfSwNCiAgICAgIHsNCiAgICAgICAgInBvc2l0aW9uIjogWw0KICAgICAgICAgIDEsDQogICAgICAgICAgMywNCiAgICAgICAgICA2LA0KICAgICAgICAgIDMNCiAgICAgICAgXQ0KICAgICAgfSwNCiAgICAgIHsNCiAgICAgICAgInBvc2l0aW9uIjogWw0KICAgICAgICAgIDcsDQogICAgICAgICAgMywNCiAgICAgICAgICA1LA0KICAgICAgICAgIDMNCiAgICAgICAgXQ0KICAgICAgfSwNCiAgICAgIHsNCiAgICAgICAgInBvc2l0aW9uIjogWw0KICAgICAgICAgIDEyLA0KICAgICAgICAgIDMsDQogICAgICAgICAgOSwNCiAgICAgICAgICAzDQogICAgICAgIF0NCiAgICAgIH0sDQogICAgICB7DQogICAgICAgICJwb3NpdGlvbiI6IFsNCiAgICAgICAgICAxLA0KICAgICAgICAgIDYsDQogICAgICAgICAgNywNCiAgICAgICAgICAyNQ0KICAgICAgICBdDQogICAgICB9LA0KICAgICAgew0KICAgICAgICAicG9zaXRpb24iOiBudWxsDQogICAgICB9LA0KICAgICAgew0KICAgICAgICAicG9zaXRpb24iOiBbDQogICAgICAgICAgOCwNCiAgICAgICAgICA2LA0KICAgICAgICAgIDEzLA0KICAgICAgICAgIDI1DQogICAgICAgIF0NCiAgICAgIH0sDQogICAgICB7DQogICAgICAgICJwb3NpdGlvbiI6IG51bGwNCiAgICAgIH0sDQogICAgICB7DQogICAgICAgICJwb3NpdGlvbiI6IG51bGwNCiAgICAgIH0sDQogICAgICB7DQogICAgICAgICJwb3NpdGlvbiI6IG51bGwNCiAgICAgIH0sDQogICAgICB7DQogICAgICAgICJwb3NpdGlvbiI6IG51bGwNCiAgICAgIH0sDQogICAgICB7DQogICAgICAgICJwb3NpdGlvbiI6IG51bGwNCiAgICAgIH0NCiAgICBdDQogIH0NCn0%3D%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%0A%20%20%20%20import%20re%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20polars%20as%20pl%0A%0A%20%20%20%20return%20alt%2C%20json%2C%20mo%2C%20pl%2C%20re%0A%0A%0A%40app.cell%0Adef%20_(re)%3A%0A%20%20%20%20def%20slug(s%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20%22%22%22Match%20an%20emotion%20label%20to%20its%20projection%20key%20(e.g.%20'self-confident'%20-%3E%20'self_confident').%22%22%22%0A%20%20%20%20%20%20%20%20return%20re.sub(r%22%5B%5Ea-z0-9%5D%2B%22%2C%20%22_%22%2C%20s.strip().lower()).strip(%22_%22)%0A%0A%20%20%20%20return%20(slug%2C)%0A%0A%0A%40app.cell%0Adef%20_(json%2C%20mo)%3A%0A%20%20%20%20def%20load_json(name%2C%20local_path)%3A%0A%20%20%20%20%20%20%20%20%23%20Local%20(marimo%20edit)%3A%20read%20the%20original%20file.%20WASM%20(web%20export)%3A%20fetch%20the%0A%20%20%20%20%20%20%20%20%23%20trimmed%20copy%20bundled%20under%20public%2F%20next%20to%20the%20notebook%20(built%20by%20build_public.py).%0A%20%20%20%20%20%20%20%20base%20%3D%20str(mo.notebook_location())%0A%20%20%20%20%20%20%20%20if%20base.startswith((%22http%3A%2F%2F%22%2C%20%22https%3A%2F%2F%22))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20open_url%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20json.loads(open_url(f%22%7Bbase%7D%2Fpublic%2F%7Bname%7D%22).read())%0A%20%20%20%20%20%20%20%20return%20json.loads(local_path.read_text(encoding%3D%22utf-8%22))%0A%0A%20%20%20%20return%20(load_json%2C)%0A%0A%0A%40app.cell%0Adef%20_(load_json%2C%20mo)%3A%0A%20%20%20%20readout%20%3D%20load_json(%22readout.json%22%2C%20mo.notebook_location()%20%2F%20%22data%22%20%2F%20%22readout.json%22)%0A%20%20%20%20%23%20Direct-elicitation%20has%20no%20frame%2Fsplit%2Fexistential%20axis%3A%20every%20message%20is%20in%20view.%0A%20%20%20%20%23%20The%20web%20bundle%20stores%20projections%20as%20an%20array%20(%60p%60)%20with%20a%20shared%20%60emotion_names%60%0A%20%20%20%20%23%20list%3B%20re-expand%20to%20the%20%7Bemotion%3A%20value%7D%20dict%20the%20rest%20of%20the%20notebook%20expects.%0A%20%20%20%20_names%20%3D%20readout.get(%22emotion_names%22)%0A%20%20%20%20messages%20%3D%20(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B**%7Bk%3A%20m%5Bk%5D%20for%20k%20in%20m%20if%20k%20!%3D%20%22p%22%7D%2C%20%22projections%22%3A%20dict(zip(_names%2C%20m%5B%22p%22%5D))%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20m%20in%20readout%5B%22messages%22%5D%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20if%20_names%20is%20not%20None%0A%20%20%20%20%20%20%20%20else%20readout%5B%22messages%22%5D%0A%20%20%20%20)%0A%20%20%20%20return%20messages%2C%20readout%0A%0A%0A%40app.cell%0Adef%20_(messages%2C%20mo%2C%20readout)%3A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20Emotion%20activations%20per%20message%20(direct-elicitation%20dataset)%0A%0A%20%20%20%20**%7Blen(messages)%7D**%20messages%20%C3%97%20**%7Breadout%5B%22n_emotion_vectors%22%5D%7D**%20emotion%20vectors%20%C2%B7%0A%20%20%20%20model%20%60%7Breadout%5B%22model%22%5D%7D%60%20%C2%B7%20readout%20layer%20**%7Breadout%5B%22readout_layer%22%5D%7D**%20%C2%B7%20position%20%60%7Breadout%5B%22position%22%5D%7D%60.%0A%0A%20%20%20%20Each%20value%20is%20the%20message's%20pre-response-token%20activation%20projected%20onto%20an%20emotion%20vector%0A%20%20%20%20(%7Breadout%5B%22projection%22%5D%7D).%20Filter%20by%20**cluster**%2C%20then%20**emotion**%2C%20then%20pick%20a%20message%20%E2%80%94%0A%20%20%20%20the%20bar%20plot%20highlights%20the%20**right%20emotion**%20(the%20exact%20target)%20and%20the%20**right%20cluster**%0A%20%20%20%20(any%20emotion%20from%20the%20target's%20cluster)%3B%20see%20the%20legend.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(messages%2C%20mo)%3A%0A%20%20%20%20clusters%20%3D%20sorted(%7Bm%5B%22cluster%22%5D%20for%20m%20in%20messages%7D)%0A%20%20%20%20cluster_selector%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3Dclusters%2C%20value%3Dclusters%5B0%5D%2C%20label%3D%22cluster%22%0A%20%20%20%20)%0A%20%20%20%20cluster_selector%0A%20%20%20%20return%20(cluster_selector%2C)%0A%0A%0A%40app.cell%0Adef%20_(cluster_selector%2C%20messages%2C%20mo)%3A%0A%20%20%20%20cluster_emotions%20%3D%20sorted(%0A%20%20%20%20%20%20%20%20%7Bm%5B%22emotion%22%5D%20for%20m%20in%20messages%20if%20m%5B%22cluster%22%5D%20%3D%3D%20cluster_selector.value%7D%0A%20%20%20%20)%0A%20%20%20%20emotion_selector%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3Dcluster_emotions%2C%20value%3Dcluster_emotions%5B0%5D%2C%20label%3D%22emotion%22%0A%20%20%20%20)%0A%20%20%20%20emotion_selector%0A%20%20%20%20return%20(emotion_selector%2C)%0A%0A%0A%40app.cell%0Adef%20_(cluster_selector%2C%20emotion_selector%2C%20messages%2C%20mo)%3A%0A%20%20%20%20options%20%3D%20%7B%0A%20%20%20%20%20%20%20%20f%22%7Bm%5B'id'%5D%7D%20%C2%B7%20%7Bm%5B'message'%5D%5B%3A45%5D%7D%22%3A%20i%0A%20%20%20%20%20%20%20%20for%20i%2C%20m%20in%20enumerate(messages)%0A%20%20%20%20%20%20%20%20if%20m%5B%22cluster%22%5D%20%3D%3D%20cluster_selector.value%0A%20%20%20%20%20%20%20%20and%20m%5B%22emotion%22%5D%20%3D%3D%20emotion_selector.value%0A%20%20%20%20%7D%0A%20%20%20%20message_selector%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3Doptions%2C%0A%20%20%20%20%20%20%20%20value%3Dnext(iter(options))%2C%0A%20%20%20%20%20%20%20%20label%3D%22message%22%2C%0A%20%20%20%20%20%20%20%20searchable%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20message_selector%0A%20%20%20%20return%20(message_selector%2C)%0A%0A%0A%40app.cell%0Adef%20_(message_selector%2C%20messages%2C%20mo)%3A%0A%20%20%20%20_m%20%3D%20messages%5Bmessage_selector.value%5D%0A%20%20%20%20mo.md(f%22**message**%20%60%7B_m%5B'id'%5D%7D%60%5Cn%5Cn%3E%20%7B_m%5B'message'%5D.replace(chr(10)%2C%20'%20')%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(messages)%3A%0A%20%20%20%20%23%20Per-emotion%20mean%2Fstd%20across%20all%20messages%2C%20to%20normalize%20a%20single%20message's%0A%20%20%20%20%23%20activations%20(z-score%20per%20emotion%20vector%20%E2%80%94%20the%20same%20basis%20as%20the%20dataset%20heatmap).%0A%20%20%20%20_emos%20%3D%20list(messages%5B0%5D%5B%22projections%22%5D.keys())%0A%20%20%20%20_n%20%3D%20len(messages)%0A%20%20%20%20proj_mean%20%3D%20%7Be%3A%20sum(m%5B%22projections%22%5D%5Be%5D%20for%20m%20in%20messages)%20%2F%20_n%20for%20e%20in%20_emos%7D%0A%20%20%20%20proj_std%20%3D%20%7B%7D%0A%20%20%20%20for%20_e%20in%20_emos%3A%0A%20%20%20%20%20%20%20%20_mu%20%3D%20proj_mean%5B_e%5D%0A%20%20%20%20%20%20%20%20_var%20%3D%20sum((m%5B%22projections%22%5D%5B_e%5D%20-%20_mu)%20**%202%20for%20m%20in%20messages)%20%2F%20_n%0A%20%20%20%20%20%20%20%20proj_std%5B_e%5D%20%3D%20(_var**0.5)%20or%201.0%0A%20%20%20%20return%20proj_mean%2C%20proj_std%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20alt%2C%0A%20%20%20%20emo_to_cluster%2C%0A%20%20%20%20message_selector%2C%0A%20%20%20%20messages%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20proj_mean%2C%0A%20%20%20%20proj_std%2C%0A%20%20%20%20slug%2C%0A)%3A%0A%20%20%20%20msg%20%3D%20messages%5Bmessage_selector.value%5D%0A%20%20%20%20intended%20%3D%20slug(msg%5B%22emotion%22%5D)%0A%20%20%20%20target_cluster%20%3D%20msg%5B%22cluster%22%5D%0A%20%20%20%20zproj%20%3D%20%7Be%3A%20(v%20-%20proj_mean%5Be%5D)%20%2F%20proj_std%5Be%5D%20for%20e%2C%20v%20in%20msg%5B%22projections%22%5D.items()%7D%0A%20%20%20%20ranked%20%3D%20sorted(zproj.items()%2C%20key%3Dlambda%20kv%3A%20kv%5B1%5D%2C%20reverse%3DTrue)%0A%20%20%20%20rank%20%3D%20next((i%20%2B%201%20for%20i%2C%20(e%2C%20_v)%20in%20enumerate(ranked)%20if%20e%20%3D%3D%20intended)%2C%20None)%0A%0A%20%20%20%20def%20_category(e)%3A%0A%20%20%20%20%20%20%20%20%23%20The%20exact%20emotion%20the%20message%20targets%2C%20vs.%20any%20emotion%20in%20that%20same%20cluster.%0A%20%20%20%20%20%20%20%20if%20e%20%3D%3D%20intended%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22right%20emotion%22%0A%20%20%20%20%20%20%20%20if%20emo_to_cluster.get(e)%20%3D%3D%20target_cluster%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22right%20cluster%22%0A%20%20%20%20%20%20%20%20return%20%22other%22%0A%0A%20%20%20%20top%20%3D%20ranked%5B%3A15%5D%0A%20%20%20%20df%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22emotion%22%3A%20%5Be%20for%20e%2C%20_v%20in%20top%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22activation%22%3A%20%5Bv%20for%20_e%2C%20v%20in%20top%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22category%22%3A%20%5B_category(e)%20for%20e%2C%20_v%20in%20top%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20_domain%20%3D%20%5B%22right%20emotion%22%2C%20%22right%20cluster%22%2C%20%22other%22%5D%0A%20%20%20%20_range%20%3D%20%5B%22crimson%22%2C%20%22%23f4a300%22%2C%20%22%234c78a8%22%5D%20%20%23%20target%20%C2%B7%20same%20cluster%20%C2%B7%20rest%0A%20%20%20%20chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22activation%3AQ%22%2C%20title%3D%22activation%20(z-scored%20per%20emotion)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22emotion%3AN%22%2C%20sort%3D%22-x%22%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22category%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D_domain%2C%20range%3D_range)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3D%22highlight%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22emotion%22%2C%20%22category%22%2C%20alt.Tooltip(%22activation%3AQ%22%2C%20format%3D%22.2f%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(height%3D400%2C%20width%3D540%2C%20title%3D%22Top-15%20normalized%20emotion%20activations%22)%0A%20%20%20%20)%0A%0A%20%20%20%20header%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22**target%3A**%20%60%7Bmsg%5B'emotion'%5D%7D%60%20%C2%B7%20cluster%20%60%7Bmsg%5B'cluster'%5D%7D%60%20%C2%B7%20%60%7Bmsg%5B'id'%5D%7D%60%20%C2%B7%20%22%0A%20%20%20%20%20%20%20%20f%22**normalized%20rank%20of%20target%3A%20%7Brank%7D%20%2F%20%7Blen(msg%5B'projections'%5D)%7D**%22%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bheader%2C%20chart%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20alt%2C%0A%20%20%20%20cluster_order%2C%0A%20%20%20%20emo_to_cluster%2C%0A%20%20%20%20emotion_order%2C%0A%20%20%20%20message_selector%2C%0A%20%20%20%20messages%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20slug%2C%0A)%3A%0A%20%20%20%20_m%20%3D%20messages%5Bmessage_selector.value%5D%0A%20%20%20%20_intended%20%3D%20slug(_m%5B%22emotion%22%5D)%0A%20%20%20%20_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(emo_to_cluster%5Be%5D%2C%20e%2C%20v)%0A%20%20%20%20%20%20%20%20for%20e%2C%20v%20in%20_m%5B%22projections%22%5D.items()%0A%20%20%20%20%20%20%20%20if%20e%20in%20emo_to_cluster%0A%20%20%20%20%5D%0A%20%20%20%20pm%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20_rows%2C%20schema%3D%5B%22cluster%22%2C%20%22emotion%22%2C%20%22activation%22%5D%2C%20orient%3D%22row%22%0A%20%20%20%20).with_columns(is_intended%3Dpl.col(%22emotion%22)%20%3D%3D%20_intended)%0A%0A%20%20%20%20pm_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(pm)%0A%20%20%20%20%20%20%20%20.mark_rect()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22emotion%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3Demotion_order%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axis%3Dalt.Axis(labelAngle%3D-45%2C%20labelLimit%3D90)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22activation%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22activation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(scheme%3D%22redblue%22%2C%20reverse%3DTrue%2C%20domainMid%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20stroke%3Dalt.condition(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22datum.is_intended%22%2C%20alt.value(%22black%22)%2C%20alt.value(None)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20strokeWidth%3Dalt.condition(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22datum.is_intended%22%2C%20alt.value(2.5)%2C%20alt.value(0)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cluster%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22emotion%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22activation%3AQ%22%2C%20format%3D%22.3f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(width%3D680%2C%20height%3D10)%0A%20%20%20%20%20%20%20%20.facet(%0A%20%20%20%20%20%20%20%20%20%20%20%20row%3Dalt.Row(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cluster%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sort%3Dcluster_order%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20header%3Dalt.Header(labelAngle%3D0%2C%20labelAlign%3D%22left%22%2C%20labelLimit%3D200)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20spacing%3D0.5%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.resolve_scale(x%3D%22independent%22%2C%20color%3D%22shared%22)%0A%20%20%20%20)%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%60%7B_m%5B'id'%5D%7D%60%20%C2%B7%20target%20**%7B_m%5B'emotion'%5D%7D**%20(cluster%20%60%7B_m%5B'cluster'%5D%7D%60%2C%20outlined%20in%20black).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pm_chart%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Dataset%20overview%20%E2%80%94%20activation%20by%20cluster%0A%0A%20%20%20%20Across%20all%20messages%3A%20rows%20are%20the%20**cluster%20the%20message%20was%20written%20to%20target**%2C%0A%20%20%20%20columns%20are%20the%20**171%20emotion%20vectors**%20(ordered%20by%20their%20own%20cluster).%20Color%20is%20the%0A%20%20%20%20mean%20activation%20of%20that%20cluster's%20messages%20on%20each%20vector.%20Cells%20whose%20vector%20belongs%0A%20%20%20%20to%20the%20row's%20cluster%20%E2%80%94%20the%20**%22right%22%20emotions**%20%E2%80%94%20are%20outlined%20in%20black%3B%20if%20the%20probe%0A%20%20%20%20works%2C%20the%20warm%20colour%20should%20fall%20inside%20the%20outlined%20staircase.%0A%0A%20%20%20%20**Colour%20toggle%3A**%20*raw%20mean*%20is%20the%20average%20dot-product%20onto%20each%20vector%2C%20on%20its%0A%20%20%20%20native%20scale%20%E2%80%94%20but%20some%20vectors%20have%20systematically%20large%20dot%20products%2C%20so%20they%20read%0A%20%20%20%20warm%20in%20**every**%20row%20and%20show%20up%20as%20vertical%20stripes%20that%20drown%20out%20the%20signal.%0A%20%20%20%20*z-score%20per%20emotion*%20fixes%20this%20by%20standardising%20each%20vector's%20column%20across%20all%0A%20%20%20%20messages%20(subtract%20that%20vector's%20mean%20over%20messages%2C%20divide%20by%20its%20std)%2C%20so%20every%0A%20%20%20%20column%20is%20centred%20at%200%20and%20a%20cell%20answers%20**%22do%20this%20cluster's%20messages%20activate%20this%0A%20%20%20%20vector%20more%20than%20an%20average%20message%20does%3F%22**%20%E2%80%94%20which%20is%20what%20makes%20the%20diagonal%20block%0A%20%20%20%20pop.%20Use%20z-score%20to%20read%20the%20structure%3B%20raw%20mean%20to%20see%20absolute%20magnitudes.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20norm_toggle%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%5B%22z-score%20per%20emotion%22%2C%20%22raw%20mean%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22z-score%20per%20emotion%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22heatmap%20colour%22%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20norm_toggle%0A%20%20%20%20return%20(norm_toggle%2C)%0A%0A%0A%40app.cell%0Adef%20_(load_json%2C%20messages%2C%20mo%2C%20pl%2C%20slug)%3A%0A%20%20%20%20_taxonomy%20%3D%20load_json(%0A%20%20%20%20%20%20%20%20%22clusters.json%22%2C%20mo.notebook_location().parent%20%2F%20%2201-emotion-vectors%22%20%2F%20%22clusters.json%22%0A%20%20%20%20)%0A%20%20%20%20cluster_order%20%3D%20list(_taxonomy.keys())%0A%20%20%20%20emotion_order%20%3D%20%5Bslug(e)%20for%20c%20in%20cluster_order%20for%20e%20in%20_taxonomy%5Bc%5D%5D%0A%20%20%20%20emo_to_cluster%20%3D%20dict(%0A%20%20%20%20%20%20%20%20zip(emotion_order%2C%20%5Bc%20for%20c%20in%20cluster_order%20for%20_e%20in%20_taxonomy%5Bc%5D%5D)%0A%20%20%20%20)%0A%20%20%20%20_emo_cluster%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22emotion%22%3A%20emotion_order%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22emotion_cluster%22%3A%20list(emo_to_cluster.values())%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(m%5B%22cluster%22%5D%2C%20e%2C%20v)%20for%20m%20in%20messages%20for%20e%2C%20v%20in%20m%5B%22projections%22%5D.items()%0A%20%20%20%20%5D%0A%20%20%20%20_long%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20_rows%2C%20schema%3D%5B%22msg_cluster%22%2C%20%22emotion%22%2C%20%22value%22%5D%2C%20orient%3D%22row%22%0A%20%20%20%20).with_columns(%0A%20%20%20%20%20%20%20%20z%3D(pl.col(%22value%22)%20-%20pl.col(%22value%22).mean().over(%22emotion%22))%0A%20%20%20%20%20%20%20%20%2F%20(pl.col(%22value%22).std().over(%22emotion%22)%20%2B%201e-8)%0A%20%20%20%20)%0A%20%20%20%20heat%20%3D%20(%0A%20%20%20%20%20%20%20%20_long.group_by(%22msg_cluster%22%2C%20%22emotion%22)%0A%20%20%20%20%20%20%20%20.agg(pl.col(%22z%22).mean().alias(%22z%22)%2C%20pl.col(%22value%22).mean().alias(%22raw%22))%0A%20%20%20%20%20%20%20%20.join(_emo_cluster%2C%20on%3D%22emotion%22%2C%20how%3D%22inner%22)%0A%20%20%20%20%20%20%20%20.with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20is_correct%3Dpl.col(%22msg_cluster%22)%20%3D%3D%20pl.col(%22emotion_cluster%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20return%20cluster_order%2C%20emo_to_cluster%2C%20emotion_order%2C%20heat%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20cluster_order%2C%20emotion_order%2C%20heat%2C%20norm_toggle)%3A%0A%20%20%20%20_field%20%3D%20%22z%22%20if%20norm_toggle.value.startswith(%22z%22)%20else%20%22raw%22%0A%20%20%20%20_base%20%3D%20alt.Chart(heat)%0A%20%20%20%20_heatmap%20%3D%20_base.mark_rect().encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22emotion%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20sort%3Demotion_order%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22emotion%20vector%20(ordered%20by%20cluster)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20axis%3Dalt.Axis(labels%3DFalse%2C%20ticks%3DFalse)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22msg_cluster%3AN%22%2C%20sort%3Dcluster_order%2C%20title%3D%22message%20target%20cluster%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_field%7D%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22activation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(scheme%3D%22redblue%22%2C%20reverse%3DTrue%2C%20domainMid%3D0)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22msg_cluster%3AN%22%2C%20title%3D%22target%20cluster%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22emotion%3AN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22emotion_cluster%3AN%22%2C%20title%3D%22vector%20cluster%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(f%22%7B_field%7D%3AQ%22%2C%20title%3D%22activation%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_outline%20%3D%20(%0A%20%20%20%20%20%20%20%20_base.transform_filter(%22datum.is_correct%22)%0A%20%20%20%20%20%20%20%20.mark_rect(fillOpacity%3D0%2C%20stroke%3D%22black%22%2C%20strokeWidth%3D0.6)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22emotion%3AN%22%2C%20sort%3Demotion_order)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22msg_cluster%3AN%22%2C%20sort%3Dcluster_order)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20(_heatmap%20%2B%20_outline).properties(%0A%20%20%20%20%20%20%20%20width%3D760%2C%0A%20%20%20%20%20%20%20%20height%3D340%2C%0A%20%20%20%20%20%20%20%20title%3D%22Mean%20emotion-vector%20activation%20by%20target%20cluster%20%E2%80%94%20correct-cluster%20cells%20outlined%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A