「角色失憶」應該是所有 AI 聊天應用共同的痛點，也是使用者最在意也最常反應的問題。今天我們要來介紹 amiverse 的開發者是怎麼樣面對這個困難的問題。畢竟，空有精緻生動的 Live2D 外皮，卻沒有能長期互動的「靈魂」，那好不容易建立起來的沈浸感應該兩三句就會瞬間破滅…

amiverse 角色如何記憶事件？

amiverse 中的角色是透過大型語言模型 (large language models, LLM) 來進行角色扮演，並做出最符合角色設定與背景的回應。每一次收到使用者的訊息時，模型會依據前後文 (context) 來做出最可能的回應。例如，如果我昨天跟角色抱怨過老闆有多煩，我今天又再一次提到老闆，模型便有機會主動跟我聊起「老闆今天又很煩了嗎」的話題。因此，是不是只要能夠塞得進前後文內，角色就永遠有這些記憶，也不可能失憶了對吧？理想總是很豐滿…

再大的語言模型都有輸入大小的限制 (context window)。即使現在先進的模型可以吃下 百萬 tokens，模型也不一定能完整「回憶」所有的內容，同時還要考慮高額的運算成本 (例如 $5/1M 或 $2.5/1M)。如果我們把對話紀錄全部都放進去給 amiverse 的角色看，不但失憶問題無法完美解決，他還可能抓錯重點、回應緩慢、浪費讓人破產的運算費用…得不償失 🥹

針對這一些問題，一種解決方式是透過不同的 前後文工程 (context engineering) 技巧來拆分並模組化角色的記憶，例如透過檢索資料增加前後文 (e.g., RAG)、加入關鍵字比較重要程度 (e.g., BM25)、檢索結果再重排相關性 (e.g., rerankers)、壓縮記憶與結構化筆記 等。這些技巧除了讓運算的成本回到合理且可接受的範圍，也讓角色能夠針對目前的話題做出最相關的回應。

角色記憶來源有哪些？

目前在 amiverse 中，我們目前採用資料檢索、記憶壓縮與結構化筆記的方式來讓角色記憶事件。圖 1 簡單描述了目前 amiverse 畫面中的資料如何轉化成角色的記憶資料：

圖 1: amiverse.app 目前記憶模組概念圖

首先，每一次的對話內容會被儲存在對話資料庫中。當使用者送出訊息後，amiverse 會檢索該資料庫，並找到最相關的對話紀錄 (A)。接著，透過自製的前後文處理模組，amiverse 會將相關資料製作成「記憶星圖」內的角色筆記 (B)。角色筆記的內容會被完整放入前後文記憶中，確保最重要的內容可以被長期記住。最後，將近期的對話內容 (D) 會被放在前後文的最尾端，增強對話內容的順暢度。這幾項記憶來源也被我們稱為「動態記憶」，會隨者與使用者的對話內容隨時調整。

除了前述的幾項動態記憶外，amiverse 的角色也有長期不變的「固定記憶」，包括角色核心設定（故事、背景、基本行為模式）、使用者偏好（回風格偏好與期待）、隨著時空背景變化的「時間與空間記憶」、以及讓使用者想寫什麼就寫什麼的一般筆記 (C)。了解角色的記憶來源除了能幫助我們設計出最符合角色的回應風格，也讓我們能夠對角色失憶問題對症下藥，改善角色回應的穩定性。

我如何讓角色記住最重要的事情？

即使做了多道工序，你可能還是會覺得角色老是忘記重要的事情…這時候該怎麼辦？

我們了解不是所有對話都有同等的記憶價值。雖然 amiverse 採用了普遍的前後文工程，角色判讀並排序出的記憶內容可能還是會與使用者的期待有所落差。除了等待開發團隊持續的精進記憶模組外，目前我們也建議使用者可以採用以下方式讓角色記住最重要的事情：

1. 手動修改角色筆記: 在記憶星圖中，使用者可以自由修改角色筆記的內容，例如喜好與事件內容。當你發現角色的回應可能有偏離你的期待時，可以檢查並修改角色筆記目前紀錄的內容，或者增減角色筆記中的事件。
2. 記憶星圖的記憶鎖: 角色筆記是角色動態記憶的一部分。amiverse 角色會根據使用者的對話內容，持續更新角色筆記。然而，這個過程可能會將原有的記憶進行刪減，導致使用者重視的記憶遭到遺忘。若要確保角色不遺忘重要事件，你可以透過記憶鎖來將重要的記憶鎖定。角色在更新角色筆記時，會保留鎖定的記憶，並帶到後續的對話之中。
3. (進階) 撰寫一般筆記: 記憶星圖中的一般筆記是讓使用者自由填寫任何想要記下的事件。目前這個模組的內容會完全複製到角色的前後文中。若你有想讓角色記下的事情，或者對設計和撰寫提示詞有一些概念，可以考慮填寫一般筆記來增強角色的記憶內容，甚至是調整角色的整體回應風格。

此外，目前我們也在考慮在未來開放使用者直接調整「記憶星圖」中的記憶模組設定參數，藉此讓使用者可以依照自己的喜好調整記憶方式，達到更精準且一致的角色記憶。

---

我們希望 amiverse 不只是一個一問一答的工具，而是一個會隨著時間推移、跟著你一起成長、並記住你們之間點點滴滴的虛擬存在。如果你也對這個「嘗試有記憶的 VT 同款 AI 聊天 app」感興趣，非常歡迎到 App Store 下載 amiverse app 玩玩看。如果有遇到角色突然金魚腦發作，或有任何想吐嘈的地方，請務必透過 Instagram / IG 或 Threads / 脆 留言給我們。

感恩感恩。