日志

  1. 长期记忆优化

长期记忆优化

  • 调用硅基嵌入模型免费api,将优化所得向量保存至本地

  • 启动后端时直接读取量化后的向量文本

  • 每次对话添加量化后的向量到json文件数组中,注意index

这样就省去模型的本地部署和向量每次初始化,效率大大提升。

同时,硅基嵌入模型BAAI/bge-m3免费,一次最大接收8k上下文,对中文处理更优,多次测试结果相比先前paraphrase-multilingual-MiniLM-L12-v2效果好很多,可谓是省时省力效果又提升。

以此为思路,工具调用也应该找硅基上的小模型,可以预想到效果会好很多。


此方悬停
相册 小说 Ai
/*音乐播放器插件*/ /*
*/