长期记忆优化
调用硅基嵌入模型免费api,将优化所得向量保存至本地
启动后端时直接读取量化后的向量文本
每次对话添加量化后的向量到json文件数组中,注意index
这样就省去模型的本地部署和向量每次初始化,效率大大提升。
同时,硅基嵌入模型BAAI/bge-m3免费,一次最大接收8k上下文,对中文处理更优,多次测试结果相比先前paraphrase-multilingual-MiniLM-L12-v2效果好很多,可谓是省时省力效果又提升。
以此为思路,工具调用也应该找硅基上的小模型,可以预想到效果会好很多。
此方悬停