近期动态整理

最近很乱,方向很多,什么东西都想了解一下,像无头苍蝇一样到处乱撞,想法很多但又都因为存在门槛无从下手或者懒得深入。

现在我把我混乱的思路理一下,从简单的一点点入手。

deepseek

首先是最近大火的deepseek,这应该是包括我在内很多人接触到的第一个“更接近人”的语言模型,让我看到个性化和去中心化的曙光。

它的深度思考过程让我眼前一亮,这就是我过去设想过的,对提高准确率和用户理解很有帮助。

但我不清楚deepseek这个深度思考的内部逻辑,多次试验后我觉得它的思考和输出有一定隔阂,这也说明它有改进空间,能够让回答更准确更贴近人的想法。

这是第一点,第二点是它的思考缺乏交互(与用户,联网,利用工具等),虽然存在内部计算,但是有些时候不一定能修正输出。

本地部署

我尝试了本地部署deepseek模型,结论是对硬件配置要求较高,我卡在了显存这里。14b Q4_K_M量化的模型8G显存依旧难以运行,预估差不多10G就能流畅。

14b以下的模型性能表现实在难以言说,虽然快,但是多数时候回答与期望不符——但大概还是可以完成一些简单的日常任务,如写简单的代码,考察简单的知识。

但要我说,不如直接用更具性能的api,不过这些本地模型未来是否能胜任一些简单的自动化任务,倘若能,它们反倒更快一些。

另外一点,r1模型的深度思考并非什么时候都有利,如果需要提高效率,是否应当考虑据说比前几代更小规模的llama3.3?

deepseek的api还是很有性价比的,奈何担心需求过多,如果能绕过工作量验证直接利用网页的免费提问就更好了。这就是第一个难题。

那么接下来,假设我有了稳定的ai问答环境,现在我要实现ai的两种扩展功能,一是长期记忆,二是工具利用。

有关长期记忆

虽然deepseek每次能接受和处理的token非常多,但在对话中如果对话过长模型思考的时间也会越长,并且如果我用的是api,那每次会白白浪费很多token。
我需要模型对历史记录有依赖。但这种需求主要出自我个人想法,对个性化ai来说非常重要,对于工具利用来说,这不必要甚至应该舍弃。

长期记忆的途径也不止一种,我想可以有以下几种。

1)概括过去内容,提炼关键信息加入会话,适用粗糙的记忆,不准确,长期来看也不适用。

2)将过去对话构建为向量,存储在数据库,然后建立关键词映射,ai需要时取出。听起来很玄乎,我不确定我是否能做到。

应该说我肯定是做不到,但是可能有现成的工具,记下一个:https://github.com/modelscope/MemoryScope

这里就先这样,回头再来。

有关工具利用

虽然说AI不是万能胶,不是哪里都能塞。但是我下意识就想让所有地方都能用ai来解决问题。

渗透、逆向、建模、编程、系统……

相比公司团队,我一个人肯定能做的太少,通常只是找找现成工具食人尾气,最多集成起来,但是个人就有个人的优势,比如经得起折腾,愿意折腾、折腾成本低……

然而一个人思想有时候也很难统一。

回到工具利用,少不了的一定是自动化工作流。

我过去刚开始想做AI提权工具的时候,想的就是封装成单个应用,然而事实是那样可拓展性和可维护性都很低。

目前我所接触到的ai只是简单的输入输出,既然这样,无论个性化还是工具利用,自动化都是必不可少的了。

自动化

了解的东西很少,我打算先从Docker部署n8n开始。

用户发送消息,客户端上传会话请求,一并上传的还有系统提示词,提示词改变ai1的输出方向。

比如提示词如是说:“你的工作不是回答问题,而是总结用户需求,返回记忆/工具利用请求”

那么这时候ai1返回的命令直接被执行,需求的内容在后台不经过用户发送给ai2

ai2由此获得到了记忆映射或者命令执行得到的信息。

ai1可以是本地快速运行的模型,执行这些简单的任务;ai2是云端分析问题给出准确回答的模型。

这是常驻会话,但是有可能更复杂的工具利用ai要和会话分开而与工具直接结合,形成半自动化工具。

比如渗透测试,在少量信息提供和交互下直接走完全部流程。

据我了解,这样的工具已经有了,所以你看,像我一样把ai当万能胶水涂的哪都是的人大有人在。

那你还做这些干什么?

啊……你这么一问让我有点迷茫了。

反正总会有人做的。你做了ai渗透难道真的会用它渗透去?

难说既然一定有人会做,那做的人是我也是理所当然的事吧,毕竟我也只是个普通人……

——倒不如说,我相信做的这些不起眼的小东西会在未来某个时候帮我去创造出相当了不起的东西来……


此方悬停
相册 小说 Ai
/*音乐播放器插件*/ /*
*/