shuspieler

Copilot初始化技巧

最近的一个学习项目使用VS Code和Copilot为主要开发环境,Vibe Coding真是大大提高生产力,这个项目几乎99%的代码都是AI写的,整体来说是一个结伴编程的模式,我充当整体架构把控,AI帮我每个模块每个模块来实现。这个项目很复杂,持续了几个月,而VS Code的Copilot上下文很可怜,所以我充分使用了大量markdown文档记录进度记录plan,也用到了copilot-instructions.md 来让Copilot每次对话开始时主动读取一些规范性背景性得文档。可是实际用下来到你觉到大模型仅止步于此,并没有主动执行读各个模块的plan/progress的步骤。所以每次重启IDE后,模型感觉都很弱智,说了解背景也了解一点,但是不多。 解决首次开IDE后AI大模型对于记忆丢失的问题,一个解决方法是将项目重要背景以及当前进展写入copilot-instructions.md,但是这会使这个文件超级臃肿,另外一方面是我现在用到了,创建一个prompt脚本,每次新打开IDE手动运行一下,一方面让Copilot真正读一下其他的几个plan/progress文档,另一方面给我们一个当前状态的总结。 /session-start 使用这套模式主要是由于Copilot对于历史记忆做的不好,另外这套模式能够生效的一个前提是plan/progress文档能够及时且准备更新,我是通过一个skills完成的,当和大模型说特定命令,大模型就会逐个将模块中各自的以及项目整体的plan/progress根据当前的修改完成更新: 这是我使用VS Code Copilot的一些心得,如果对你有用,帮忙点个赞吧。      

Copilot初始化技巧 Read More »

Jetson Orin Nano安装Pytorch CUDA环境

最近在学习大模型在机器人上边的应用,想着通过一个能够自己设备训练的模型以及Jetson来体验一遍整个模型从训练到部署的全流程。前期都是在一台高性能工作站上边学习的,X86下对于配置环境以及解决依赖等问题相对还是好解决的,毕竟用户基数大。多数情况遇到的一些运行问题,结合大模型以及Github的评论区,很快就有解决方案的。之前了解到Jetson是英伟达自己出的产品,CUDA环境方面应该不是啥大问题,可事实真的很打脸,在我将模型训练摸索差不多,在服务器可以稳定运行后,打算挪到Jetson上边运行过程中真的费了好大的劲。于是我记录一下,说不定有其他朋友遇到同样的问题。 我拿来学习的是SmolVLA这个机器人大模型,使用的是最最常用的Pytorch框架,这个在Jetson上安装CPU版本很顺利,基本上从pip或者conda直接安装都OK,关键在对于Jetson的CUDA加速版本的Pytorch,由于是ARM架构而不是常见的X86, pip及conda库默认是没有的。想完全按照大模型指导推荐的版本安装几乎是不可能,我摸索了几天终于是找到了行得通的解决方案。 首先安装Jetson 平台专用的软件开发套件(SDK),通过这个过程可以装上绝大多的依赖库: sudo apt install nvidia-jetpack 然后通过命令检查当下的CUDA版本: nvidia-smi 最后在半官方的论坛安装编译好的适配Jetson ARM架构的Pytorch以及Torchvision包: pip install torch torchvision –index-url https://pypi.jetson-ai-lab.io/jp6/cu126 在上边步骤完成后,Python导入torch会提示有一个cuDSS相关的动态链接库找不到,从Nvidia官方论坛下载: https://developer.nvidia.com/cudss-downloads 至此已经可以在Jetson上使用CUDA加速版本的Torch来运行模型了。总结下来简单的几步,但是卡了我好几天,反思下来就说对大模型太过于依赖,甚至是过于信任大模型实时网页搜索的能力。可能是由于Jetson资源相对较少,被多数X86环境配置帖子稀释的原因,大模型给的绝大多数链接都是不能用的,要不货不对板好不失效。并且解决方向也有问题,遇到Pytorch 2.6找不到就推荐降级,而低版本的ARM版本CUDA Torch Torchvision也全网很难找到资源。可能Torch还好,对于Torchvision编译好的wheel包真的很少很少。在我找到https://pypi.jetson-ai-lab.io/jp6/ 半官方的资源站后,提供的是最新版Pytorch 2.10版本,安装后提示缺cuDSS相关的包,此时大模型给出的强烈建议是不要用最新的2.10版本torch,说唯一可行的就说用旧版本,因为2.10太新了缺乏的包绝大多数情况需要自己编译,这个在jetson本身条件下几乎不可能。我被说服了用了一整天时间找旧版本的包,真是找不到。没辙我去到了Nvidia官网看论坛,想着是这么常见的问题,不应该只有我遇到。果然翻了几个帖子就看到Nvidia官网已经提供了最新的cuDSS编译好的安装包。 想在这里感慨以下就是大模型用多了对于搜索引擎的使用能力都快倒退了。很多时候大模型对于网络资源搜索很有限,搜出来结果很肤浅,并且一些论坛似乎对于大模型也不友好,很多搜不到或者说需要登陆才能查看。对于一些相对小众的领域,感觉逛论坛寻找解决方案还是必不可少的,大模型并不是每个细枝末节都是专家,尤其涉及软硬件结合的,感觉coding工具发挥能力就被很大限制了。     Reference: https://pypi.jetson-ai-lab.io/ https://docs.nvidia.com/deeplearning/frameworks/install-pytorch-jetson-platform/index.html https://forums.developer.nvidia.com/t/jp-6-1-torchvision-error-when-built-from-source/314940 https://forums.developer.nvidia.com/t/problem-with-installing-torchvision-on-jetson-orin-nano/312860 https://forums.developer.nvidia.com/t/https-forums-developer-nvidia-com-t-installing-torch-and-torchvision-on-orin-nano-335317-u-joel-alejandro11366/346925/2 https://pypi.jetson-ai-lab.io/jp6/cu126 https://developer.nvidia.com/cudss-downloads?target_os=Linux&target_arch=aarch64-jetson&Compilation=Native&Distribution=Ubuntu&target_version=22.04&target_type=deb_local https://forums.developer.nvidia.com/t/help-me-with-correct-pytorch-and-torchvision-versions-requirement-for-jetpack-6-2-1-orin-super/343688/15 https://forums.developer.nvidia.com/t/pytorch-and-torvision-version-issue-runtimeerror-operator-torchvision-nms-does-not-exist/312446  

Jetson Orin Nano安装Pytorch CUDA环境 Read More »

大模型学习笔记:Agent智能体

概念: 智能体(Agent)是一种能够自主规划、决策、执行任务的组件,核心是让大预言模型(LLM)根据任务需求,选择并调用工具,完成单靠模型自身无法解决的复杂问题。 没有Agent时,LLM只能基于自身训练数据回答问题,遇到需要实时数据、复杂计算、外部工具调用的场景就会卡壳。 有了Agent后,LLM就像一个“指挥官”,能思考任务步骤–>选择合适工具–>执行工具调用–>根据结果调整策略,直到完成任务。 核心特点: 目标驱动:围绕用户的具体任务目标展开工作 工具调用能力:能连接外部工具,弥补LLM的局限性 自主决策与迭代:不需要人工干预,能根据工具返回的结果,判断是否需要继续调用工具,或直接生成最终答案 核心区别: 普通Chain: 执行流程固定,按预设步骤运行 工具调用路径写死在代码里 适合简单,标准化任务 Agent: 执行流程动态,根据任务和结果自主调整 工具选择由LLM思考决定 适合复杂、多步骤、需要决策的步骤 Agent智能体 = 大语言模型(大脑)+ 工具箱(手脚)+ 决策逻辑(思维),让大模型拥有了感知外部并影响现实的能力 Agent初体验   from langchain.agents import create_agent from langchain_community.chat_models.tongyi import ChatTongyi from langchain_core.tools import tool @tool(description=”获取天气信息的工具”) def get_weather(location):     # 这里可以调用天气API获取天气信息,暂时返回一个模拟的结果     return f”{location}的天气是极端狂风暴雨天气,超级强度雷电以及超大降雨量” agent = create_agent(     model=ChatTongyi(model=”qwen3-max”),    

大模型学习笔记:Agent智能体 Read More »

大模型学习笔记:LangChain 文档加载

Document loaders文档加载器:文档加载器提供了一套标准接口,用于将不同来源(CSV,PDF或Json等)的数据读取为LangChain的文档格式。这确保了无论数据来源如何,都能对其进行一致性处理。 文档加载器(内置或自行实现)需实现BaseLoader接口。`Class Document` 是LangChain内文档的统一载体,所有文档加载器最终返回此类的示例。一个基础的Document类实例,基于如下代码创建: from langchain_core.documents import Document document = Document( page_content = “Hello, world!”, metadata={“source”: “https://example.com”} ) from langchain_community.document_loaders import CSVLoader loader = CSVLoader(     file_path=”./data/stu.csv”,     csv_args={         “delimiter”: “,”,         “quotechar”: ‘”‘,         #无表头可以使用,不然表头会当作数据加载进来         “fieldnames”: [“id”,

大模型学习笔记:LangChain 文档加载 Read More »

大模型学习笔记:RAG项目

RAG即检索、增强和生成,其主要分为2条线: 离线处理:向私有知识库(向量存储)源源不断添加私有文档 向知识库添加来自未来的知识文档(基于模型训练完成时间) 向模型添加私有知识文档 给出模型参考资料,规避模型幻觉(一本正经胡说八道) 在线处理:用户提问会先基于私有知识库做检索,获取参考资料,同步组装新提示词询问大模型获取结果。 在线流程:

大模型学习笔记:RAG项目 Read More »

大模型学习笔记:Vector Stores 向量存储

下图为典型的向量存储应用,即典型的RAG路程: 上图为典型的向量存储应用,即典型的RAG路程。开发设计: 如何文本转向量 创建向量存储,基于向量存储完成: 存入向量 删除向量 向量检索 LangChain内置向量存储功能, 可以基于: InMemoryVectorStore, 完成内存向量存储 Chroma, 外部数据库向量存储 向量存储类均提供3个通用API接口: add_document, 添加文档到向量存储 delete,从向量存储删除文档 similarity_search:相似度搜索 from langchain_chroma import Chroma from langchain_community.embeddings import DashScopeEmbeddings from langchain_community.document_loaders import CSVLoader #Chroma 向量数据库(轻量级) #依赖langchain_chroma,chromadb vector_store = Chroma(     collection_name=”my_collection”,  #集合名称,类型:str,默认”langchain_store”     embedding_function=DashScopeEmbeddings(),  #用于生成向量的嵌入函数,类型:BaseEmbeddings,默认None     persist_directory=”./chroma_db”,  #持久化目录,存放文件夹,类型:str, ) “”” loader = CSVLoader(    

大模型学习笔记:Vector Stores 向量存储 Read More »

OpenClaw一周体验

最近一只大龙虾在科技圈好火,甚至说早已出圈了,各种平时不是科技内容的公众号,也开始说这只无所不能,甚至“成了精的”了的龙虾。我初步用了一周时间,现在记录一下自己的体验。 我对于OpenClaw的理解是赋予了大模型本地电脑的命令执行能力,尤其通过Terminal这个接口,能做很多事情了,而不仅仅是之前聊聊天只是给用户一个建议,真正执行还需要用户自己去做。 首先是安装步骤,这个工具目前还远达不到常见软件的使用便利度,在终端安装并且通过命令行配置真会劝退很多人,后边还涉及模型接入和Skills补充,如果不是工科背景,真挺有挑战的。现在网上安装指导已经多如牛毛了,不是我要记录的重点,我想分享的,是这期间对多个模型不同能力的感受,并且我还是不是完全敢赋予它我本地电脑全部权限,现在我是将其部署在我的服务器上的,主要尝试其一些远程能协助我的功能。 从一开始到现在我相对深入尝试过5个模型:GPT-40, Claude Opus 4.6, Kimi 2.5, Kimi 2.5 Coding, Gemini-3-pro-preview,我在这几个模型中都尝试了这几个问题: 告诉我现在的金价/告诉我北京天气:测试工具联网搜索整合信息的能力; 给我每分钟告诉我一次天气/当前时间:测试工具集合大模型定时任务的效果 一开始用的是GPT-4o,主要是其在我的CoPilot订阅中免费(后来得知只是在VS Code中免费,像在OpenClaw中通过API也不免费),配置好后几轮沟通下来感觉像个智障,完全没有网上帖子说的神乎又神自己去解决问题的能力,而是连基本的能力都不会,我问个天气问不出来,最后给我编了一个,还好比较诚实后来告诉是编的。。。同时我让它给我设个定时任务,每1分钟给我发个消息,也搞不定。感觉如果说给我这样一个助力,我真的不敢用,给我收集信息不敢信的同时,对于提醒也收不到。 然后看OpenClaw官方说最最推荐的模型是Claude Opus 4.6,我订阅的CoPilot也可以使用这个模型,于是我切过去试了相同的问题,真正让我感受到不同的天赋真是不能比,因为是天与地的差别。我问了金价,并且让给我定时报时,真的是一次成功,没有任何的纠结可言,这让我稍微感受到了助理的感觉,同样我的环境没有做任何改变,只是换了一个模型,信息也能推送了,网络也能搜索了,而不像前一位GPT-4o同学,抱怨环境不好,抱怨工具有问题,然后任务没完成的同时,抛回给我一大堆问题让我去给他解决,而Claude Opus 4.6就像是一位很聪明的助力,咔咔咔不废话把任务完成(联网查询金价,通过飞书推送时间),然后顺便说了我的飞书配置有些问题,但是不影响当前的任务已经做完了。这感觉非常像职场上不同风格的下属了,把任务交给能力强的人比如Opus 4.6就很放心,即使中间有不少挑战(比如我配置的飞书有瑕疵),该下属也能灵活应变将其搞定从而完成任务。而把任务交给一个能力欠佳的人比如GPT-4o,推进途径遇到很多麻烦一次又一次回来麻烦领导,最后好多任务完不成(比如定时通知),好不容易完成的一个(比如查询天气),老板也不敢信任,因为那个天气真的是编的。。。 后来我又尝试了Gemini-3-pro-preview,像一个还算聪明,但是很马虎的下属。同样的问题,查询天气一次搞定,但是推送时间上,首先第一次推送到飞书,通道对了,但是给我推送的是欧洲柏林时间,我指出其问题后,时间确实改对了是北京时间了,但是又把这个信息推送到了trace而不是飞书,真是不靠谱。如果是这样的下属,我感觉至少是聪明,马虎的问题还是一定程度有解决的空间的。 最后我还试了Kimi 2.5 和Kimi Code,这两者差异不大,总体靠谱程度感觉介于Claude Opus 4.6和Gemini-3-pro-preview之间。上边两个问题基本OK,除了在时区上有点栽。 总结下来就最聪明的大模型在智能助手上感觉确实到了能有正收益的临界点,一些信息收集整理,真可以交给这位助手来解决。目前我是部署在服务器上,我感觉按照Claude Opus 4.6给我的正反馈,安装在自己个人电脑让其逐步开始帮我处理一些文件整理,材料整备等内容,真的是可以去信赖了。但是如果是GPT-4o我感觉会吓死人的,部署在自己电脑上指不定会出什么幺蛾子。我感觉这真的是像极了职场,老板招聘员工时候一方面很缺人一方面又招不来人,因为很多时候宁缺毋滥,让一个很蠢的人来帮自己做事,作为老板们可能还不如自己做。今天我一直以老板以领导的角度来思考问题,都快差点忘了我却是那个给老板打工的人,努力让自己成为Claude Opus,很很多时候感觉自己是GPT-4o。 在切换多个模型过程中,我还问了新模型有没有记得我对于OpenClaw的一些嘱咐,通过回答可以了解到OpenClaw对于用户个人信息其实就是将其总结然后存在本地的一个md文件中,在新的会话或者换了模型后,这些核心信息也会加载到与大模型沟通的内容中。这个过程是带提炼总结压缩的,尤其是上下文太长的时候,其中可能就会丢失信息,最近新闻提到一个安全专家的邮件都被删了,据说就是由于信息压缩把一些很重要内容搞丢了造成的。 再总结一下费用方面,对于OpenClaw部署,多数人是安装在自己的电脑上,也有一些人可能买了Mac Mini,(确实在把玩Skills发现如果在Mac工作环境下应该体验更好),这块应该投入还好,VPS也不贵,电脑大家都有,即使新买个Mac Mini也是一次性的。关键是大模型费用,真的挺烧Token挺贵的。我的CoPilot订阅是一个月10刀,Claude Opus 4.6是三倍Token用量,也就是说我10刀用100个来往交流就烧没了!事实上也是这样,我差不多用了两天,我的CoPilot就提示超额度了。。。其次我还尝试了Kimi,如果使用moonshot的API订阅的话,基本上每一次对话就是几毛钱的费用,不知道随着使用得越久上下文越长,每一次的沟通就是一个很夸张的费用。后来尝试了Kimi Code 49元/月的订阅,感觉比从moonshot订阅得到的额度大多了,其是按照周用量和频现来要求的,也比CoPilot合理很多。感觉是对于普通OpenClaw用户最合适的选择。 我的一周体验大致总结差不多了,给我的整体感受是这个真的是一个跨度很大的能力跃迁,并且成熟速度惊人OpenClaw几乎一天一更新,感觉用不了多长时间,就能够很大程度上成为普通用户友好的智能助手,投入到每天具体的牛马工作中。我的计划是继续在服务器用一段时间,然后在之后某个时间点将其引入我的个人电脑上,尝试提升我的效率,将一些我一直想做但是没时间做的事情,看看能否交给OpenClaw帮我完成。 大致就先记录到这里啦,如果你也最近对这只龙虾很上头,我们可以多交流交流,分享经验心得一起玩一起玩。

OpenClaw一周体验 Read More »

大模型学习笔记:Memory 临时、长期记忆

Memory临时记忆 RunnableWithMessageHistory 是LangChain内Runnable接口的实现,主要用于创建一个带有历史记忆功能的Runnable实例(链),在创建时需要提供一个BaseChatMessageHistory的具体实现(用来存储历史消息),InMemoryChatMessageHistory可以实现在内存中存储历史,额外,如果需要在invoke或stream执行链的同时,将提示词print出来,可以在链中加入自定义函数实现。注意函数的输入应原封不动返回出去,避免破坏原有业务。 from langchain_community.chat_models.tongyi import ChatTongyi from langchain_core.prompts import PromptTemplate, ChatPromptTemplate, MessagesPlaceholder from langchain_core.output_parsers import StrOutputParser from langchain_core.runnables.history import RunnableWithMessageHistory from langchain_core.chat_history import InMemoryChatMessageHistory model = ChatTongyi(model=”qwen3-max”) prompt = PromptTemplate.from_template(     “你需要根据会话历史回应用户问题。对话历史:{chat_history},用户提问:{input},请回答” ) “”” prompt = ChatPromptTemplate.from_messages(     [         (“system”, “你需要根据会话历史回应用户问题。对话历史:”),         MessagesPlaceholder(“chat_history”),    

大模型学习笔记:Memory 临时、长期记忆 Read More »

大模型学习笔记:LangChain‘s Chain

Chain Chain链:将组件串联,上一个组件的输出作为下一个组件的输入是LangChain链(尤其是|管道链)的核心工作原理,实现数据的自动化流转与组件的协同工作: chain = prompt_template | model 前提:Runnable子类对象才能入链(以及Callable、Mapping接口子类对象也可以加入)。 重要点: 可以通过“|”符号来让各个组件行成链 成链的各个组件,需是Runnable接口的子类 形成的链是RunnableSerializable对象(Runnable接口子类) 可通过链调用invoke或stream触发真个链条的执行 from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder from langchain_community.chat_models.tongyi import ChatTongyi chat_prompt_template = ChatPromptTemplate.from_messages(     [         (“system”, “你是一位与人交往风趣幽默的同事,情商超高。”),         MessagesPlaceholder(variable_name=”history”),         (“human”, “有个同事心情不好,你帮我安慰他”)     ] ) history_data = [     (“system”,

大模型学习笔记:LangChain‘s Chain Read More »

大模型学习笔记:RAG

Retrieval Augmented Generation: 检索增强生成技术,利用检索外部文档提升生成结果质量。为大模型提供了从特定数据源检索到的信息,以此来修正和补充生成答案。RAG = 检索技术 + LLM提示。 领域知识和私有数据 实时数据 减少生成不确定性 增强数据安全 RAG标准流程由索引(Indexing)、检索(Retriever)和生成(Generation)三个核心阶段组成。 索引阶段:通过处理多种来源多种格式的文档提取其中文本,将其切分成标准长度的文本块(chunk),并进行嵌入向量化(embedding),向量存储在向量数据库(vector database)中。 加载内容 内容提取 文本分割,形成chunk 文本向量化 存向量数据库 检索阶段,用户输入的查询(query)被转化为向量表示,通过相似度匹配从向量数据库中检索出最相关的文本块。 query向量化 在文本向量中匹配出与问句向量相似的top_k个 生成阶段,检索到的相关文本与原始查询共同构成提示词(Prompt),输入大语言模型(LLM),生成精确且具备上下文关联额回答。 匹配出的文本作为上下文和问题一起添加到prompt中 提交给LLM生成答案 模型本质上就是用户输入,模型给出输出,用户能做的就是在输入上做功夫。核心价值: 解决知识时效性问题:接入最新文档,“与时俱进” 降低模型幻觉:模型的回答基于检索到的事实性资料,而非纯靠自身记忆,大幅减少编造信息的概率 无需重新训练模型:相比微调(Fine-tuning), RAG只需更新知识库,成本更低、效率更高  

大模型学习笔记:RAG Read More »