Python

最近在学习大模型在机器人上边的应用，想着通过一个能够自己设备训练的模型以及Jetson来体验一遍整个模型从训练到部署的全流程。前期都是在一台高性能工作站上边学习的，X86下对于配置环境以及解决依赖等问题相对还是好解决的，毕竟用户基数大。多数情况遇到的一些运行问题，结合大模型以及Github的评论区，很快就有解决方案的。之前了解到Jetson是英伟达自己出的产品，CUDA环境方面应该不是啥大问题，可事实真的很打脸，在我将模型训练摸索差不多，在服务器可以稳定运行后，打算挪到Jetson上边运行过程中真的费了好大的劲。于是我记录一下，说不定有其他朋友遇到同样的问题。 我拿来学习的是SmolVLA这个机器人大模型，使用的是最最常用的Pytorch框架，这个在Jetson上安装CPU版本很顺利，基本上从pip或者conda直接安装都OK，关键在对于Jetson的CUDA加速版本的Pytorch，由于是ARM架构而不是常见的X86, pip及conda库默认是没有的。想完全按照大模型指导推荐的版本安装几乎是不可能，我摸索了几天终于是找到了行得通的解决方案。 首先安装Jetson 平台专用的软件开发套件（SDK），通过这个过程可以装上绝大多的依赖库： sudo apt install nvidia-jetpack 然后通过命令检查当下的CUDA版本： nvidia-smi 最后在半官方的论坛安装编译好的适配Jetson ARM架构的Pytorch以及Torchvision包： pip install torch torchvision –index-url https://pypi.jetson-ai-lab.io/jp6/cu126 在上边步骤完成后，Python导入torch会提示有一个cuDSS相关的动态链接库找不到，从Nvidia官方论坛下载： https://developer.nvidia.com/cudss-downloads 至此已经可以在Jetson上使用CUDA加速版本的Torch来运行模型了。总结下来简单的几步，但是卡了我好几天，反思下来就说对大模型太过于依赖，甚至是过于信任大模型实时网页搜索的能力。可能是由于Jetson资源相对较少，被多数X86环境配置帖子稀释的原因，大模型给的绝大多数链接都是不能用的，要不货不对板好不失效。并且解决方向也有问题，遇到Pytorch 2.6找不到就推荐降级，而低版本的ARM版本CUDA Torch Torchvision也全网很难找到资源。可能Torch还好，对于Torchvision编译好的wheel包真的很少很少。在我找到https://pypi.jetson-ai-lab.io/jp6/ 半官方的资源站后，提供的是最新版Pytorch 2.10版本，安装后提示缺cuDSS相关的包，此时大模型给出的强烈建议是不要用最新的2.10版本torch，说唯一可行的就说用旧版本，因为2.10太新了缺乏的包绝大多数情况需要自己编译，这个在jetson本身条件下几乎不可能。我被说服了用了一整天时间找旧版本的包，真是找不到。没辙我去到了Nvidia官网看论坛，想着是这么常见的问题，不应该只有我遇到。果然翻了几个帖子就看到Nvidia官网已经提供了最新的cuDSS编译好的安装包。 想在这里感慨以下就是大模型用多了对于搜索引擎的使用能力都快倒退了。很多时候大模型对于网络资源搜索很有限，搜出来结果很肤浅，并且一些论坛似乎对于大模型也不友好，很多搜不到或者说需要登陆才能查看。对于一些相对小众的领域，感觉逛论坛寻找解决方案还是必不可少的，大模型并不是每个细枝末节都是专家，尤其涉及软硬件结合的，感觉coding工具发挥能力就被很大限制了。     Reference: https://pypi.jetson-ai-lab.io/ https://docs.nvidia.com/deeplearning/frameworks/install-pytorch-jetson-platform/index.html https://forums.developer.nvidia.com/t/jp-6-1-torchvision-error-when-built-from-source/314940 https://forums.developer.nvidia.com/t/problem-with-installing-torchvision-on-jetson-orin-nano/312860 https://forums.developer.nvidia.com/t/https-forums-developer-nvidia-com-t-installing-torch-and-torchvision-on-orin-nano-335317-u-joel-alejandro11366/346925/2 https://pypi.jetson-ai-lab.io/jp6/cu126 https://developer.nvidia.com/cudss-downloads?target_os=Linux&target_arch=aarch64-jetson&Compilation=Native&Distribution=Ubuntu&target_version=22.04&target_type=deb_local https://forums.developer.nvidia.com/t/help-me-with-correct-pytorch-and-torchvision-versions-requirement-for-jetpack-6-2-1-orin-super/343688/15 https://forums.developer.nvidia.com/t/pytorch-and-torvision-version-issue-runtimeerror-operator-torchvision-nms-does-not-exist/312446