目录

🍅点击这里查看所有博文

随着人工智能技术的飞速发展，AI已经不再是遥不可及的高科技概念，而是逐渐融入到我们的日常生活中。从智能手机的语音助手到家庭中的智能音箱，再到工业自动化和医疗诊断，AI的应用无处不在。然而，要想真正掌握并应用这些技术，不仅需要理论知识，更需要实践操作。这正是嵌入式AI学习的核心所在。

嵌入式系统，作为现代电子设备的核心，其与AI技术的结合，为智能设备的开发提供了<code>无限可能。从简单的自动化任务到复杂的图像和语音识别，嵌入式AI开发板成为了学习这些技术的理想平台。它们不仅易于操作，而且功能强大，能够满足从初学者到专业人士的各种需求。

对于大多数人来说，日常生活中的无时无刻都能接触的到AI应用。比如平时最常见的停车场的车牌识别、上班打卡机的人脸识别、能自由对话的语音助手等等。它们都有一个共同的特点，就是体积小巧且功能强大。这些应用的落地都离不开嵌入式AI。

随着AI技术的不断发展和普及，我们的生活将变得更加智能、便捷和高效。未来，AI将继续深入到更多领域，为我们的生活带来更多惊喜和便利。无论是智能家居、智能交通、智能医疗还是智能制造，AI都将扮演着重要的角色，推动着科技的不断进步和社会的发展。

因此，学习和掌握AI技术变得愈发重要。只有不断学习、实践和创新，我们才能更好地应对未来的挑战和机遇。

本系列博客所述资料均来自互联网资料，并不是本人原创（只有博客是自己写的）。出于热心，本人将自己的所学笔记整理并推出相对应的使用教程，方面其他人学习。为国内的AI事业发展尽自己的一份绵薄之力，没有为自己谋取私利的想法。若出现侵权现象，请告知本人，本人会立即停止更新，并删除相应的文章和代码。

文章目录

目录安装ollama配置局域网访问部署通义千问安装ollama-webui

安装ollama

安装ollama，该工具是一个大模型聚合平台。可以方便管理各种语言模型。运行curl -fsSL https://ollama.com/install.sh | sh执行安装步骤，输入密码Mind@123。

(base) HwHiAiUser@orangepiaipro:~$ curl -fsSL https://ollama.com/install.sh | sh

>>> Downloading ollama...

######################################################################## 100.0%##O#-#

>>> Installing ollama to /usr/local/bin...

[sudo] password for HwHiAiUser:

>>> Creating ollama user...

>>> Adding ollama user to render group...

>>> Adding ollama user to video group...

>>> Adding current user to ollama group...

>>> Creating ollama systemd service...

>>> Enabling and starting ollama service...

Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

>>> The Ollama API is now available at 127.0.0.1:11434.

>>> Install complete. Run "ollama" from the command line.

WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

提示开发板没有GPU显卡（WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.）运行的性能可能较为低下，不知道具体是啥原因暂且忽略吧。

输入ollama --version验证是否安装成功，得到结果ollama version is 0.2.7说明一切正常。

(base) HwHiAiUser@orangepiaipro:~/Downloads/byte-unixbench/UnixBench$ ollama --version

ollama version is 0.2.7

配置局域网访问

设置Ollama配置支持局域网访问，修改/etc/systemd/system/ollama.service文件，在Environment下面再添加一行Environment="OLLAMA_HOST=0.0.0.0:11434"code>保存即可。

[Unit]

Description=Ollama Service

After=network-online.target

[Service]

ExecStart=/usr/local/bin/ollama serve

User=ollama

Group=ollama

Restart=always

RestartSec=3

Environment="PATH=/home/HwHiAiUser/.local/bin:/usr/local/Ascend/ascend-toolkit/latest/bin:/usr/local/Ascend/ascend-toolkit/latest/compiler/ccec_compiler/bin:/usr/local/miniconda3/bin:/usr/local/miniconda3/condabin:/usr/local/Ascend/ascend-toolkit/laster/bin:/usr/local/Ascend/ascend-toolkit/laster/compiler/ccec_compiler/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin "code>

Environment="OLLAMA_HOST=0.0.0.0:11434"code>

[Install]

WantedBy=default.target

运行sudo systemctl daemon-reload重载systemctl，紧接着运行sudo service ollama restart重启服务，最后通过curl http://192.168.101.8:11434测试，若返回Ollama is running则代表设置成功。

(base) HwHiAiUser@orangepiaipro:~$ sudo systemctl daemon-reload

(base) HwHiAiUser@orangepiaipro:~$ sudo service ollama restart

(base) HwHiAiUser@orangepiaipro:~$ curl http://192.168.101.8:11434

Ollama is running(base)

部署通义千问

如果连接的<code>Ollama API这一步报错WebUI could not connect to Ollama呢，这大概率是因为没有正确配置局域网访问导致的。

可以做如下测试，在开发板中执行<code>curl http://192.168.101.8:11434会报错Connection refused。sudo lsof -i :11434去查看端口状态显示localhost，说明Ollama被配置为只能使用localhost去访问。

(base) HwHiAiUser@orangepiaipro:~$ curl http://192.168.101.8:11434

curl: (7) Failed to connect to 192.168.101.8 port 11434 after 0 ms: Connection refused

(base) HwHiAiUser@orangepiaipro:~$ sudo lsof -i :11434

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

ollama 10749 ollama 3u IPv4 53543 0t0 TCP localhost:11434 (LISTEN)

(base) HwHiAiUser@orangepiaipro:~$ curl http://localhost:11434/

Ollama is running(base)

由于我们这边Ollama被安装在了宿主机中，Ollama-webui被安装到docker中，两者之间的网络环境是不一样的，无法在docker中通过localhost:11434访问到Ollama。这边我们需要修改一下配置文件，参考上面安装Ollama提到的配置局域网访问即可。

回到主页，选择刚刚安装的千问0.5B，就可以快乐的玩耍啦。