随着企业数字化转型的推进，智能化和高效服务成为企业竞争力的关键。我们设计了一款基于Nvidia NIM模型加速平台的智能企业门户接待系统，利用先进的AI技术，只需粘贴您的门户主页（耗时1s）便能自动构建智能虚拟接待员，帮助企业实现更高效的客户支持、产品推荐和人才招聘。这一系统不仅提高客户体验，还有效促进销售转化与人才获取。

一 背景介绍

背景：大部分公司拥有复杂的门户网站，客户很难快速找到所需信息。因此，设计了基于爬虫、向量数据库、大模型和语音交互的智能接待系统。

目标：让客户更轻松了解公司，提升用户体验，进而可能提升销售额和人才招聘效果。

二 技术架构

使用爬虫+NLP模型自动提取公司官网的信息。

核心技术包括大模型（如Llama 3.1）、语音识别（Whisper）和向量存储（FAISS）。

客户可以通过语音或文本输入，系统通过RAG（检索增强生成）方式检索知识库并生成回复。

三 技术方案

3.1 技术选型

图片内容提取：microsoft/phi-3-vision-128k-instruct

选择原PHI-3 Vision 是一个强大的图像信息提取模型，能够从图片中生成高质量的文本描述。我们选择这一模型的原因是它具有高度的准确性和稳定性，尤其适用于企业场景中的图像描述提取。团队对这个模型较为熟悉，能够确保更快的开发与集成。

语音转文本：Whisper - Medium Whisper 是一个开源的语音识别模型，在处理多种语言和口音的语音转文本任务上表现出色。我们选择 Medium 版本，主要是因为其体积适中，既能够应对常规场景，又不需要过高的计算资源，同时兼顾了性能和效率。

向量化：NV-Embed-QA NV-Embed-QA 是英伟达提供的向量化模型，具备优越的兼容性和处理速度。由于系统需要处理大量文本数据并进行高效的向量化，NV-Embed-QA 的快速处理能力和与其他组件的无缝集成使其成为理想选择。

核心大语言模型：Meta/Llama-3.1-405b-Instruct Llama 3.1 是 Meta 发布的开源大语言模型，具有最新的技术优势和卓越的性能表现。我们选择这个模型是因为它不仅开源可定制，还具备强大的生成与理解能力，能够很好地满足复杂企业场景中的对话需求。

数据爬取：HTTP + BeautifulSoup HTTP 请求与 BeautifulSoup 是经典的网页数据抓取组合，能够高效、灵活地从公司网站中提取文本和图像信息。这个组合简单易用，开发成本低，且在处理结构化和半结构化数据方面表现良好。

向量存储：FAISS FAISS 是由 Facebook 开发的开源向量搜索库，广泛应用于大规模向量检索。我们选择 FAISS 主要因为它处理高维向量数据的效率非常高，并且支持多种索引类型，能够根据实际需求灵活配置。

语音转文字：Whisper (OpenAI-Whisper) Whisper 模型在多语种语音识别方面表现优异，特别适合需要高准确率和复杂语音处理的场景。选择 OpenAI-Whisper 是因为它具有强大的社区支持和持续更新的能力，保证了在未来可以获得更多的优化与增强。

文字转语音：Pyttsx3 Pyttsx3 是一个离线的 Python 文本转语音库，具备跨平台的优势，能够在多种操作系统上稳定运行。选择 Pyttsx3 的原因是它的轻量级和高可定制性，使得在本地化应用中表现优异，特别是对于模拟真人语音的简单需求。

3.2 数据构建

初始数据获取：

目标：获取公司官网的所有页面及资源，构建企业知识库。

实现方式：通过爬虫技术遍历公司官网的所有同域页面，收集页面上的文本、图片等资源。

工具：使用 HTTP 和 BeautifulSoup 进行页面数据抓取和分类，确保获取的资源涵盖整个网站的公开内容。

信息提取：

文本信息提取：

过程：从 HTML 页面中提取有意义的文本信息，过滤掉无内容的标记（如 <script>、<style>）以及其他非文本元素（如 <xml> 标记等）。

关键点：确保提取的信息完整且准确，避免提取无关内容。

图片资源提取：

过程：将页面中的图片资源提交给图片信息提取模型（如 microsoft/phi-3-vision-128k-instruct），生成对应的文本描述。

关键点：图片描述应尽可能精确，涵盖图片中与企业信息相关的核心内容。

数据向量化：

过程：将提取的文本信息/图片描述输入嵌入大模型（如 NV-Embed-QA），生成对应的向量表示。

工具与模型：使用 NV-Embed-QA 模型进行高效的向量化处理，确保向量兼容性好且处理速度快。

数据存储：

存储方式：使用 FAISS 进行向量存储，构建本地知识库。

过程：

将所有生成的向量存入 FAISS 数据库中，并同时存储对应资源的网页地址（meta 信息）。

数据校验与优化：

校验过程：在数据存储完成后，进行向量检索的测试，确保构建的知识库能够高效、准确地返回查询结果。

优化措施：根据初步测试的结果，对信息提取和向量化流程进行调优，确保在不同数据规模下系统性能稳定。

3.3 多模态整合

该智能接待系统通过多模态技术整合，实现了从用户输入到生成响应的完整闭环，为企业提供了智能、高效的客户服务体验。

客户输入（语音+文本）：

系统支持语音和文本两种输入方式。对于语音输入，采用 Whisper 模型将语音转化为文本，为后续处理提供基础。这样，客户可以通过自然语言的方式与系统互动，提升用户体验。

RAG 搜索（检索增强生成）：

系统将客户输入的文本进行向量化处理，通过向量库快速匹配相关知识文档。这一过程利用预构建的知识库，通过检索找到最符合客户问题的多个文档，为生成精确回答提供依据。

大模型生成：

系统将客户输入与匹配到的相关文档构建成提示词，输入大模型进行推理。通过大模型的强大生成能力，系统能够根据上下文生成自然流畅且符合业务需求的回答。

语音播报：

最终生成的文本答案通过文字转语音技术（如 Pyttsx3）转化为语音输出，实现类似真人的解答效果，模拟企业接待场景。

四 实施步骤

4.1 环境准备

安装miniconda ，创建 python3.8 环境

下载ffmpeg 下载后配置好path，命令行输入ffmpeg -version不报错显示版本信息即可

4.2 环境搭建

激活python3.8环境，配置加速源

<code>pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装python库：langchain-nvidia-ai-endpoints，jupyterlab，langchain==0.2.14， langchain_core，matplotlib，numpy，faiss，openai，langchain-community，gradio，pyttsx3，whisper, openai-whisper

运行jupyter-lab，打开浏览器的jupyter notebook，新建一个notebook

4.3 代码实现

4.3.1 引入依赖测试安装正确性

from langchain_nvidia_ai_endpoints import ChatNVIDIA

from langchain_core.output_parsers import StrOutputParser

from langchain_core.prompts import ChatPromptTemplate

from langchain.schema.runnable import RunnableLambda

from langchain.schema.runnable.passthrough import RunnableAssign

from langchain_core.runnables import RunnableBranch

from langchain_core.runnables import RunnablePassthrough

from langchain.chains import ConversationChain

from langchain.memory import ConversationBufferMemory

import os

import base64

import matplotlib.pyplot as plt

import numpy as np

4.3.2 配置NIM模型的访问key

步骤是访问NIM网站，注册会员获取免费额度，然后选择任意个模型，点击获取APIkey即可

os.environ["NVIDIA_API_KEY"] = "nvapi-xxx"

4.3.3 网页链接爬虫实现：

import requests

from bs4 import BeautifulSoup

from urllib.parse import urljoin, urlparse

// 这里可以修改你想爬取的最大连接数量，如果笔记本性能比较差，不建议太大值

MAX_PAGES = 500

def crawl_website(start_url, max_pages=100):

start_host = urlparse(start_url).netloc # Extract the host part of the start URL

visited = set()

queue = [start_url]

results = [start_url]

with open('links.txt', 'w') as file: # Open file for writing

while queue and len(results) < max_pages:

current_url = queue.pop(0)

if current_url in visited:

continue

try:

response = requests.get(current_url, timeout=10)

if response.status_code == 200:

visited.add(current_url)

results.append(current_url)

print('add url@' + current_url)

file.write(current_url + '\n') # Write the current URL to the file

soup = BeautifulSoup(response.text, 'html.parser')

# Find all links and add to the queue

for link in soup.find_all('a', href=True):

absolute_link = urljoin(current_url, link['href'])

if absolute_link not in visited and absolute_link not in results and urlparse(absolute_link).netloc == start_host:

queue.append(absolute_link)

except requests.RequestException:

continue

return results

def read_links_file(filepath='links.txt'):code>

with open(filepath, 'r') as file:

return [line.strip() for line in file]

4.3.4 读取链接