小风的城
我心自有明月在，不堕地狱不跪佛
目 录CONTENT
风满楼-小风的城
以下是
风满楼
相关的文章
-
置顶 大模型 RAG 本地知识库 RAG（Retrieval-Augmented Generation）是一种结合信息检索和生成模型的技术，通过从外部知识库中检索关键信息来提高大模型的生成质量和准确性。其主要流程包括索引、检索和生成三个步骤。与直接使用大语言模型相比，RAG具有时效数据更新、私域数据支持以及长期记忆等优势。搭建一个完整的RAG系统需要大语言模型、信息检索模型和RAG框架三大模块。其中，推荐的大语言模型有DeepSeek-R1-Distill-Qwen-32B-Q4_K_M和Qwen2.5-VL-32B-Q4_K_M；信息检索模型则包含语义向量模型（如bge-m3、bge-large-zh-v1.5）和重排模型（如bge-reranker-v2-m3）。RAG框架用于连接这些组件，实现全流程任务处理，常见的框架有OpenWebUI和Dify。针对不同规模的知识库需求，可以选择适合的RAG架构部署方案。此外，文章还详细介绍了在Linux和Windows系统上安装配置Ollama、Xinference及OpenWebUI的方法，以及如何管理运行相关模型和服务。 -
项目高性能部署 本文介绍了使用后端服务、Gunicorn、Supervisor 和 Nginx 组合来部署服务的方法。具体步骤包括：首先，使用 FastAPI 或 Flask 构建后端服务；其次，利用 Gunicorn 进行多进程启动以提高并发处理能力；接着，通过 Supervisor 监管 Gunicorn 启动命令，确保服务持久化运行；最后，采用 Nginx 实现反向代理和负载均衡，有效控制并发请求。文中还提供了详细的配置示例，如 FastAPI 服务文件内容、Gunicorn 启动参数、Supervisor 配置以及 Nginx 的反向代理与负载均衡设置，帮助读者理解和实践这一部署方案。
-
Nginx Nginx 是一款高性能的开源 Web 服务器和反向代理服务器，以其出色的性能、稳定性和低资源消耗而闻名。它支持高并发访问、反向代理、负载均衡、SSL/TLS 终端、缓存服务及 API 网关等功能，适用于高并发 Web 应用、微服务架构中的 API 网关、静态资源服务器等多种场景。安装部署时需要准备配置文件夹、网页文件夹、日志文件夹及 SSL 证书文件夹，并使用 Docker 和 Docker-Compose 进行部署。通过修改 `nginx.conf` 文件可以实现上传文件大小限制、超时配置、缓冲区优化以及自定义日志格式等高级功能。此外，Nginx 还能通过反向代理结合 HTTPS 实现安全连接，并利用负载均衡技术提高系统的可用性和稳定性，例如在 GPU 服务器集群中分配请求以避免过载。
-
-
Supervisor Supervisor 是一个用 Python 开发的进程管理工具，能够监听、启动、停止和重启一个或多个进程。其主要特点包括实时监控进程状态并自动重启异常退出的进程、通过配置文件统一管理多个进程、支持日志管理和轮转、提供 Web 管理界面及命令行工具等。适用于 Web 应用服务、后台任务、数据处理脚本等多种场景。在 Ubuntu 系统上，可以通过 `apt-get` 命令安装 Supervisor，并通过修改 `/etc/supervisor/supervisord.conf` 和子配置文件来定制具体的应用程序设置。此外，还提供了丰富的命令行工具如 `supervisorctl` 用于管理和控制被监管的服务。
-
-
智能财务问答机器人 本项目基于大模型和RAG技术搭建了智能财务问答机器人，有效解决了财务咨询服务中的知识整理困难、用户提问模糊、人工回复耗时等问题。通过构建多层次知识存储体系、实现多模态交互能力以及开发智能体工作流，系统能够提供24小时全天候服务，显著提升了咨询效率。项目采用VLLM框架部署多个大模型，并联合多种数据库（如MySQL、Weaviate、Neo4j）进行知识管理与检索。同时，通过ASR、TTS和OCR技术扩展了系统的多模态交互能力。在优化过程中，通过文档分块、多路召回、提示词工程及模型微调等手段进一步提高了系统的准确性和响应速度。最终，该系统达到了全面的知识覆盖和高效的问答处理效果，获得了用户的高度认可。未来改进方向包括优化多Agent协作机制，以实现更复杂的财务业务自动化处理。
-
-
智能语音引擎 本项目基于深度学习技术，开发了智能语音引擎，为呼叫中心提供语音合成（TTS）、声音克隆（VoiceClone）和语音识别（ASR）三大核心能力，显著提升了客户体验和服务效率。TTS 引擎支持多语言、多音色合成，具备中英文混合、强制发音等功能，并通过 ONNX 量化和 C++ 工程化改造实现高效推理。VoiceClone 提供极速克隆和专业克隆模式，支持多语种及方言合成，通过 VLLM 和 TensorRT 加速推理。ASR 引擎则提供流式语音识别、离线录音转写和方言识别能力，基于 FunASR 架构进行优化，支持热词修正和标点恢复。整个系统采用 Docker 快速部署，提供 HTTP 和 MRCP 双协议接口，支持高并发场景下的稳定服务。
-
AI 开发通用 Docker 镜像包 本文详细介绍了如何构建、验证、导出和使用一个基于Docker的通用AI开发镜像。首先，通过编写Dockerfile安装必要的软件包如CUDA、FFmpeg、Miniconda等，并配置Supervisor进行服务管理；然后利用docker-compose.yml文件定义服务配置并构建镜像。接着，通过启动容器来验证镜像中各项工具是否正常工作。为便于迁移，文章还提供了将镜像导出为tar文件的方法及在目标服务器上重新导入和运行该镜像的步骤。此外，对于需要进一步定制化的项目，文中指导了如何基于已有的通用镜像创建特定于项目的定制化镜像，包括进入容器内部进行额外软件安装或配置更改，以及最后提交这些更改形成新的镜像版本。整个过程涵盖了从基础环境搭建到高级应用部署的完整流程。
