小风的城
我心自有明月在，不堕地狱不跪佛
目 录CONTENT
- 最新文章
-
置顶 大模型 RAG 本地知识库 RAG（Retrieval-Augmented Generation）是一种结合信息检索和生成模型的技术，通过从外部知识库中检索关键信息来提高大模型的生成质量和准确性。其主要流程包括索引、检索和生成三个步骤。与直接使用大语言模型相比，RAG具有时效数据更新、私域数据支持以及长期记忆等优势。搭建一个完整的RAG系统需要大语言模型、信息检索模型和RAG框架三大模块。其中，推荐的大语言模型有DeepSeek-R1-Distill-Qwen-32B-Q4_K_M和Qwen2.5-VL-32B-Q4_K_M；信息检索模型则包含语义向量模型（如bge-m3、bge-large-zh-v1.5）和重排模型（如bge-reranker-v2-m3）。RAG框架用于连接这些组件，实现全流程任务处理，常见的框架有OpenWebUI和Dify。针对不同规模的知识库需求，可以选择适合的RAG架构部署方案。此外，文章还详细介绍了在Linux和Windows系统上安装配置Ollama、Xinference及OpenWebUI的方法，以及如何管理运行相关模型和服务。 -
项目高性能部署 本文介绍了使用后端服务、Gunicorn、Supervisor 和 Nginx 组合来部署服务的方法。具体步骤包括：首先，使用 FastAPI 或 Flask 构建后端服务；其次，利用 Gunicorn 进行多进程启动以提高并发处理能力；接着，通过 Supervisor 监管 Gunicorn 启动命令，确保服务持久化运行；最后，采用 Nginx 实现反向代理和负载均衡，有效控制并发请求。文中还提供了详细的配置示例，如 FastAPI 服务文件内容、Gunicorn 启动参数、Supervisor 配置以及 Nginx 的反向代理与负载均衡设置，帮助读者理解和实践这一部署方案。
-
Nginx Nginx 是一款高性能的开源 Web 服务器和反向代理服务器，以其出色的性能、稳定性和低资源消耗而闻名。它支持高并发访问、反向代理、负载均衡、SSL/TLS 终端、缓存服务及 API 网关等功能，适用于高并发 Web 应用、微服务架构中的 API 网关、静态资源服务器等多种场景。安装部署时需要准备配置文件夹、网页文件夹、日志文件夹及 SSL 证书文件夹，并使用 Docker 和 Docker-Compose 进行部署。通过修改 `nginx.conf` 文件可以实现上传文件大小限制、超时配置、缓冲区优化以及自定义日志格式等高级功能。此外，Nginx 还能通过反向代理结合 HTTPS 实现安全连接，并利用负载均衡技术提高系统的可用性和稳定性，例如在 GPU 服务器集群中分配请求以避免过载。
-
-
Python库 - Gradio Gradio 是一个开源的 Python 库，用于快速构建交互式的 Web 应用程序，特别适用于展示机器学习模型、数据分析工具和算法演示。它允许用户仅用几行 Python 代码即可创建美观且功能丰富的 Web 界面，无需编写 HTML、CSS 或 JavaScript。 安装 Gradio 可以通过 `pip install gradio` 命令完成，并支持多种配置选项，如界面设置（Interface 或 Blocks）、启动参数等。基础界面设置包括定义核心逻辑函数、输入输出组件类型以及可选的应用标题、描述和主题样式。启动设置则涉及服务器地址、端口、身份验证等。 Gradio 提供了丰富的组件来实现不同的交互功能，例如文本输入、数字输入、滑块控件、下拉选择框、单选按钮、复选框、按钮控件等。此外，还支持图像、音频、视频和文件的上传下载，以及数据表格和图表的显示。对于复杂任务，可以使用 Blocks 创建高度定制化的布局或动态交互。 Gradio 还具备状态管理和事件处理功能，能够实现多页面应用和聊天界面，进一步增强了其灵活性和实用性。在处理大文件时，可以通过分块读取和定期清理内存的方式来优化性能。通过这些功能，Gradio 为开发者提供了一个强大的工具，帮助他们高效地开发和部署数据科学和机器学习项目。
-
Supervisor Supervisor 是一个用 Python 开发的进程管理工具，能够监听、启动、停止和重启一个或多个进程。其主要特点包括实时监控进程状态并自动重启异常退出的进程、通过配置文件统一管理多个进程、支持日志管理和轮转、提供 Web 管理界面及命令行工具等。适用于 Web 应用服务、后台任务、数据处理脚本等多种场景。在 Ubuntu 系统上，可以通过 `apt-get` 命令安装 Supervisor，并通过修改 `/etc/supervisor/supervisord.conf` 和子配置文件来定制具体的应用程序设置。此外，还提供了丰富的命令行工具如 `supervisorctl` 用于管理和控制被监管的服务。
-
-
智能财务问答机器人 本项目基于大模型和RAG技术搭建了智能财务问答机器人，有效解决了财务咨询服务中的知识整理困难、用户提问模糊、人工回复耗时等问题。通过构建多层次知识存储体系、实现多模态交互能力以及开发智能体工作流，系统能够提供24小时全天候服务，显著提升了咨询效率。项目采用VLLM框架部署多个大模型，并联合多种数据库（如MySQL、Weaviate、Neo4j）进行知识管理与检索。同时，通过ASR、TTS和OCR技术扩展了系统的多模态交互能力。在优化过程中，通过文档分块、多路召回、提示词工程及模型微调等手段进一步提高了系统的准确性和响应速度。最终，该系统达到了全面的知识覆盖和高效的问答处理效果，获得了用户的高度认可。未来改进方向包括优化多Agent协作机制，以实现更复杂的财务业务自动化处理。
-
-
查看更多