首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

SearXNG与LLM强强联合:打造用户隐私保护的智能搜索解答流程,隐私无忧,搜索无忧

编程知识
2024年08月21日 09:04

SearXNG与LLM强强联合:打造用户隐私保护的智能搜索解答流程,隐私无忧,搜索无忧

SearXNG 是一个免费的互联网元搜索引擎,整合了各种搜索服务的结果。用户不会被跟踪,也不会被分析。

  • 功能特性

    • 自托管,可以私有化部署
    • 没有用户跟踪/没有分析
    • 可以自定义设置脚本和 cookies
    • 安全加密的连接
    • 轻松整合了近200个搜索引擎,用户可自定义选择不同的引擎
    • 多语言支持,约 60 个,包含中文、英文等
    • 提供近 100 个维护良好的公共查询实例
  • 安全保护
    无论实例类型如何(私有、公共),SearXNG 都以多种方式保护用户的隐私。从搜索请求中删除私人数据有以下三种形式:

    • 从发送至搜索服务的请求中删除私人数据

    • 不通过搜索服务转发来自第三方服务的任何内容(例如广告)

    • 从进入结果页面的请求中删除私有数据

    删除私人数据意味着不向外部搜索引擎发送 cookie 并为每个请求生成随机浏览器配置文件。因此,公共实例还是私有实例处理请求并不重要,因为在这两种情况下它都是匿名的。IP 地址将是实例的 IP。但 SearXNG 可以配置为使用代理或 Tor, 也支持结果代理。

    与大多数搜索服务不同,SearXNG 不提供广告或跟踪内容。因此,私人数据不会被转发给可能利用其获利的第三方。除了保护用户免受搜索服务的影响之外,引用页面和搜索查询都对访问的结果页面隐藏。

1. docker镜像安装

2. 安装SearXNG

2.1 快速安装

#克隆项目
git clone https://github.com/searxng/searxng.git
cd searxng

#安装依赖
make install

#启动.
make run

可以通过浏览器访问 http://127.0.0.1:8888 来使用 SearXNG

2.2 docker cli

#新建文件夹 searxng 和 子目录
mkdir -p /www/algorithm/searxng

#进入 searxng 目录
cd /www/algorithm/searxng

#运行容器
docker run -d \
  --name searxng \
  --cap-drop ALL \
  --cap-add CHOWN \
  --cap-add SETGID \
  --cap-add SETUID \
  --log-driver json-file \
  --log-opt max-size=1m \
  --log-opt max-file=1 \
  -p 9380:8080 \
  -v $(pwd)/data:/etc/searxng:rw \
  searxng/searxng:latest

更多设置参考官网:

  • 修改 settings.yml
    当安装 SearXNG 时,默认的输出格式是 HTML 格式。您需要激活 JSON 格式。请将以下行添加到 settings.yml 文件中。如前面的示例所示,settings.yml 文件位于 ${PWD}/searxng/settings.yml
  #remove format to deny access, use lower case.
  #formats: [html, csv, json, rss]
  formats:
    - html
    - json    # <-- 添加这一行

2.3 docker compose 安装

可以用 docker-compose 安装,将下面的内容保存为 docker-compose.yml 文件,用转化工具可以很方便生成配置文件

version: '3.7'

services:
  searxng:
    image: searxng/searxng:latest
    container_name: searxng
    ports:
      - 9380:8080
    volumes:
      - ./data:/etc/searxng:rw
    cap_drop:
      - ALL
    cap_add:
      - CHOWN
      - SETGID
      - SETUID
    logging:
      driver: 'json-file'
      options:
        max-size: '1m'
        max-file: '1'

然后执行下面的命令

#新建文件夹 searxng 和 子目录
mkdir  searxng

#进入 searxng 目录
cd searxng

#将docker-compose.yml 放入当前目录

#一键启动
docker compose up -d

  • 运行
    在浏览器中输入 http://IP:9380 就能看到搜索界面

先进 首选项 进行设置,任何更改都需要 保存 才能生效

  • 关闭docker
docker ps
#在宿主机的终端中,运行以下命令来停止容器:
docker stop [容器名/容器id]
#如果 docker stop 命令不起作用,可以使用 docker kill 命令来强制退出容器
docker kill [容器名/容器id]
  • 修改一下端口号
version: '3.7'

services:
    searxng:
        ports:
            - 9380:9380
        volumes:
            - ${PWD}/searxng:/etc/searxng
        environment:
            - BASE_URL=http://0.0.0.0:9380/
            - INSTANCE_NAME=searxng
        image: searxng/searxng

3.结合LLM使用

  • 正常使用

效果一般,还需要再加点其他搜索引擎源,好处是没有广告了

3.1 FreeAskInternet

第一步、用户提出问题
第二步、用 SearXNG(本地运行)在多个搜索引擎上进行搜索
第三步、将搜索结果传入 LLM 生成答案

相关项目参考:

3.2 结合dify

目前用的是tavily 同理searxng也是同理

From:https://www.cnblogs.com/ting1/p/18371047
本文地址: http://www.shuzixingkong.net/article/1292
0评论
提交 加载更多评论
其他文章 智能客服的演变:从传统到向量数据库的新时代
向量数据库的崛起,为传统数据库提供了强有力的补充。它的优势在于处理复杂数据和高维数据时的高效性,尤其是在大规模数据分析、实时检索和智能推荐等领域表现突出。传统数据库在结构化数据和事务管理方面表现优异,但在非结构化数据处理、语义搜索和机器学习任务中的局限性逐渐显现。向量数据库的出现,不仅推动了数据存储
智能客服的演变:从传统到向量数据库的新时代 智能客服的演变:从传统到向量数据库的新时代 智能客服的演变:从传统到向量数据库的新时代
sign_and_send_pubkey: signing failed: agent refused operation
报错描述 ssh连接远程主机时,出现 sign_and_send_pubkey: signing failed: agent refused operation 错误,并且还是需要输入密码 实验环境 Master [root@kvm-master ~]# ssh-copy-id -i .ssh/id
sign_and_send_pubkey: signing failed: agent refused operation sign_and_send_pubkey: signing failed: agent refused operation sign_and_send_pubkey: signing failed: agent refused operation
为何AI更懂你:向量搜索,了解一下!
现在,你有没有发现自己越来越多地依赖推荐系统,有时候自己搜到的结果好像还没有AI推荐的精准。 那估计有人好奇了,推荐系统怎么这么“聪明”的呢?答案就是:“向量搜索”。今天,我们来聊聊这个技术,看看它是怎么改变了我们获取信息的方式的。 1、向量搜索是什么鬼? 首先,向量搜索到底是什么呢?简单来说,它是
为何AI更懂你:向量搜索,了解一下!
C#二叉搜索树算法
二叉搜索树算法实现原理 二叉搜索树(Binary Search Tree,简称BST)是一种节点有序排列的二叉树数据结构。它具有以下性质: 每个节点最多有两个子节点。 对于每个节点,其左子树的所有节点值都小于该节点值,其右子树的所有节点值都大于该节点值。 实现基本步骤和代码示例 步骤 定义节点类:包
C#二叉搜索树算法 C#二叉搜索树算法
零基础学习人工智能—Python—Pytorch学习(六)
前言 本文主要讲神经网络的上半部分。 另外,我发现我前面文章写的有歧义的地方还是挺多,虽然,已经改了一部分,但,可能还有没发现的,大家看的时候尽量多理解着看吧。 本着目的是学会使用神经网络的开发,至于数学的部分,就能过就过吧。 神经网络 先学个例子 先结合以前的知识理解一个例子,理解了这个例子,后面
零基础学习人工智能—Python—Pytorch学习(六) 零基础学习人工智能—Python—Pytorch学习(六) 零基础学习人工智能—Python—Pytorch学习(六)
Python 开发中,使用bcrypt 或 Passlib 对系统用户密码进行哈希和验证处理
在设计一个系统的时候,肯定都有会有用户身份认证的问题,一般对用户校验的时候,都是对用户存在数据库总的密码哈希值进行判断,从而避免密码泄露和反向解密,那么在Python 开发中,我们可以引入bcrypt 或 Passlib 对系统用户密码进行哈希和验证处理,以及介绍使用其他类库实现常规加解密处理操作。
【2】Kaggle 医学影像数据读取
赛题名称:RSNA 2024 Lumbar Spine Degenerative Classification 中文:腰椎退行性病变分类 kaggle官网赛题链接:https://www.kaggle.com/competitions/rsna-2024-lumbar-spine-degenerat
【2】Kaggle 医学影像数据读取 【2】Kaggle 医学影像数据读取 【2】Kaggle 医学影像数据读取
GC终结标记 SuspendEE 是怎么回事
一:背景 1. 讲故事 写这篇是起源于训练营里有位朋友提到了一个问题,在 !t -special 输出中有一个 SuspendEE 字样,这个字样在 coreclr 中怎么弄的?输出如下: 0:000&gt; !t -special ThreadCount: 3 UnstartedThread: 0
GC终结标记 SuspendEE 是怎么回事 GC终结标记 SuspendEE 是怎么回事