> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/website-knowledge-search.md).

# 网站和帮助中心接进企业知识库：Duaer 网站抓取

把产品文档、帮助中心或内网网站接进 Duaer 知识库，员工直接问网站上的内容，答案附网页链接；每天重新读一次，组织内所有人都能搜到。
## Duaer 能在网站上搜到什么？

Duaer 从起始地址开始，读取这个地址所在目录下的网页，以及网页链接到的 PDF、Word、Excel、PowerPoint 和文本文件，最多读到设定的页数（默认 500，最多 5000）。网页只取正文，不取导航、页眉、页脚和表单。

员工可以问「退货要几天内申请？」，Duaer 从帮助中心找到答案并附出处，点出处就打开那个网页。

## 怎么把网站接进 Duaer？

1. 确定起始地址：要读整个帮助中心，就填帮助中心的首页，例如 https://help.example.com/docs/；Duaer 只读这个目录下的网页。
2. 所有者或管理员打开侧边栏「数据来源」，点「添加数据来源」，在「文件与文档」下选「网站」（搜“网站”也能找到），填起始地址和最多页数，点「添加网站」。
3. 起始页能打开才会添加。添加后马上开始读取，面板上显示读到的网页数、上次读取时间，以及没有索引的网页和原因。
4. 内网网站：先在「本地数据网关」里添加一个网关，ALLOWED_TARGETS 写网站的地址（如 http://wiki.intranet），再添加网站。

## 哪些网页不会读？

- 起始地址所在目录以外的网页，以及其他网站的网页。
- robots.txt 不允许的网页：Duaer 以 DuaerBot 的身份遵守 robots.txt，有 DuaerBot 专门的规则时按它的，否则按 *；Crawl-delay 最多按 10 秒。
- 设为 noindex 的网页；设为 nofollow 的网页上的链接不再往下读。
- 需要登录才能看的网页；图片、视频、压缩包；超过 5 MB 的网页和超过 20 MB 的文件。

## 谁能搜到？多久更新？

组织内所有人都能搜到，网站本身就是给看得到它的人看的。Duaer 每天重新读一次每个网站：没有改动的网页（ETag 或 Last-Modified 没变）不会重复下载，改过的会重新读取，已经删除的会从知识库里移除。面板上的「立即索引」可以马上重新读一次。

想看 Duaer 怎么把知识搜索和事项跟进放在一起，打开 [Duaer 官网](https://www.duaer.com/)。
## Questions

### Duaer 抓取网站会给网站带来压力吗？

很小。每个网站一次只发一个请求，两次请求至少间隔 0.5 秒，robots.txt 的 Crawl-delay 要求更长时按它的；没改动的网页只问一下是否改过。

### 能读需要登录的网站吗？

暂时不能。需要登录的网页不会读取；可以用对应系统的连接，或者把内容放到不需要登录的地址。

### 能不读网站的某些部分吗？

能。起始地址只覆盖所在目录；也可以在网站的 robots.txt 里为 DuaerBot 写 Disallow 规则。

## 相关

- [把网盘、SharePoint 文件变成能问答的知识库：Duaer 怎么连](https://doc.duaer.com/zh/guides/sharepoint-drive-knowledge-base.md)
- [S3、阿里云 OSS 存储桶里的文件接进企业知识库](https://doc.duaer.com/zh/guides/s3-bucket-knowledge-search.md)
- [AI 搜索怎么守住文档权限：Duaer 沿用原系统的权限](https://doc.duaer.com/zh/guides/permission-aware-ai-search.md)
- [AI 回答怎么附出处、不胡编：Duaer 的做法](https://doc.duaer.com/zh/guides/ai-answers-with-citations.md)
- [企业知识库 AI 问答怎么搭建：用 Duaer 不写代码](https://doc.duaer.com/zh/guides/ai-assistant-company-documents.md)