网站和帮助中心接进企业知识库：Duaer 网站抓取

Duaer 能在网站上搜到什么？

Duaer 从起始地址开始，读取这个地址所在目录下的网页，以及网页链接到的 PDF、Word、Excel、PowerPoint 和文本文件，最多读到设定的页数（默认 500，最多 5000）。网页只取正文，不取导航、页眉、页脚和表单。

员工可以问「退货要几天内申请？」，Duaer 从帮助中心找到答案并附出处，点出处就打开那个网页。

怎么把网站接进 Duaer？

1. 确定起始地址：要读整个帮助中心，就填帮助中心的首页，例如 https://help.example.com/docs/；Duaer 只读这个目录下的网页。
2. 所有者或管理员打开侧边栏「数据来源」，点「添加数据来源」，在「文件与文档」下选「网站」（搜“网站”也能找到），填起始地址和最多页数，点「添加网站」。
3. 起始页能打开才会添加。添加后马上开始读取，面板上显示读到的网页数、上次读取时间，以及没有索引的网页和原因。
4. 内网网站：先在「本地数据网关」里添加一个网关，ALLOWED_TARGETS 写网站的地址（如 http://wiki.intranet），再添加网站。

哪些网页不会读？

• 起始地址所在目录以外的网页，以及其他网站的网页。
• robots.txt 不允许的网页：Duaer 以 DuaerBot 的身份遵守 robots.txt，有 DuaerBot 专门的规则时按它的，否则按 *；Crawl-delay 最多按 10 秒。
• 设为 noindex 的网页；设为 nofollow 的网页上的链接不再往下读。
• 需要登录才能看的网页；图片、视频、压缩包；超过 5 MB 的网页和超过 20 MB 的文件。

谁能搜到？多久更新？

组织内所有人都能搜到，网站本身就是给看得到它的人看的。Duaer 每天重新读一次每个网站：没有改动的网页（ETag 或 Last-Modified 没变）不会重复下载，改过的会重新读取，已经删除的会从知识库里移除。面板上的「立即索引」可以马上重新读一次。

想看 Duaer 怎么把知识搜索和事项跟进放在一起，打开 Duaer 官网。