{$Think.lang.coll_name}
网站编码
自动补全网址
是 否

将所有页面源码中的相对地址转换成绝对地址（包含超链接、图片、JS链接等）

网址不排重
是 否

默认将已采集网址排重过滤，选择“是”允许重复采集

倒序采集
是 否

以相反的顺序采集内容页网址

页面渲染
是 否

需先配置页面渲染，可自动加载ajax内容，注意：渲染后的html源码与未渲染时的不相同，原先的规则可能会失效！

#### 请求头信息

开启
是 否
UserAgent 浏览器标识
Cookie 缓存数据
Referer 来源网址
自定义

名称 | 值 | 删除
--- | --- | ---

下载图片使用请求头
是 否

下载图片时是否使用该请求头设置

起始网址

#### 多级网址获取

多级网址规则

级别 | 名称 | 操作
--- | --- | ---

#### 内容页网址获取

#### 从选定区域中提取网址

获取网址区域

- {$Think.lang.sign_wildcard} {:cp_sign('match')} 捕获组
- xpath语法
- 格式 a.b.c
  通配符 *

{:cp_sign('match')}标签可获取匹配的数据，否则获取完全匹配的数据 获取匹配节点的html代码 获取匹配的json字符串

#### 匹配内容网址

提取网址规则

- {$Think.lang.sign_wildcard} {:cp_sign('match')} 捕获组
- xpath语法
- 格式 a.b.c
  通配符 *

XPATH匹配到的值自动保存为{:cp_sign('match')}标签以供拼接调用 JSON匹配到的值自动保存为{:cp_sign('match')}标签以供拼接调用

拼接成最终网址
{:cp_sign('match','N')}

#### 结果网址过滤

必须包含
{$Think.lang.sign_wildcard} 正则
不能包含
{$Think.lang.sign_wildcard} 正则

#### POST模式

开启POST
是 否

开启后内容页网址中的get参数将以post形式提交

附加参数

名称 | 值 | 删除
--- | --- | ---

#### 关联页网址获取

关联页规则

名称 | 从页面中提取 | 操作
--- | --- | ---

{if condition="!empty($collData)"}
{/if}
字段列表 添加默认

字段 | 数据源 | 获取方式 | 操作 | 标题排重
--- | --- | --- | --- | ---

开启循环入库后，将以第一个循环字段的数量为准，后面的循环字段会映射第一个循环字段的索引并自动获取相应位置的值入库，非循环字段则以当前值入库；如开启了分页，分页内容也会循环入库

#### 数据处理（通用）

通用数据处理

#### 内容分页

开启分页
是 否
分页内容字段

只有选中的字段才会在分页中获取到内容

获取分页区域

- {$Think.lang.sign_wildcard} {:cp_sign('match')} 捕获组
- xpath语法
- 格式 a.b.c
  通配符 *

{:cp_sign('match')}标签可获取匹配的数据，否则获取完全匹配的数据 获取匹配节点的html代码 获取匹配的json字符串

分页链接规则

- {$Think.lang.sign_wildcard} {:cp_sign('match')} 捕获组
- xpath语法
- 格式 a.b.c
  通配符 *

规则中无{:cp_sign('match')}标签时，自动将完全匹配的数据保存为{:cp_sign('match')}标签以供拼接调用 XPATH匹配到的值自动保存为{:cp_sign('match')}标签以供拼接调用 JSON匹配到的值自动保存为{:cp_sign('match')}标签以供拼接调用

拼接成最终分页链接
{:cp_sign('match','N')}
分页网址过滤
必须包含
{$Think.lang.sign_wildcard} 正则
不能包含
{$Think.lang.sign_wildcard} 正则
最大分页数

填0表示不限制会自动循环抓取到最后一页，为防止出现无限循环的情况，最好设置一个数值

{if condition="!empty($collData)"}
{/if}

第级 |  | 删除
|  | 删除
|  |  | 数据处理 | 绑定