批量对网站的url进行采集，全百科关键词URL采集工具支持不同的搜索引擎，批量自动处理，重复数据删除，使用非常的方便。
软件优势
支持多搜索引擎，很方便添加集成。(已内置了百度，搜狗，360),结构模块化，很方便进行扩展，可以无限添加。
做了兼容性优化。
支持自动过滤重复内容，支持过滤标题中存在指定关键词的内容，支持过滤域名；
从搜索引擎采集到的地址，是真实网站地址，不是像百度快照那样的三方地址；
多进程同时采集。每个搜索引擎都单独一个进程；
可灵活的通过配置文件自定义要保存的结果格式。比如只输出带参数的原始真实URL，或者只输出域名，或者同时输出标题，搜索引擎名称。
可自定义每页采集时间间隔，防止被屏蔽；
URL格式语法
URL由三部分组成：资源类型、存放资源的主机域名、资源文件名。
也可认为由4部分组成：协议、主机、端口、路径
URL的一般语法格式为：
(带方括号[]的为可选项)：
protocol :// hostname[:port] / path / [;parameters][?query]#fragment
下载仅供下载体验和测试学习，不得商用和正当使用。
下载体验