优采云自动文章采集器-按关键词自动采集发布的网站文章采集工具

优采云采集器是一个根据用户提供的关键词，云端自动采集相关文章并发布到用户网站的网站采集器。它能够自动识别各种网页上的标题、正文等信息，不需要用户编写任何采集规则就可以实现全网采集。采集到内容后，会自动计算内容与所设定的关键词的相关度，只把相关的文章推送给用户。支持标题前缀、关键词自动加粗、插入固定链接、自动提取Tag标签、自动内链、自动配图、自动伪原创、内容过滤和替换、电话号码和网址清理、定时采集、百度主动提交等一系列SEO功能。用户只需设置好关键词和相关需求，就能实现全托管、零维护的网站内容更新。不限网站数量，不管是单个网站还是大批量站群，都可以非常方便的进行管理。

研发背景

文章采集器是多数网站管理员必备的网站更新工具，传统的采集器在对网页信息进行提取时，主要基于正则表达式对网页内容进行匹配，运行速度快，实现难度低，但不同的网站具有不同的页面结构，需要编写不同的采集规则，工作量大，难于维护。而且需要用户自己寻找采集源，还需要用户自己挂机运行采集器，甚至还涉及可能被封IP，需要使用代理IP等一系列问题。

主要功能

提供一个1亿+量级的庞大关键词库，可根据用户输入的任意文本进行关键词搜索，经过简单勾选就能用于采集，大幅缩减了用户搜集关键词的时间和精力。
用户也可以创建自己的私有词库，可分库分组，数百万关键词轻松管理，也满足更个性化的关键词需求。
按关键词采集文章，基于百度、搜狗、好搜等搜索引擎，全网采集精美好文，用户不必为寻找采集源而花费精力。
自动识别网页编码、标题、正文等信息，不用为每个网站设置不同的采集规则，更不用到处找人写采集规则，不必懂得html源码，完全零维护。
可设定需求的正文长度，比如500字，750字，1000字，长度不达标的内容自动舍弃。
系统内置多种自然语言处理算法，自动计算文章正文和关键词的相关度(特征向量间的余弦距离)，把相关度低的文章自动过滤掉，只把相关度高的文章留给用户。
自动计算文章正文的通顺度(语言困惑度)，把通顺度低的文章舍弃，通顺度高的文章留给用户。
自动计算标题(Title)和描述(Description)与关键词的相关度，如果相关度低，可在标题和描述中自动插入关键词，以提升相关度。还可以为标题设定前缀关键词，每次在设定的多个前缀中随机选取一个添加在文章标题头部。
基于机器学习算法实现的文本鉴黄，可对采集的内容进行内容审核，保障用户内容安全。
实现基于同义词替换的伪原创功能，从2000万对近义词库中选择最符合语言表达习惯的词，替换原文中的词，最大限度保证文章可读性。
实现基于机器学习的智能AI伪原创，先把原文编码为高维语义向量，再通过解码器逐字解码，实现对整篇文章的完全重写，伪原创程度高，可读性好。
自动提取Tags标签，并在此基础上实现自动内链，当正文中出现标签对应的文本时，为该文本加上一个站内文章的链接，指向一篇具有同样主题的文章，实现自动化的科学有效的内链建设。
也可以设置固定的链接，当正文中出现某些固定文本时，为它加上固定的链接，指向站内或站外的文章均可。
根据文章内容自动配图，让你即使是采集的文章也能图文并茂。
可设置图片本地化或者使用远程图片，以及屏蔽所有图片。
可设置屏蔽某些网站不采集，或包含某些特定词的内容不采集。
自动过滤联系方式、网址以及文章前后的广告性内容等冗余信息，并进行全部标签清理，正文部分只保留<p>段落标签和图片<img>标签，无任何乱码，也不包含任何排版格式，方便用户通过css样式自定义外观。
严格的防重复机制，整个平台每个网址只采集一次，不重复采集。同一网站下，相同标题的文章只采集一次，不重复采集。
可指定每个关键词允许采集的文章数量，实现大量长尾关键词不重复布局。
云端自动运行采集任务，可定时定量采集，用户不用在自己电脑上安装任何软件，不用挂机采集，甚至不需要打开浏览器。
采集后自动发布到用户网站后台，用户只需要把接口文件下载并上传到网站根目录就能完成对接。
采集后自动执行百度主动推送，让蜘蛛快速发现你的文章。