后端提供转换接口，入参为url链接，后端代码通过获取文章信息（、、）回传给前端，供前端实现卡片功能,返回值格式如下：

今天不讲url如何转卡片，重点想总结一下java如何通过url获取文章信息，或者说java如何通过url爬取文章信息；

网络爬虫前两年是一个很火的功能，之前一提到爬虫大家可能首先想到的是通过python实现爬虫功能，但是通过java实现爬虫功能的应用相对较少，这也是由于和的特点决定的，python做爬虫语法更简单，代码更简洁，java的语法比python严格，而且代码也更复杂；

我们要实现的爬虫功能很简单，所以我们主要讲通过；

首先介绍三种爬虫框架/程序：, , ，关于这三个框架的内容这里不做详细讲解，需要的可以自行百度，这里只做一个特点对比，也方便我们理解技术选型，特点对比如下：

由上述框架的特点可知，我们只是要实现通过获取文章的、和属性，不涉及js和界面渲染等相关内容，所以我们选择使用；
简单介绍： 是一款开源的java 页面分析工具，读取页面后，可以有效的使用分析页面上的内容。项目可以模拟浏览器运行，被誉为浏览器的开源实现。这个没有界面的浏览器，运行速度也是非常迅速的。

为了方便解析爬虫获取的html，我们使用jsoup工具，是一款Java的，主要是对html和xml文件进行解析，使用能轻松从获取想要的内容。

我们今天主要列举的数据爬取：和

首先引入pom.xml依赖：

1.爬取公众号文章

2.爬取CSDN文章