WebMagic的基础使用
官方中文文档:http://webmagic.io/
安装WebMagic
1 | <dependency> |
编写TestProcessor定制爬虫逻辑
1 | package test.webmagic.com.test; |
编写TestPipeline定制抽取的结果处理类
1 | package test.webmagic.com.test; |
启动看看效果
第一页标题
![](https://oscimg.oschina.net/oscnet/up-37ea84a5257fe5d83b8c36d9eab8ffebb27.png)
第二页标题
![](https://oscimg.oschina.net/oscnet/up-563c1615a215b63090c29519fb0f826e279.png)
1 | <dependency> |
1 | package test.webmagic.com.test; |
1 | package test.webmagic.com.test; |