Java爬虫框架WebMagic的搭建

1、首先我们在我们的Maven引进jir包

2、然后编写一个类MywebMagic实现接口类PageProcessor，在process方法里编写你的逻辑page.getHtml().$("div.lll").toString()这样就获取了你页面里的一个元素的html

3、最后实现调用MywebMagic类