如何禁止爬取网页中的链接

1、首先我们创建一个robots.txt

3、在robots.txt文档中加入Disallow: *.htm，保存文件。

4、将保存的文件上传到网站的根目录。