标签：Django robots.txt

小楼一夜听春语 6年前 (2018-09-19) 6574浏览 0评论

在Django项目中添加robots.txt，是为了让搜索引擎只爬取我们想让它爬取的内容。 一般搜索引擎在爬取网站内容时都会先爬取这个文件，然后根据这个文件的设置进行内容的爬取。 首先，先来看一下robots.txt文件的写法。 在robots.tx...