소스 검색

[sitemap] respect the robots.txt policies

Change-Id: I219eff6241479c3c883c55079b48a88591a2a99d
tags/0.32.0
Christian Berendt 4 년 전
부모
커밋
8f05ac1b0a
1개의 변경된 파일1개의 추가작업 그리고 0개의 파일을 삭제
  1. +1
    -0
      sitemap/generator/settings.py

+ 1
- 0
sitemap/generator/settings.py 파일 보기

@@ -31,5 +31,6 @@ DOWNLOAD_WARNSIZE = 67108864
LOG_LEVEL = 'INFO'
LOGGING_ENABLED = True
RANDOMIZE_DOWNLOAD_DELAY = False
ROBOTSTXT_OBEY = True
TELNETCONSOLE_ENABLED = False
linkextractors.IGNORED_EXTENSIONS.remove('pdf')

불러오는 중...
취소
저장