Python + scrapyで画像集め

2019年2月9日 [python]

Python + scrapyで画像集めできるようにプログラムを組んでいたが、何か取れない画像があった。。

設定は初期状態のままだったのでROBOTSTXTテキストに従う場合、制限があったようだ。

っていうことで望ましくないが

ROBOTSTXT_OBEY = False

1	ROBOTSTXT_OBEY = False

で取れた。