Python + scrapyで画像集め

Python + scrapyで画像集めできるようにプログラムを組んでいたが、何か取れない画像があった。。

設定は初期状態のままだったのでROBOTSTXTテキストに従う場合、制限があったようだ。

 

っていうことで望ましくないが

ROBOTSTXT_OBEY = False

で取れた。