カテゴリー: python

Python + scrapyで画像集めできるようにプログラムを組んでいたが、何か取れない画像があった。。

設定は初期状態のままだったのでROBOTSTXTテキストに従う場合、制限があったようだ。

 

っていうことで望ましくないが

ROBOTSTXT_OBEY = False

で取れた。

 

pythonでscrapyを実行したら「ModuleNotFoundError: No module named ‘win32api’」ってなり何だろうって調べたところ「pywin32」ないとエラーになるそうで・・・。

 

っていうことで

pip install pywin32

でインストールして片付けました。

 

python version 3.7