AWS LambdaでScrapyを動かす
pip install が必要なので、下記を使って動作確認とデプロイパッケージ作る方向で調査。 https://github.com/lambci/docker-lambda この Docker イメージを使うと、AWS …
タグ: Scrapy
Scrapyによる日次のスクレイピングをクラウドにデプロイしたい
元々レンタルサーバーでcron実行していたが、データ保存先に使っていたmLabがMongo Atlasに移行する必要があったことから色々バージョン問題に遭遇し、どうしようか悩み中。 今のところAWS Lambdaが良さそ …
CentOS 5.4 で Pyenv インストールして Python をバージョンアップできる？？
先日、mLab から MongoDB Atlas への移行で、ローカル開発環境では Python や Scrapy のバージョンアップをした。結構苦労したがなんとか解決。ただ、次はサーバで対応する必要がある。 このサーバ …
ScrapyのMailSenderでUnicodeDecodeError
Scrapy のバージョンを上げた影響か、MailSender の send で UnicodeDecodeError が出るようになってしまった。 Traceback (most recent call last): …