Scrapyによる日次のスクレイピングをクラウドにデプロイしたい

元々レンタルサーバーでcron実行していたが、データ保存先に使っていたmLabがMongo Atlasに移行する必要があったことから色々バージョン問題に遭遇し、どうしようか悩み中。

今のところAWS Lambdaが良さそうだが、いくつか気になる。

  • 依存ライブラリ含めてアップする必要があり、250MB制限に収まるか?
    • 依存ライブラリは80MB程度でOK
  • Python2.7使える?
    • OK
    • https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/lambda-python.html
  • シェルコマンド実行からPythonからの呼び出しに置き換えられる?
    • CrawlerProcess を使えば OK
  • サービスの仕様変更保守コストを考えるとDocker化が望ましい?
  • アップしたソースコードはプライベート?
    • デプロイパッケージは暗号化されるらしい
    • 関数へのアクセスも IAM で制限するのでまあ大丈夫か

同じようなサービスに Google Cloud Functions もあるが、こちらは Python 3.7 か 3.8 らしい。Lambda も同じようにその内サポート外になりそうやな…。そう考えるとやっぱり Docker の方がいいか…。まぁいい加減 3 系に上げた方がいいけど。

参考

AWS Lambda でのデータ保護
https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/security-dataprotection.html

0

コメントを残す