AWSのEC2でChromeをヘッドレスモードで動かしてクローリングしたい！ そこに至るまでにはいくつかの壁があります。 Amazon Linuxでは上手くいかない Chromeだけでなく、日本語フォントが必要 ChromeとChromeDriverの対応バージョンを合わせる必要がある この…

こんにちは ゴーリスト開発のモリツグです そろそろSelenium2から危険な香りがするので、3に上げることしました。 ChromeのヘッドレスがEC2を利用してクローリングする時にすごい便利ですね。 今回はJavaでSelenium3 WebDriverを動かしてみたいと思います。 …

こんにちわ、 ゴーリスト開発のモリツグです。 EC2インスタンス100台で毎日クローリングしてたら請求額が洒落にならなくなったので必要にせまられてLambdaでクローラを作ることにしました。 あっさりできるかと思ったのですが、思いのほか手こずったので同じ…