BeautifulSoupでWeb情報収集(スクレイピング)
PythonとBeautifulSoupを使うことで、同じような形式で表示されているページの情報を一括にまとめるスクリプトを作って、作業を省力化したことがありましたので、その時のスクリプトを紹介します。
PythonとBeautifulSoupを使うことで、同じような形式で表示されているページの情報を一括にまとめるスクリプトを作って、作業を省力化したことがありましたので、その時のスクリプトを紹介します。
仕事の中で新旧データの差異チェックを行うことになったのですが、その際対象のデータがソートされておらず、手動でチェックするにも50件ほどとそれなりに数があり面倒な作業を依頼されていました。そこで作業を簡略化できないかと思い、「1. sortコマンドでファイルを一括ソート」、「2. WinMergeで比較」の2手順で、複数データの一括比較をやってみました。
もう大分前になるのですが、「これからはIoTだー」と一時期Arduino(ESP32)にはまり、色々なセンサーデータの取得や、身の周りHWのコントロールを行っている時期がありました。
その一環として、部屋の温湿度をArduino(ESP32)で取得し、Raspberry Piに送って可視化していたのですが、意外と普段の生活でも、温度の推移が見れて役に立っているのでその時のプログラムがご紹介します。
段々と仕事でも、AWSなどのクラウドサービスを利用するようになり、継続的なビルドや素早いデグレテストが求められるようになってきました。
そこで、PMと相談して、Jenkinsで何とかできないかということで、一度インストールしてみて試してみようと思い、WindowsへJenkinsをインストールして、環境構築するところまでを実施してみています。