pythonのRequestsとlxmlを使用してスクレイピングをしていました。
その時、XPathは正しいものを指定しているのに動かない…という悲劇が起こり、無事解決したので共有いたします。
対処法:文字化けを直す
私の場合、日本語のwebサイトをスクレイピングしていたため文字化けが起こっていました。
r = requests.get('URL')
r.encoding = r.apparent_encoding
のように、エンコーディングを指定するとうまく動きました。
![](https://tatsu-book.jct.tokyo/wp-content/themes/cocoon-master/images/man.png)
以上、備忘録でした!
pythonのRequestsとlxmlを使用してスクレイピングをしていました。
その時、XPathは正しいものを指定しているのに動かない…という悲劇が起こり、無事解決したので共有いたします。
私の場合、日本語のwebサイトをスクレイピングしていたため文字化けが起こっていました。
r = requests.get('URL')
r.encoding = r.apparent_encoding
のように、エンコーディングを指定するとうまく動きました。
以上、備忘録でした!
コメント