サクッと簡単なWebページをスクレイピングしたいときに、テンプレとして使えると思います。
サンプルとして、HackerNewsというサイトのタイトルとリンクを取得しています。
- 下記のpythonファイルを作成します。
import urllib3
from bs4 import BeautifulSoup
def get_upcoming_events(url):
req = urllib3.PoolManager()
res = req.request('GET', url)
soup = BeautifulSoup(res.data, 'html.parser')
events = soup.find_all('span', {'class': 'titleline'})
print(events)
for event in events:
event_details = dict()
event_details['title'] = event.find('a').text
event_details['link'] = event.find('a').get('href')
print(event_details)
get_upcoming_events('https://news.ycombinator.com/')
2. ターミナルから上記pyファイルを実行
python [上記ファイル名].py
dict型でタイトルとリンクが取得されたかと思います。
以上です。
python実行用に仮想環境を作りたい、GitHubでコード管理したい人は下記も参考になれば、嬉しいです。