【コード付き】Selenium×Pythonの使い方！Chromeブラウザを自動操作してみようー！

【実践】ビジネスケースとつなげてPythonで出来ること5つを学べる3日間集中コース

Pythonで出来ることのうち以下の5つを網羅して学んでいきます。

データ集計・加工・描画と機械学習モデル構築に関してはKaggleというデータ分析コンペティションのWalmartの小売データを扱いながら学んでいきます。

WebスクレイピングとAPI利用とWebアプリケーション開発に関しては、楽天の在庫情報を取得してSlackに自動で通知するWebアプリケーションを作成して学んでいきます。

Pythonで何ができるのか知りたい！という方には一番はじめにまず受けていただきたいコースです！

Twitterアカウント(@statistics1012)にメンションいただければ1500円になる講師クーポンを発行いたします！

【応用】Selenium×PythonでGoogle検索の検索順位を取得するプログラムを作ってみよう！

Seleniumを勉強する講座を紹介してきましたが、この記事ではおまけとしてSelenium×PythonでGoogle検索の検索順位を取得する方法を見てきます。

ウマたん

めちゃくちゃ便利なプログラムで実際にマーケティングに使えるから実装してみよう！

普段Google検索をした時に上位の記事から順番に見ていきますよね？

例えば、「化粧水　おすすめ」と調べた時に上位に出てくる記事はなんでしょう？

このタイミングで調べてみると以下のようになりました。

※タイミングによって検索順位は変わるので必ずしも一致するとは限りません。

ちなみにGoogleで検索順位を調べる時は、自分の検索履歴や位置情報に左右されてしまうのでプライベートブラウザで調べることをオススメします。

Googleの検索で上位を取れば取るほど多くの人の目に触れるため、多くの企業がいかに検索上位を取るかにしのぎを削っています。

このGoogleで検索上位を取る活動をSEO（Search Engine Optimization）と呼びます。

SEOに関して詳しく知りたい方は以下の記事を見てみてください！

【これだけ！】SEOの独学勉強ロードマップを徹底的に解説！当サイト【スタビジ】の本記事では、SEOの基本と独学勉強ロードマップについてまとめていきます！WebマーケティングにおいてSEOの知識は非常に重要です。SEOをしっかり学習してマスターしておくことで様々な領域に活きてきますのでしっかり勉強していきましょう！...

たとえば「化粧水　おすすめ」で自分の記事がどのくらいの順位につけているかを定点的に観測したいという需要があるでしょう。

しかし、それを手動でやるのは面倒です。

そこで、、、Seleniumの出番なのです！！！そんなプログラムは自動でやらせてしまいましょう！

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
import pandas as pd

options = Options()
# driver = webdriver.Chrome("{ご自身のディレクトリ}chromedriver.exe", options=options)
driver = webdriver.Chrome(options=options)

Keywords_list = pd.read_csv("Google_search_keyword.csv")
Keywords = Keywords_list["Keyword"]

df_list = []

for Keyword in Keywords:

    url = f"https://www.google.com/search?q={Keyword}"
    driver.get(url)
    time.sleep(2)

    article_list = driver.find_elements_by_class_name("tF2Cxc")

    url_list = []
    for article in article_list:
        url = article.find_element_by_tag_name("a").get_attribute("href")
        url_list.append(url)

    title_list = []
    text_num_list = []
    images_num_list = []
    h1_tag_list = []
    h1_tag_num_list = []
    h2_tag_list = []
    h2_tag_num_list = []
    h3_tag_list = []
    h3_tag_num_list = []
    h4_tag_list = []
    h4_tag_num_list = []
    h5_tag_list = []
    h5_tag_num_list = []


    for url in url_list:
        driver.get(url)
        time.sleep(2)

        title_list.append(driver.title)

        body = driver.find_element_by_tag_name("body").text
        text_num_list.append(len(body))

        images = driver.find_elements_by_tag_name("img")
        images_num_list.append(len(images))

        h1_list = driver.find_elements_by_tag_name("h1")
        h1_tag = []
        for h1 in h1_list:
            h1_tag.append(h1.text)
        h1_tag_list.append(h1_tag)

        h1_tag_num_list.append(len(h1_tag))

        h2_list = driver.find_elements_by_tag_name("h2")
        h2_tag = []
        for h2 in h2_list:
            h2_tag.append(h2.text)
        h2_tag_list.append(h2_tag)

        h2_tag_num_list.append(len(h2_tag))

        h3_list = driver.find_elements_by_tag_name("h3")
        h3_tag = []
        for h3 in h3_list:
            h3_tag.append(h3.text)
        h3_tag_list.append(h3_tag)

        h3_tag_num_list.append(len(h3_tag))

        h4_list = driver.find_elements_by_tag_name("h4")
        h4_tag = []
        for h4 in h4_list:
            h4_tag.append(h4.text)
        h4_tag_list.append(h4_tag)

        h4_tag_num_list.append(len(h4_tag))

        h5_list = driver.find_elements_by_tag_name("h5")
        h5_tag = []
        for h5 in h5_list:
            h5_tag.append(h5.text)
        h5_tag_list.append(h5_tag)

        h5_tag_num_list.append(len(h5_tag))

    df = pd.DataFrame([title_list, text_num_list, images_num_list, h1_tag_list, h1_tag_num_list,  h2_tag_list, h2_tag_num_list,  h3_tag_list, h3_tag_num_list,  h4_tag_list, h4_tag_num_list,  h5_tag_list, h5_tag_num_list]).T
    df.columns = ["title", "char_num", "images_num", "h1_list", "h1_num", "h2_list", "h2_num", "h3_list", "h3_num", "h4_list", "h4_num", "h5_list", "h5_num"]
    df["index"] = df.reset_index()["index"] + 1
    df["Keyword"] = Keyword
    df_list.append(df)

df_all = pd.concat(df_list)
    
driver.quit()

df_all.to_csv("Google_search_result.csv")

“Google_search_keyword.csv”のファイルは、調べたいキーワードを1行ずつ格納して上記のPythonファイルと同ディレクトリに置いておきましょう。

そうすることでSeleniumが勝手にそれぞれのキーワードの順位を調べてにいってくれるんです！

素晴らしいですね！

ちなみにseleniumのバージョン違いによってエラーを吐くことが多いので、それが煩わしいという人は「chromedriver_binary」というライブラリを使ってみてください！

ちなみにGoogle検索の順位を取得するコードやSEOの概要を含めたマーケティング全般については以下のUdemy講座で解説しているので、もっと詳しく学びたい！という方は受講してみてください。

【入門から実践まで】Webマーケティングの全体像とデータ活用を短時間で学び実際にSEO集客ツールを作ってみよう！

Twitterアカウント(@statistics1012)にメンションいただければ1500円になる講師クーポンを発行できますよー！

Selenium×Python　まとめ

Seleniumは非常に便利で面白い使い方が出来るのでぜひ色々と触ってみてください！

ロボたん

こんなことがSelenium×Pythonで出来てしまうなんて・・・感動したよ！！

ウマたん

他にもできることはいくつかあるから是非Seleniumを触りながら色々試してみてね！

要素の抽出はBeautifulsoupでも出来るのでBeautifulsoupと組みあわせて使ってみてください！

【初心者向け】Pythonのbeautifulsoupでスクレイピングを実装してみよう！当サイト【スタビジ】の本記事では、初心者向けにPythonでスクレイピングを行う上での注意点や実装方法そして勉強方法についてまとめていきます！スクレイピングは比較的カンタンに実装できますが、奥が深く他の知識と組み合わせることで高いシナジーが見込める分野です。...

また、Pythonでの自動化については以下の記事でまとめています！

Pythonの自動化で出来ることの例と独学実装ロードマップを徹底解説！当サイト【スタビジ】の本記事では、Pythonで出来る自動化について徹底的に見ていきたいと思います！様々な業務を自動化して、ルーティン業務をなくしていくことであなたの仕事や生活は格段に楽になるはずです！Pythonの自動化で出来ること・勉強ロードマップ・そして最終的に簡単な実装を見ていきます。...

この記事では、SeleniumをPythonで動かす方法について見てきましたが、Pythonは他にも色んな使い方ができます。

データ分析や生成AIの実装などPythonで出来ることを網羅的に体験したい方は当メディアが運営するスタアカをチェックしてみて下さい。

GPTモデルをはじめとした大規模言語モデルの理論やPythonでの扱い方などを幅広く学んでいきます！

Pythonの勉強は以下の記事にまとめていますので是非チェックしてみてください！

【Python独学勉強法】Python入門を３ヶ月で習得できる学習ロードマップ当サイト【スタビジ】の本記事では、過去僕自身がPythonを独学を駆使しながら習得した経験をもとにPythonを効率よく勉強する方法を具体的なコード付き実装例と合わせてまとめていきます。Pythonはできることが幅広いので自分のやりたいことを明確にして勉強法を選ぶことが大事です。...

イラスト出典：Illustration by Stories by Freepik