初学者が短期間でPythonを習得できるようになる勉強法！

こんにちは！デジタルマーケターのウマたんです。

大学院時代は統計学を専攻していたのですが、ほぼRを使用しておりPythonは手を付けていない状況でした。

しかし巷ではPython全盛期。

なんとかPythonを習得したいと思うものの長続きせず、結局中途半端に終わってしまっていました。

それもそのはず、データ解析を行うにはRで事足りることが多くPythonを使う必要はなく当時はPythonを習得するメリットはこれと言ってなかったのです。

しかし現在、完全に習得したとは言い難いものの、ほぼ初学者の状態からある程度のデータ解析・Webアプリケーションなら実装できるようになりました。

そこで、この記事ではPython初学者を抜け出すための勉強法・ロードマップについて見ていきたいと思います。

ウマたん

実際にPythonを習得しやすいお題に対してコーディングしていくよ！

Pythonの特徴
Pythonで習得すべきこと
Pythonを習得するための課題
Python習得を挫折しないためには
Pythonを習得する勉強法　まとめ

Pythonの特徴

Pythonはどうしてもデータ解析のイメージが強いです。

もちろんお馴染みの機械学習手法から流行りの手法まで幅広く実装することができますが、それであればRでも問題ありません。現に大学院時代はRで困ったことはありませんでした（Rはグラフ描画や多変量解析手法に強いイメージがあります）。

Pythonの真骨頂は、Webアプリケーション開発。FlaskやDjangoと言ったモジュールを用いることで簡単にWebアプリケーションを開発することができるのです。

つまりクライアントサイドからデータをもらい、そのデータに対してロジックを回し、クライアントサイドに返すといったことを一気通貫で出来てしまうのです！

それでいて変数宣言等が必要なく、簡易的なコーディングで実装できる初心者にも優しい言語なのです！

Pythonで習得すべきこと

ここまで来たらPythonある程度習得したってことでいいんじゃない？というレベルを簡単にまとめておきます。

・Pythonでの基本的な記述方法が分かる
・関数・クラスが作れる
・データ解析系のライブラリを使える
・スクレイピングが出来る
・簡単なWebアプリケーションが使える

Pythonでの基本的な記述方法が分かる

まあこれは、それほど他の言語をある程度触ったことのある人なら問題ないでしょう！

簡単な条件分岐・配列計算等が分かれば問題ありません。

関数・クラスが作れる

関数・クラスの概念も他のプログラミング言語触ったことのある人なら問題ないかもしれませんが、初学者には非常に取っつきにくいところです。

一旦理解してしまえばそれほど難しくはありません。後ほど紹介する書籍に分かりやすく書いてあります。

昔、Javaのオブジェクト指向でつまづいてプログラミング投げ出した記憶があります笑

データ解析系のライブラリを使える

データ解析系のライブラリは非常に多くありますが、それを全て覚える必要はありません。

リファレンスを見れば使えるくらいになっておけば問題ないでしょう！

スクレイピングが出来る

スクレイピングとは、Web上のデータを抽出する作業。

これを自動的に行えばネットに落ちている様々な情報を一挙に吸い上げることが可能です。

簡単なWebアプリケーションが使える

ここがPythonの特徴でもあるのですが、今までサーバーサイド言語を扱ったことのない人にはハードルの高い部分かもしれません。

当方もサーバーサイド言語はノータッチでした。

実際にWebアプリケーションとして落とし込むにはHTML・CSS・Javascriptの知識も必要になってくるので同時に学習しましょう！

Pythonを習得するための課題

先ほどのPython習得における5つの要諦。

それらを同時に習得できるプログラムを作っていきましょう！笑

ウマたん

そんなのあるのか！？

正直無理やり感ありますが・・・

今回作っていくのは、Webフォーム上にURLを入力すると、スクレイピングによってテキスト情報を抽出し、そこから形態素解析を行いテキスト類似度を算出し、データベース（これはおまけ）に格納、最終的にフォームに入力したURL同士のテキスト類似度を表示するWebアプリケーションです。

まさにこれを作れば、先ほどの5つが習得でき・・・そう・・・？

ガツンとコードだけ先に載せちゃいます。PythonファイルとHTMLファイルを作成していきます。

いきなり長ったらしいコードが現れましたが、順番に見ていきましょう！

Pythonのスクレイピングを習得

まずは、Pythonでスクレイピングを習得していきます。

スクレイピングを行うにはbeautifulSoupというモジュールを使います。

Pythonにおけるスクレイピングに関して詳細は以下の記事をご覧ください！

Pythonのbeautifulsoupでスクレイピングを実装してみよう！こんにちは！消費財メーカーでデジタルマーケティングに携わっているウマたんです！ Webサイトのテキスト情報を抽出したい時に...

スクレイピングの部分だけ抜き出して見ていきます！

#スクレイピングして文書加工
class Scr():
    def __init__(self, urls):
        self.urls=urls
#スクレイピング
    def geturl(self):
        all_text=[]
        for url in self.urls:
            r=requests.get(url)
            c=r.content
            soup=BeautifulSoup(c,"html.parser")
            article1_content=soup.find_all("p")
            temp=[]
            for con in article1_content:
                out=con.text
                temp.append(out)
            text=''.join(temp)
            all_text.append(text)
            sleep(1)
        return all_text

#スクレイピングして文書加工

class Scr():

def __init__(self, urls):

self.urls=urls

#スクレイピング

def geturl(self):

all_text=[]

for url in self.urls:

r=requests.get(url)

c=r.content

soup=BeautifulSoup(c,"html.parser")

article1_content=soup.find_all("p")

temp=[]

for con in article1_content:

out=con.text

temp.append(out)

text=''.join(temp)

all_text.append(text)

sleep(1)

return all_text

スクレイピング用のクラスを作成しています。

article1_content=soup.find_all(“p”)でpタグを指定して抽出しています。ここを変えれば別のタグの中身を抽出することが可能です。

Pythonで形態素解析をしてテキスト類似度計算

続いて、MeCabを使って形態素解析を行い、td-idfとcos類似度を用いてテキスト類似度を算出していきます。

MeCabをPythonで使うには少し設定が必要だったりするのですが、詳しくはこちらの記事をご覧ください。

PythonのMeCabで形態素解析！文書の類似度を算出してみよう！こんにちは！デジタルマーケターのウマたんです！そんな時に有用なのがMeCab（メカブ）という形態素解析用のライブ...

形態素解析・テキスト類似度の部分だけ抜き出して見ていきます！

#メカブで形態素解析
def mplg(article):
    word_list = ""
    m=MeCab.Tagger()
    m1=m.parse(article)
    for row in m1.split("\n"):
        word =row.split("\t")[0]#タブ区切りになっている１つ目を取り出す。ここには形態素が格納されている
        if word == "EOS":
            break
        else:
            pos = row.split("\t")[1]#タブ区切りになっている2つ目を取り出す。ここには品詞が格納されている
            slice = pos[:2]
            if slice == "名詞":
                word_list = word_list +" "+ word
    return word_list

#文書類似度計算
class CalCos():
    def __init__(self,word_list):
        self.word=word_list
#tf-idf＆cos類似度で文書類似度算出
    def tfidf(self):
        docs = np.array(self.word)#Numpyの配列に変換する
        #単語を配列ベクトル化して、TF-IDFを計算する
        vecs = TfidfVectorizer(
                    token_pattern=u'(?u)\\b\\w+\\b'#文字列長が 1 の単語を処理対象に含めることを意味します。
                    ).fit_transform(docs)
        vecs = vecs.toarray()
        return vecs

    def cossim(self,v1,v2):
        return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))

#メカブで形態素解析

def mplg(article):

word_list = ""

m=MeCab.Tagger()

m1=m.parse(article)

for row in m1.split("\n"):

word =row.split("\t")[0]#タブ区切りになっている１つ目を取り出す。ここには形態素が格納されている

if word == "EOS":

break

else:

pos = row.split("\t")[1]#タブ区切りになっている2つ目を取り出す。ここには品詞が格納されている

slice = pos[:2]

if slice == "名詞":

word_list = word_list +" "+ word

return word_list

#文書類似度計算

class CalCos():

def __init__(self,word_list):

self.word=word_list

#tf-idf＆cos類似度で文書類似度算出

def tfidf(self):

docs = np.array(self.word)#Numpyの配列に変換する

#単語を配列ベクトル化して、TF-IDFを計算する

vecs = TfidfVectorizer(

token_pattern=u'(?u)\\b\\w+\\b'#文字列長が 1 の単語を処理対象に含めることを意味します。

).fit_transform(docs)

vecs = vecs.toarray()

return vecs

def cossim(self,v1,v2):

return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))

ここでもそれらのクラスを作成しています。

形態素解析をして得られた結果から名詞だけを抜き出して、助詞等を除いています。

td-idfとcos類似度はnumpyとsklearnを用いれば簡易的に計算することが可能です。

Pythonでデータベースを操作する（おまけ）

先ほどの5つの要諦には入れてませんでしたが、Pythonを使ってデータベースを操作することが可能です。別途SQLの知識が必要になります。

詳しくは以下の記事にまとめていますのでご覧ください！

PythonのSqlite3を使ってデータベースを操作する方法を見ていこう！こんにちは！消費財メーカーでデジタルマーケティングに携わっているウマたんです。 Pythonでデータベースを作成して操作す...

データベース操作部分だけ抜き出して見ていきます！

class Db():
    def __init__(self,dbname):
        self.db=dbname

    def db_input(self,article):
        #値をデータベースに格納
        conn=sqlite3.connect(self.db)
        c = conn.cursor()
        # executeメソッドでSQL文を実行する
        create_table = '''DROP TABLE IF EXISTS article_match;
                        create table article_match (text_1 verchar,text_2 verchar,match_rate double)'''
        c.executescript(create_table)
        # SQL文に値をセットする場合は，Pythonのformatメソッドなどは使わずに，
        # セットしたい場所に?を記述し，executeメソッドの第2引数に?に当てはめる値を
        # タプルで渡す．
        sql = 'insert into article_match (text_1, text_2, match_rate) values (?,?,?)'
        c.execute(sql, article)
        conn.commit()
        c.close()
        conn.close()

    def db_output(self):
        #データベースから値を抽出
        conn=sqlite3.connect(self.db)
        c = conn.cursor()
        select_sql = 'select * from article_match'
        c.execute(select_sql)
        match_rate=c.fetchone()
        conn.commit()
        c.close()
        conn.close()
        return match_rate

class Db():

def __init__(self,dbname):

self.db=dbname

def db_input(self,article):

#値をデータベースに格納

conn=sqlite3.connect(self.db)

c = conn.cursor()

# executeメソッドでSQL文を実行する

create_table = '''DROP TABLE IF EXISTS article_match;

create table article_match (text_1 verchar,text_2 verchar,match_rate double)'''

c.executescript(create_table)

# SQL文に値をセットする場合は，Pythonのformatメソッドなどは使わずに，

# セットしたい場所に?を記述し，executeメソッドの第2引数に?に当てはめる値を

# タプルで渡す．

sql = 'insert into article_match (text_1, text_2, match_rate) values (?,?,?)'

c.execute(sql, article)

conn.commit()

c.close()

conn.close()

def db_output(self):

#データベースから値を抽出

conn=sqlite3.connect(self.db)

c = conn.cursor()

select_sql = 'select * from article_match'

c.execute(select_sql)

match_rate=c.fetchone()

conn.commit()

c.close()

conn.close()

return match_rate

細かい処理が必要なのですが、基本的にはsqlite3.connect（）でデータベースを作成し、executeメソッドでSQLを実行していきます。

PythonでWebアプリケーションを作成

ここの部分が一番重いですね。HTMLも作成するのでPython以外の知識もある程度必要になってきます。

こちらの記事をはじめに読んでいただくと理解が進みやすいと思います。有意差を算出してくれるWebアプリケーションを作成しています。

PythonのFlaskで簡単なWebアプリケーションを作ってみよう！こんにちは！デジタルマーケターのウマたんです！ WebブラウザでアプリケーションのことをWebアプリケーションと呼びます！ ...

今回のプログラムで特別行っているところはローディング時にローディングのgif画像を差し込むという処理です。

/* ローディングGIF */
  #loading {
  position: fixed;
  top: 0;
  right: 0;
  bottom: 0;
  left: 0;
  background: rgba(0,0,0,.5);
  background-image: url(../static/images/325-88.gif);
  background-repeat: no-repeat;
  background-attachment: fixed;
  background-position: center center;
  background-size: 50px 50px;
  }

/* ローディングGIF */

#loading {

position: fixed;

top: 0;

right: 0;

bottom: 0;

left: 0;

background: rgba(0,0,0,.5);

background-image: url(../static/images/325-88.gif);

background-repeat: no-repeat;

background-attachment: fixed;

background-position: center center;

background-size: 50px 50px;

}

$.ajax({
        type:'POST',
        url:'/output',
        data:textData,
        contentType:'application/json',
        //リクエストが完了するまで実行される
        beforeSend: function(){
          $('#loading').removeClass('hide');
          },
        // 非同期通信が成功したら実行される
        success:function(data){
          $('#loading').addClass('hide');
          var result = JSON.parse(data.ResultSet).result;
          $("#match1").text("類似度は"+result+"%です");
        }
      });

$.ajax({

type:'POST',

url:'/output',

data:textData,

contentType:'application/json',

//リクエストが完了するまで実行される

beforeSend: function(){

$('#loading').removeClass('hide');

// 非同期通信が成功したら実行される

success:function(data){

$('#loading').addClass('hide');

var result = JSON.parse(data.ResultSet).result;

$("#match1").text("類似度は"+result+"%です");

}

});

これがあるとユーザーにとっては計算中なんだなということが分かり親切ですが、あってもなくても構いません。

nc = Flask(__name__)
bootstrap = Bootstrap(nc)

@nc.route("/")
def check():
    return render_template('sr_all.html')

@nc.route('/output', methods=['POST'])
def output():
    #json形式でURLを受け取る
    url1 = request.json['url1']
    url2 = request.json['url2']

    word_list=[]
    url=[url1,url2]
    sc=Scr(url)
    texts=sc.geturl()
    for text in texts:
        word_list.append(mplg(text))

    wl=CalCos(word_list)
    vecs=wl.tfidf()
    match_rate=wl.cossim(vecs[1],vecs[0])
    #DB格納
    article = (url[0], url[1], match_rate)
    dbname = 'article.db'
    db=Db(dbname)
    db.db_input(article)
    match_rate=db.db_output()

    return_data = {"result":round(match_rate[2]*100,1)}
    return jsonify(ResultSet=json.dumps(return_data))

nc = Flask(__name__)

bootstrap = Bootstrap(nc)

@nc.route("/")

def check():

return render_template('sr_all.html')

@nc.route('/output', methods=['POST'])

def output():

#json形式でURLを受け取る

url1 = request.json['url1']

url2 = request.json['url2']

word_list=[]

url=[url1,url2]

sc=Scr(url)

texts=sc.geturl()

for text in texts:

word_list.append(mplg(text))

wl=CalCos(word_list)

vecs=wl.tfidf()

match_rate=wl.cossim(vecs[1],vecs[0])

#DB格納

article = (url[0], url[1], match_rate)

dbname = 'article.db'

db=Db(dbname)

db.db_input(article)

match_rate=db.db_output()

return_data = {"result":round(match_rate[2]*100,1)}

return jsonify(ResultSet=json.dumps(return_data))

Flaskを使ってWebアプリケーションを作成する部分は少し複雑ですが、こういうもんだと思って覚えるしかありません。

HTMLとの整合性が合うように命名等気を付けましょう！

これで終了！Flaskを使う場合はpythonファイルと同じディレクトリにtemplatesフォルダを作成し、その中にhtmlファイルを置かないといけないので注意しましょう！

画像ファイルはimgフォルダ、css・jsはstaticフォルダと決まっています。

ちなみに今回はURLでもテキストでもどちらを入力しても判定できるようなUIにしました。

Python習得を挫折しないためには

プログラミング勉強において重要なのは、目的を明確にしておくことです。

なんとなく惰性でプログラミングを勉強しようとしてもそう簡単には上手くいきません。

実際、大学院時代に流行りの手法だからとPythonに取り組んでみましたが結局上手くいかず・・・

今回のように実際に実装したいモノが明確にあれば習得しやすいです。（作りたいモノに対する熱量にもよります）

もし、実装したいモノが特にない場合、ある程度強制的に目標を作ることをオススメします！

ある程度基礎知識を付けるには、まずProgateがオススメ！

その次にはPythonに特化したPyQがオススメ！なかなかPythonに特化してここまで教えてくれるオンライン学習プラットフォームはありません。

ただ、強制的に目標を作るにはやはりプログラミングスクールに通うことをオススメします！プログラミングスクールならテックアカデミー！

基本的にはオンライン学習コンテンツを進めていくものになりますが、現役エンジニアのメンターがついて分からないことは素早く対応してくれます。

教材のレベルも高く、本気で実践的なプログラミングを勉強するならテックキャンプよりもテックアカデミーでしょうか。

無料体験も行っているのでとりあえず取り組んでみるのも良いでしょう。

TechAcademy [テックアカデミー]

プログラミングを習得するのにオススメな方法について以下の記事でまとめています！

プログラミング言語を勉強する上でオススメな方法とツールを紹介！こんにちは！プログラミング言語ってなかなか一人で勉強しようとしても続かないですよね・・・分厚い書籍を購入してみたもののな...

Pythonを習得する勉強法　まとめ

長々と書いてきましたが、結局のところPythonは手段でしかないので目的がないと習得もクソもありません。

PyQ等である程度の基礎知識を付けた後は、自分で実装したいと思うWebアプリケーションを作ってみると良いでしょう。

今回紹介したWebアプリケーションをマネて何か作るもよし、強制力を付けるためにプログラミングスクールに通うもよし！

それは人それぞれ！ただ必ずPythonを使って何を達成したいのかは念頭においておくようにしましょう！

初学者が短期間でPythonを習得できるようになる勉強法！

Pythonの特徴

Pythonで習得すべきこと

Pythonでの基本的な記述方法が分かる

関数・クラスが作れる

データ解析系のライブラリを使える

スクレイピングが出来る

簡単なWebアプリケーションが使える

Pythonを習得するための課題

Pythonのスクレイピングを習得

Pythonで形態素解析をしてテキスト類似度計算

Pythonでデータベースを操作する（おまけ）

PythonでWebアプリケーションを作成

Python習得を挫折しないためには

Pythonを習得する勉強法　まとめ

マーケターが習得すべきプログラミング言語と勉強方法！

SQLで覚えるべき書き方はSELECT文だけ！SELECT文とWHERE句・集計関数...

PythonのMeCabで形態素解析！文書の類似度を算出してみよう！

厳選30冊！統計学を勉強する上でおすすめな本

厳選10冊！データ解析（R・Python）の勉強におすすめな本

有意差とは？簡単な例で見ていこう！

Mac ProとSurface Proを徹底比較！どんな違いがあるのか？果たしてどっちが使いやすいのか！？

厳選8冊！デジタルマーケティングを勉強する上でオススメな本！

時系列データ分析

Box-cox変換を用いて正規分布に従わないデータを解析をしてみよう！

厳選5冊！統計学における数学を勉強するためにおすすめな本！

厳選5冊！多変量解析を勉強する上でおすすめな本！

シューハート管理図

Pythonの特徴

Pythonで習得すべきこと

Pythonでの基本的な記述方法が分かる

関数・クラスが作れる

データ解析系のライブラリを使える

スクレイピングが出来る

簡単なWebアプリケーションが使える

Pythonを習得するための課題

Pythonのスクレイピングを習得

Pythonで形態素解析をしてテキスト類似度計算

Pythonでデータベースを操作する（おまけ）

PythonでWebアプリケーションを作成

Python習得を挫折しないためには

Pythonを習得する勉強法 まとめ

マーケターが習得すべきプログラミング言語と勉強方法！

SQLで覚えるべき書き方はSELECT文だけ！SELECT文とWHERE句・集計関数...

PythonのMeCabで形態素解析！文書の類似度を算出してみよう！

厳選30冊！統計学を勉強する上でおすすめな本

厳選10冊！データ解析（R・Python）の勉強におすすめな本

有意差とは？簡単な例で見ていこう！

Mac ProとSurface Proを徹底比較！どんな違いがあるのか？果たしてどっちが使いやすいのか！？

厳選8冊！デジタルマーケティングを勉強する上でオススメな本！

時系列データ分析

Box-cox変換を用いて正規分布に従わないデータを解析をしてみよう！

厳選5冊！統計学における数学を勉強するためにおすすめな本！

厳選5冊！多変量解析を勉強する上でおすすめな本！

シューハート管理図

Pythonを習得する勉強法　まとめ