こんにちは！デジタルマーケターのウマたん(@statistics1012)です。
大学院時代は統計学を専攻していたのですが、ほぼRを使用しておりPythonは手を付けていない状況でした。
しかし巷ではPython全盛期。
なんとかPythonを習得したいと思うものの長続きせず、結局中途半端に終わってしまっていました。
それもそのはず、データ解析を行うにはRで事足りることが多くPythonを使う必要はなく当時はPythonを習得するメリットはこれと言ってなかったのです。
しかし現在、ほぼ初心者の状態からある程度のデータ解析・Webアプリケーションなら実装できるようになりました。
そこで、この記事ではPython初心者を抜け出すための勉強法・ロードマップについて見ていきたいと思います。
この記事で取り上げているのは以下の2つ
・初心者勉強のロードマップ
・Pythonで出来ることをまとめたコードの公開
初心者勉強のロードマップを参考に学習を進め、並行してコードを参考にしてカスタマイズした機械学習ロジックを用いたWebアプリケーションを作っていただけると学習がはかどるかと思います。
目次
Pythonの特徴
まずは簡単にPythonのイメージについて見ていきましょう！
Pythonはどうしてもデータ解析のイメージが強いです。
もちろんお馴染みの機械学習手法から流行りの手法まで幅広く実装することができますが、それであればRでも問題ありません。現に大学院時代はRで困ったことはありませんでした（Rはグラフ描画や多変量解析手法に強いイメージがあります）。
以下の記事でPythonとRなどデータ解析用のプログラミング言語を比較しているのでよければご覧ください！
Pythonの真骨頂は、Webアプリケーション開発。FlaskやDjangoと言ったモジュールを用いることで簡単にWebアプリケーションを開発することができるのです。
つまりクライアントサイドからデータをもらい、そのデータに対してロジックを回し、クライアントサイドに返すといったことを一気通貫で出来てしまうのです！
それでいて変数宣言等が必要なく、簡易的なコーディングで実装できる初心者にも優しい言語なのです！
Pythonで習得すべき要素と初心者のロードマップ
ここまで来たらPythonある程度習得したってことでいいんじゃない？というレベルを簡単にまとめておきます。
・Pythonでの基本的な記述方法が分かる
・関数・クラスが作れる
・データ解析が出来る（機械学習モジュールが使いこなせる）
・スクレイピングが出来る
・Webアプリケーションが作れる
Pythonでの基本的な記述方法が分かる
まあこれは、それほど他の言語をある程度触ったことのある人ならそれほど苦労しない部分かもしれません。
ただ若干記述の方法が違ったり、Python独自の概念もあるのでしっかりと学びましょう！
NumpyやPandas、Matplotlibなどデータ加工や描画に関するモジュールの使い方を覚えましょう！
このフェイズでは、以下の書籍を読んでみるとよいでしょう！プログラミング言語とはなんぞやという基本的なところから教えてくれます。
そして平行してPyQというオンライン学習サービスを利用しましょう！基本的な文法から勉強することができPythonに特化しているのでクオリティが高い！価格は3000円/月なので書籍1冊ほどのお値段です！
なかなかPythonに特化してここまで教えてくれるオンライン学習プラットフォームはありません。
クエスト形式で進んでいくので達成感もありますし、価格も安め！
ただ、実際に開発環境を作るのではなくPyQが用意してくれたプラットフォームを使うのでPyQだけやっても実務で回すときはまた違う設定が必要になります。
実際に自分でJupyter notebookを立ち上げたりコマンドプロンプトから入力して実装してみることを忘れないでください。
関数・クラスが作れる
関数・クラスの概念も他のプログラミング言語触ったことのある人なら問題ないかもしれませんが、初心者には非常に取っつきにくいところです。
一旦理解してしまえばそれほど難しくはありません。後ほど紹介する書籍に分かりやすく書いてあります。
昔、Javaのオブジェクト指向でつまづいてプログラミング投げ出した記憶があります笑
ここのフェイズでも先ほど紹介した書籍とPyQで学習してきましょう！
データ解析が出来る（機械学習モジュールが使いこなせる）
データ解析を行う上でのモジュールは比較的たくさんありますので、それが使いこなせるようになっておきましょう！
正直、Pythonは最新の手法であれモジュールとしてインポートし使用することができるのでアルゴリズムを精緻に理解する必要はありません。
しかし、まるっきり分からないと結果の解釈を誤ってしまう可能があるのである程度の理解はしておくべき。
統計学に関して不安な方はそちらも学んでおきましょう！
また、さらに深くディープラーニング等を学びたいのであれば、テックアカデミーのAIコースがオススメです。
テックアカデミーは個人的にめちゃくちゃオススメ！体験記事を挙げているので参考にしてみてください！
AIの活用に関しては以下の記事にもまとめているのでよければご覧ください！
スクレイピングが出来る
スクレイピングとは、Web上のデータを抽出する作業。こちらもPyQで学ぶことが可能です。
スクレイピングを自動的に行えばネットに落ちている様々な情報を一挙に吸い上げることが可能です。
スクレイピングをする上では、インターネットの構造とHTMLやCSSの理解が必要になります。
正直HTML・CSSを0から書ける必要はありません。クロームのディベロッパーツールを使ってWebブラウザを見ながら構造を勉強するとよいでしょう！
ディベロッパーツールに関しては以下の記事にまとめています！
またスクレイピングすることができるレベルのHTML・CSS・Javascriptを学ぶ本として以下の書籍が超超超名著なので読んでみてください。Kindle版しかないみたい。
「WEBマーケターのためのテクノロジー入門：Webマーケターにとって必要十分なプログラミング・テクノロジーの基礎を解説」
Webアプリケーションが使える
ここがPythonの特徴でもあるのですが、今までサーバーサイド言語を扱ったことのない人にはハードルの高い部分かもしれません。
僕もサーバーサイド言語はノータッチでした。
実際にWebアプリケーションとして落とし込むにはHTML・CSS・Javascriptの知識も必要になってくるので同時に学習しましょう！
このフェイズでもPyQで十分OK！PyQはまじで優秀なのでPythonを短期間でしっかり勉強したいのなら是非利用しましょう！PythonにはFlaskというDjangoというWebアプリケーション作成のフレームワークがあるのですがどちらも利用することが可能です。
PyQについては以下の記事で詳しくまとめています！
Pythonを習得するための課題
先ほどのPython習得における5つの要諦。
それらを同時に習得できるプログラムを作っていきましょう！笑
僭越ながら、少し前までPython初心者だった僕でもこんなの作れるんだぞ！という証明も含めて解説していきます。
正直無理やり感ありますが・・・
今回作っていくのは、
Webフォーム上にURLを入力すると、スクレイピングによってテキスト情報を抽出し、そこから形態素解析を行いテキスト類似度を算出し、データベース（これはおまけ）に格納、最終的にフォームに入力したURL同士のテキスト類似度を表示するWebアプリケーション
です。
まさにこれを作れば、先ほどの5つが習得でき・・・そう・・・？
ガツンとコードだけ先に載せちゃいます。PythonファイルとHTMLファイルを作成していきます。
いきなり長ったらしいコードが現れましたが、順番に見ていきましょう！
Pythonのスクレイピングを習得
まずは、Pythonでスクレイピングを習得していきます。
スクレイピングを行うにはbeautifulSoupというモジュールを使います。
Pythonにおけるスクレイピングに関して詳細は以下の記事をご覧ください！
スクレイピングの部分だけ抜き出して見ていきます！
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
#スクレイピングして文書加工 class Scr(): def __init__(self, urls): self.urls=urls #スクレイピング def geturl(self): all_text=[] for url in self.urls: r=requests.get(url) c=r.content soup=BeautifulSoup(c,"html.parser") article1_content=soup.find_all("p") temp=[] for con in article1_content: out=con.text temp.append(out) text=''.join(temp) all_text.append(text) sleep(1) return all_text |
スクレイピング用のクラスを作成しています。
article1_content=soup.find_all(“p”)でpタグを指定して抽出しています。ここを変えれば別のタグの中身を抽出することが可能です。
Pythonで形態素解析をしてテキスト類似度計算
続いて、MeCabを使って形態素解析を行い、td-idfとcos類似度を用いてテキスト類似度を算出していきます。
MeCabをPythonで使うには少し設定が必要だったりするのですが、詳しくはこちらの記事をご覧ください。
形態素解析・テキスト類似度の部分だけ抜き出して見ていきます！
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
#メカブで形態素解析 def mplg(article): word_list = "" m=MeCab.Tagger() m1=m.parse(article) for row in m1.split("\n"): word =row.split("\t")[0]#タブ区切りになっている１つ目を取り出す。ここには形態素が格納されている if word == "EOS": break else: pos = row.split("\t")[1]#タブ区切りになっている2つ目を取り出す。ここには品詞が格納されている slice = pos[:2] if slice == "名詞": word_list = word_list +" "+ word return word_list #文書類似度計算 class CalCos(): def __init__(self,word_list): self.word=word_list #tf-idf＆cos類似度で文書類似度算出 def tfidf(self): docs = np.array(self.word)#Numpyの配列に変換する #単語を配列ベクトル化して、TF-IDFを計算する vecs = TfidfVectorizer( token_pattern=u'(?u)\\b\\w+\\b'#文字列長が 1 の単語を処理対象に含めることを意味します。 ).fit_transform(docs) vecs = vecs.toarray() return vecs def cossim(self,v1,v2): return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2)) |
ここでもそれらのクラスを作成しています。
形態素解析をして得られた結果から名詞だけを抜き出して、助詞等を除いています。
td-idfとcos類似度はnumpyとsklearnを用いれば簡易的に計算することが可能です。
Pythonでデータベースを操作する（おまけ）
先ほどの5つの要諦には入れてませんでしたが、Pythonを使ってデータベースを操作することが可能です。別途SQLの知識が必要になります。
詳しくは以下の記事にまとめていますのでご覧ください！
データベース操作部分だけ抜き出して見ていきます！
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
class Db(): def __init__(self,dbname): self.db=dbname def db_input(self,article): #値をデータベースに格納 conn=sqlite3.connect(self.db) c = conn.cursor() # executeメソッドでSQL文を実行する create_table = '''DROP TABLE IF EXISTS article_match; create table article_match (text_1 verchar,text_2 verchar,match_rate double)''' c.executescript(create_table) # SQL文に値をセットする場合は，Pythonのformatメソッドなどは使わずに， # セットしたい場所に?を記述し，executeメソッドの第2引数に?に当てはめる値を # タプルで渡す． sql = 'insert into article_match (text_1, text_2, match_rate) values (?,?,?)' c.execute(sql, article) conn.commit() c.close() conn.close() def db_output(self): #データベースから値を抽出 conn=sqlite3.connect(self.db) c = conn.cursor() select_sql = 'select * from article_match' c.execute(select_sql) match_rate=c.fetchone() conn.commit() c.close() conn.close() return match_rate |
細かい処理が必要なのですが、基本的にはsqlite3.connect（）でデータベースを作成し、executeメソッドでSQLを実行していきます。
PythonでWebアプリケーションを作成
ここの部分が一番重いですね。HTMLも作成するのでPython以外の知識もある程度必要になってきます。
こちらの記事をはじめに読んでいただくと理解が進みやすいと思います。有意差を算出してくれるWebアプリケーションを作成しています。
今回のプログラムで特別行っているところはローディング時にローディングのgif画像を差し込むという処理です。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
/* ローディングGIF */ #loading { position: fixed; top: 0; right: 0; bottom: 0; left: 0; background: rgba(0,0,0,.5); background-image: url(../static/images/325-88.gif); background-repeat: no-repeat; background-attachment: fixed; background-position: center center; background-size: 50px 50px; } |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
$.ajax({ type:'POST', url:'/output', data:textData, contentType:'application/json', //リクエストが完了するまで実行される beforeSend: function(){ $('#loading').removeClass('hide'); }, // 非同期通信が成功したら実行される success:function(data){ $('#loading').addClass('hide'); var result = JSON.parse(data.ResultSet).result; $("#match1").text("類似度は"+result+"%です"); } }); |
これがあるとユーザーにとっては計算中なんだなということが分かり親切ですが、あってもなくても構いません。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
nc = Flask(__name__) bootstrap = Bootstrap(nc) @nc.route("/") def check(): return render_template('sr_all.html') @nc.route('/output', methods=['POST']) def output(): #json形式でURLを受け取る url1 = request.json['url1'] url2 = request.json['url2'] word_list=[] url=[url1,url2] sc=Scr(url) texts=sc.geturl() for text in texts: word_list.append(mplg(text)) wl=CalCos(word_list) vecs=wl.tfidf() match_rate=wl.cossim(vecs[1],vecs[0]) #DB格納 article = (url[0], url[1], match_rate) dbname = 'article.db' db=Db(dbname) db.db_input(article) match_rate=db.db_output() return_data = {"result":round(match_rate[2]*100,1)} return jsonify(ResultSet=json.dumps(return_data)) |
Flaskを使ってWebアプリケーションを作成する部分は少し複雑ですが、こういうもんだと思って覚えるしかありません。
HTMLとの整合性が合うように命名等気を付けましょう！
これで終了！Flaskを使う場合はpythonファイルと同じディレクトリにtemplatesフォルダを作成し、その中にhtmlファイルを置かないといけないので注意しましょう！
画像ファイルはimgフォルダ、css・jsはstaticフォルダと決まっています。
ちなみに今回はURLでもテキストでもどちらを入力しても判定できるようなUIにしました。
是非、このスクリプトをまねて何かWebアプリケーションを勉強がてら作ってみてください！
Python習得を挫折しないためには
最後にPython学習を挫折しない方法を少しだけお話しておきましょう。
プログラミング勉強において重要なのは、目的を明確にしておくことです。
なんとなく惰性でプログラミングを勉強しようとしてもそう簡単には上手くいきません。
実際、大学院時代に流行りの手法だからとPythonに取り組んでみましたが結局上手くいかず・・・
今回のように実際に実装したいモノが明確にあれば習得しやすいです。（作りたいモノに対する熱量にもよります）
もし、実装したいモノが特にない場合、ある程度強制的に目標を作ることをオススメします！
強制的に目標を作るにはやはり先ほど紹介したプログラミングスクールに通うことをオススメします！
基本的にはオンライン学習コンテンツを進めていくものになりますが、現役エンジニアのメンターがついて分からないことは素早く対応してくれます。
正直かなりの大金を払うことになるのでやらざるを得ない状況に追い込まれますしメンターチェックが入るのでお尻に火がつきます。AIコースを受講しましたが割と大変でした・・・
教材のレベルというよりメンタリングにお金を払っているイメージです。
プログラミングを習得するのにオススメな方法について以下の記事でまとめています！
Pythonを習得する勉強法 まとめ
長々と書いてきましたが、結局のところPythonは手段でしかないので目的がないと習得もクソもありません。
PyQ等である程度の基礎知識を付けた後は、自分で実装したいと思うWebアプリケーションを作ってみると良いでしょう。
今回紹介したWebアプリケーションをマネて何か作るもよし、強制力を付けるためにプログラミングスクールに通うもよし！
それは人それぞれ！
ただ必ずPythonを使って何を達成したいのかは念頭においておくようにしましょう！
