こんにちは！
事業会社でデジタルマーケター兼データサイエンティストみたいなことをやっているウマたん(@statistics1012)です。
大学院時代は統計学を専攻していたのですが、ほぼRを使用しておりPythonは手を付けていない状況でした。
しかし巷ではPython全盛期。
なんとかPythonを習得したいと思うものの長続きせず、結局中途半端に終わってしまっていました。
それもそのはず、データ解析を行うにはRで事足りることが多くPythonを使う必要はなく当時はPythonを習得するメリットはこれと言ってなかったのです。
しかし、以下の2つのサービスを使いほぼ初心者の状態から3か月である程度のデータ解析・Webアプリケーションなら実装できるようになりました。
ドドン！
この記事ではPython初心者を抜け出すための勉強法・ロードマップについて見ていきたいと思います。
この記事で取り上げているのは以下の3つ
・Pythonで習得すべき要素と出来ること
・Pythonで出来ることをまとめたコードの公開
・Pythonを効率よく勉強できるサービス
初心者勉強のロードマップを参考に勉強を進め、並行してコードを参考にしてカスタマイズした機械学習ロジックを用いたWebアプリケーションを作っていただけると学習がはかどるかと思います。
目次
Pythonの特徴
まずは簡単にPythonのイメージについて見ていきましょう！
Pythonはどうしてもデータ解析のイメージが強いです。
もちろんお馴染みの機械学習手法から流行りの手法まで幅広く実装することができますが、それであればRでも問題ありません。現に大学院時代はRで困ったことはありませんでした（Rはグラフ描画や多変量解析手法に強いイメージがあります）。
以下の記事でPythonとRなどデータ解析用のプログラミング言語を比較しているのでよければご覧ください！
Pythonの真骨頂は、Webアプリケーション開発。FlaskやDjangoと言ったモジュールを用いることで簡単にWebアプリケーションを開発することができるのです。
つまりクライアントサイドからデータをもらい、そのデータに対してロジックを回し、クライアントサイドに返すといったことを一気通貫で出来てしまうのです！
それでいて変数宣言等が必要なく、簡易的なコーディングで実装できる初心者にも優しい言語なのです！
Pythonで習得すべき基礎要素・応用
Pythonで出来ることはたくさんあるので、まずは自分がPythonを使って何をしたいか明確にしておくと良いです。
ただ、その前段階で共通して習得しておかなくてはいけないこともあるので基礎編と応用編に分けていきます。
・Pythonでの基本的な記述方法が分かる
・関数・クラスが作れる
・データ解析が出来る（機械学習モジュールが使いこなせる）
・スクレイピングが出来る
・Webアプリケーションが作れる
【基礎編】習得すべき基本要素
ここではどちらにしろ共通して習得しておいた方が良い基礎要素をまとめていきます。
Pythonでの基本的な記述方法が分かる
まあこれは、それほど他の言語をある程度触ったことのある人ならそれほど苦労しない部分かもしれません。
ただ若干記述の方法が違ったり、Python独自の概念もあるのでしっかりと学びましょう！
NumpyやPandas、Matplotlibなどデータ加工や描画に関するモジュールの使い方を覚えましょう！
このフェイズでは、以下の書籍を読んでみるとよいでしょう！プログラミング言語とはなんぞやという基本的なところから教えてくれます。
そして平行してPyQというオンライン学習サービスを利用しましょう！
基本的な文法から勉強することができPythonに特化しているのでクオリティが高い！価格は3000円/月なので書籍1冊ほどのお値段です！
なかなかPythonに特化してここまで教えてくれるオンライン学習プラットフォームはありません。
クエスト形式で進んでいくので達成感もありますし、価格も安め！
ただ、実際に開発環境を作るのではなくPyQが用意してくれたプラットフォームを使うのでPyQだけやっても実務で回すときはまた違う設定が必要になります。
実際に自分でJupyter notebookを立ち上げたりコマンドプロンプトから入力して実装してみることを忘れないでください。
関数・クラスが作れる
関数・クラスの概念も他のプログラミング言語触ったことのある人なら問題ないかもしれませんが、初心者には非常に取っつきにくいところです。
一旦理解してしまえばそれほど難しくはありません。後ほど紹介する書籍に分かりやすく書いてあります。
昔、Javaのオブジェクト指向でつまづいてプログラミング投げ出した記憶があります笑
ここのフェイズでも先ほど紹介した書籍とPyQで学習してきましょう！
データ解析では関数・クラスは一見いらなそうですが、オートメーションに組み込む際などは必要になってきます。
【応用編】Pythonで出来ること
ここまでは、基本的にPythonを使用する上で誰しもある程度必要になる基礎要素をお伝えしてきました。
ここからは、自分がPythonを使ってやりたいことを明確にしてどれかつまみ食い的に勉強して大丈夫な領域です。
まあ色々出来た方がPythonを使用する意味は高まるのでなるべく色々できるようになることをオススメします。
データ解析が出来る（機械学習モジュールが使いこなせる）
データ解析を行う上でのモジュールは比較的たくさんありますので、それが使いこなせるようになっておきましょう！
正直、Pythonは最新の手法であれモジュールとしてインポートし使用することができるのでアルゴリズムを精緻に理解する必要はありません。
しかし、まるっきり分からないと結果の解釈を誤ってしまう可能があるのである程度の理解はしておくべき。
統計学に関して不安な方はそちらも学んでおきましょう！
また、さらに深くディープラーニング等を学びたいのであれば、テックアカデミーのAIコースがオススメです。
テックアカデミーは個人的にめちゃくちゃオススメ！体験記事を挙げているので参考にしてみてください！
AIの活用に関しては以下の記事にもまとめているのでよければご覧ください！
スクレイピングが出来る
スクレイピングとは、Web上のデータを抽出する作業。こちらもPyQで学ぶことが可能です。
スクレイピングを自動的に行えばネットに落ちている様々な情報を一挙に吸い上げることが可能です。
スクレイピングをする上では、インターネットの構造とHTMLやCSSの理解が必要になります。
正直HTML・CSSを0から書ける必要はありません。
クロームのディベロッパーツールを使ってWebブラウザを見ながら構造を勉強するとよいでしょう！
ディベロッパーツールに関しては以下の記事にまとめています！
またスクレイピングすることができるレベルのHTML・CSS・Javascriptを学ぶ本として以下の書籍が超超超名著なので読んでみてください。Kindle版しかないみたい。
「WEBマーケターのためのテクノロジー入門：Webマーケターにとって必要十分なプログラミング・テクノロジーの基礎を解説」
APIを利用できる
世の中にはたくさんのサービスが提供してくれているAPIが存在します。
APIを利用することで自分で0から作り込まなくても様々なことができるんです！
Google search consoleのAPIを叩いてみた記事を以下に挙げています。
データベースを操作できる
Sqlite3というライブラリを使用すればSQLと同様なカタチでデータベース操作を行うことができます。
もちろんSQLの記法が分かっていないといけないので以下の記事も参考にしてみてください。
Webアプリケーションを開発できる
ここがPythonの特徴でもあるのですが、今までサーバーサイド言語を扱ったことのない人にはハードルの高い部分かもしれません。
僕もサーバーサイド言語はノータッチでした。
実際にWebアプリケーションとして落とし込むにはHTML・CSS・Javascriptの知識も必要になってくるので同時に学習しましょう！
このフェイズでもPyQで十分OK！
PyQはまじで優秀なのでPythonを短期間でしっかり勉強したいのなら是非利用しましょう！
PythonにはFlaskというDjangoというWebアプリケーション作成のフレームワークがあるのですがどちらも利用することが可能です。
PyQについては以下の記事で詳しくまとめています！
Pythonを習得するための課題
先ほどのPython習得におけるいくつかの要素。
それらを同時に習得できるプログラムを作っていきましょう！笑
僭越ながら、少し前までPython初心者だった僕でもこんなの作れるんだぞ！という証明も含めて解説していきます。
正直無理やり感ありますが・・・
今回作っていくのは、
Webフォーム上にURLを入力すると、スクレイピングによってテキスト情報を抽出し、そこから形態素解析を行いテキスト類似度を算出し、データベース（これはおまけ）に格納、最終的にフォームに入力したURL同士のテキスト類似度を表示するWebアプリケーション
です。
まさにこれを作れば、先ほどの様々な応用要素が習得でき・・・そう・・・？
ガツンとコードだけ先に載せちゃいます。PythonファイルとHTMLファイルを作成していきます。
いきなり長ったらしいコードが現れましたが、順番に見ていきましょう！
Pythonのスクレイピングを習得
まずは、Pythonでスクレイピングを習得していきます。
スクレイピングを行うにはbeautifulSoupというモジュールを使います。
Pythonにおけるスクレイピングに関して詳細は以下の記事をご覧ください！
スクレイピングの部分だけ抜き出して見ていきます！
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | #スクレイピングして文書加工 class Scr(): def __init__(self, urls): self.urls=urls #スクレイピング def geturl(self): all_text=[] for url in self.urls: r=requests.get(url) c=r.content soup=BeautifulSoup(c,"html.parser") article1_content=soup.find_all("p") temp=[] for con in article1_content: out=con.text temp.append(out) text=''.join(temp) all_text.append(text) sleep(1) return all_text |
スクレイピング用のクラスを作成しています。
article1_content=soup.find_all(“p”)でpタグを指定して抽出しています。ここを変えれば別のタグの中身を抽出することが可能です。
Pythonで形態素解析をしてテキスト類似度計算
続いて、MeCabを使って形態素解析を行い、td-idfとcos類似度を用いてテキスト類似度を算出していきます。
MeCabをPythonで使うには少し設定が必要だったりするのですが、詳しくはこちらの記事をご覧ください。
形態素解析・テキスト類似度の部分だけ抜き出して見ていきます！
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 | #メカブで形態素解析 def mplg(article): word_list = "" m=MeCab.Tagger() m1=m.parse(article) for row in m1.split("\n"): word =row.split("\t")[0]#タブ区切りになっている１つ目を取り出す。ここには形態素が格納されている if word == "EOS": break else: pos = row.split("\t")[1]#タブ区切りになっている2つ目を取り出す。ここには品詞が格納されている slice = pos[:2] if slice == "名詞": word_list = word_list +" "+ word return word_list #文書類似度計算 class CalCos(): def __init__(self,word_list): self.word=word_list #tf-idf＆cos類似度で文書類似度算出 def tfidf(self): docs = np.array(self.word)#Numpyの配列に変換する #単語を配列ベクトル化して、TF-IDFを計算する vecs = TfidfVectorizer( token_pattern=u'(?u)\\b\\w+\\b'#文字列長が 1 の単語を処理対象に含めることを意味します。 ).fit_transform(docs) vecs = vecs.toarray() return vecs def cossim(self,v1,v2): return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2)) |
ここでもそれらのクラスを作成しています。
形態素解析をして得られた結果から名詞だけを抜き出して、助詞等を除いています。
td-idfとcos類似度はnumpyとsklearnを用いれば簡易的に計算することが可能です。
Pythonでデータベースを操作する
続いてはPythonを使ってデータベースを操作していきます。
詳しくは以下の記事にまとめていますのでご覧ください！
データベース操作部分だけ抜き出して見ていきます！
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 | class Db(): def __init__(self,dbname): self.db=dbname def db_input(self,article): #値をデータベースに格納 conn=sqlite3.connect(self.db) c = conn.cursor() # executeメソッドでSQL文を実行する create_table = '''DROP TABLE IF EXISTS article_match; create table article_match (text_1 verchar,text_2 verchar,match_rate double)''' c.executescript(create_table) # SQL文に値をセットする場合は，Pythonのformatメソッドなどは使わずに， # セットしたい場所に?を記述し，executeメソッドの第2引数に?に当てはめる値を # タプルで渡す． sql = 'insert into article_match (text_1, text_2, match_rate) values (?,?,?)' c.execute(sql, article) conn.commit() c.close() conn.close() def db_output(self): #データベースから値を抽出 conn=sqlite3.connect(self.db) c = conn.cursor() select_sql = 'select * from article_match' c.execute(select_sql) match_rate=c.fetchone() conn.commit() c.close() conn.close() return match_rate |
細かい処理が必要なのですが、基本的にはsqlite3.connect（）でデータベースを作成し、executeメソッドでSQLを実行していきます。
PythonでWebアプリケーションを作成
ここの部分が一番重いですね。HTMLも作成するのでPython以外の知識もある程度必要になってきます。
こちらの記事をはじめに読んでいただくと理解が進みやすいと思います。有意差を算出してくれるWebアプリケーションを作成しています。
今回のプログラムで特別行っているところはローディング時にローディングのgif画像を差し込むという処理です。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | /* ローディングGIF */ #loading { position: fixed; top: 0; right: 0; bottom: 0; left: 0; background: rgba(0,0,0,.5); background-image: url(../static/images/325-88.gif); background-repeat: no-repeat; background-attachment: fixed; background-position: center center; background-size: 50px 50px; } |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | $.ajax({ type:'POST', url:'/output', data:textData, contentType:'application/json', //リクエストが完了するまで実行される beforeSend: function(){ $('#loading').removeClass('hide'); }, // 非同期通信が成功したら実行される success:function(data){ $('#loading').addClass('hide'); var result = JSON.parse(data.ResultSet).result; $("#match1").text("類似度は"+result+"%です"); } }); |
これがあるとユーザーにとっては計算中なんだなということが分かり親切ですが、あってもなくても構いません。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 | nc = Flask(__name__) bootstrap = Bootstrap(nc) @nc.route("/") def check(): return render_template('sr_all.html') @nc.route('/output', methods=['POST']) def output(): #json形式でURLを受け取る url1 = request.json['url1'] url2 = request.json['url2'] word_list=[] url=[url1,url2] sc=Scr(url) texts=sc.geturl() for text in texts: word_list.append(mplg(text)) wl=CalCos(word_list) vecs=wl.tfidf() match_rate=wl.cossim(vecs[1],vecs[0]) #DB格納 article = (url[0], url[1], match_rate) dbname = 'article.db' db=Db(dbname) db.db_input(article) match_rate=db.db_output() return_data = {"result":round(match_rate[2]*100,1)} return jsonify(ResultSet=json.dumps(return_data)) |
Flaskを使ってWebアプリケーションを作成する部分は少し複雑ですが、こういうもんだと思って覚えるしかありません。
HTMLとの整合性が合うように命名等気を付けましょう！
これで終了！Flaskを使う場合はpythonファイルと同じディレクトリにtemplatesフォルダを作成し、その中にhtmlファイルを置かないといけないので注意しましょう！
画像ファイルはimgフォルダ、css・jsはstaticフォルダと決まっています。
ちなみに今回はURLでもテキストでもどちらを入力しても判定できるようなUIにしました。
是非、このスクリプトをまねて何かWebアプリケーションを勉強がてら作ってみてください！
Pythonの勉強を進めるおすすめサイト
最後にこれらのPython勉強を進めるおすすめサイトを紹介していきます。
ある程度、本で学ぶこともできますが正直しっかり学ぶならサービスを利用した方が効率が良いです。
何回か登場しているサービスもありますが、最後にまとめておきましょう！
PyQ
| 【価格】 | 3040円/月～ |
|---|---|
| 【オススメ度】 |
PyQはPythonに特化したサービスです。
完全オンライン学習サービスで、定額制で全ての講座を受講することができます。
実際に手を動かすことをかなり重視しているので、楽しくモチベーションを保ちながら進めることが可能です。
インターフェイスが使いやすくてサクサク進められます。
プランはプロに質問ができて過去の質問も閲覧できるスタンダードプランと講座の受講だけできるライトプランがあります。
不安ならスタンダードプランをオススメしますが、ライトプランでも問題なく進められます。
Pythonの勉強してる時いろんな書籍とかProgateとか試したけど、PyQが一番よかったなぁと思う。料金もそんなに高くないし。最短で学びたいならPyQがオススメ
— yukisuzu (@yukisuzu66) January 11, 2020
正直Pythonを素早く身に付けて実装してみたい！かつお金も安く済ませたい！ならPyQ一択です。
以下の記事でPyQの体験を基に詳しくレビューしています。
Udemy
| 【価格】 | 3000円～（コース売り切り型） |
|---|---|
| 【オススメ度】 |
Udemyは様々な専門知識が学べるプラットフォーム！
Pythonに特化したプラットフォームではありませんが、Python関連の講座も大量にあります。
Udemyでは、好きな講座を売り切り価格で購入することができるので自分のレベルに合った講座だけをつまみ食いして勉強することが可能です！
また講座別の評価も明記してあるので、選びやすいです！
PyQでは学ぶことが出来ないディープラーニングなども学ぶことが出来ます。
網羅出来ている範囲は一番広いと言えます。
自分のレベルややりたいことに合わせて受講することが可能なのがいいですねー！
ちなみにコースによってはセール価格で購入できる場合があります！
テックアカデミー
| 【価格】 | 139,000～ |
|---|---|
| 【オススメ度】 |
テックアカデミーは、オンライン学習ですが現役エンジニアのパーソナルメンターがつくので分からないところも解消しやすく独学で進めるよりは圧倒的に進みが早いです。
価格は3か月で239,000円！
価格が高い分お尻に火が付きますが、テックアカデミーは教材のクオリティが低く、ネットで無料で学べるレベルです。
メンターのレベルは非常に高いので自分のやる気さえあれば教材の範囲を超えた内容をガツガツ学ぶことが可能！
僕自身3か月のコースを1か月で終わらせて、応用をガツガツ学んでました。
どちらにせよやる気があって良い意味でメンターを使い倒せる自信があるのであればテックアカデミーは非常にオススメです！
※メンターは変更を願い出れば変えられます。
テックアカデミーのAIコースの先生、超美人！！だけどすごくしっかりしていて、進め方も的確だしこれはかなり力がつくという確信があります
— ayaka@python (@ayakapython) November 28, 2018
Python関連のコースは以下の4つがあります。
・Pythonコース
・はじめてのAIコース
・AIコース
・データサイエンスコース
Pythonが全くのはじめての場合はPythonコースを受講して、その後に画像認識などAIの活用まで踏み込みたいならAIコース、機械学習などを使った予測やデータ分析を深めたいならデータサイエンスコースに移りましょう！
複数コースを並行して学習するセットパックもあります。
テックアカデミーについては以下の記事で体験談をまとめていますので是非チェックしてみてください！
これらのサービス以外にもいくつかPythonを学べるサイトがあります。
以下の記事でより詳細にまとめていますので参考にしてみてください！
おすすめなのはPyQとテックアカデミーのAIコースを3か月間並行して、Udemyも適宜自分に合わせて購入するというもの。
僕の場合、PyQとテックアカデミーを並行して進めながらテックアカデミーのメンターにディープラーニングやRNNそしてWebアプリケーションのデプロイ方法なんかを聞いて自分で進めていました。
Python勉強を挫折しないためには
最後にPython学習を挫折しない方法を少しだけお話しておきましょう。
プログラミング勉強において重要なのは、目的を明確にしておくことです。
なんとなく惰性でプログラミングを勉強しようとしてもそう簡単には上手くいきません。
実際、大学院時代に流行りの手法だからとPythonに取り組んでみましたが結局上手くいかず・・・
今回のように実際に実装したいモノが明確にあれば習得しやすいです。（作りたいモノに対する熱量にもよります）
もし、実装したいモノが特にない場合、ある程度強制的に目標を作ることをオススメします！
強制的に目標を作るにはやはり先ほど紹介したテックアカデミーなどのプログラミングスクールに通うことをオススメします！
基本的にはオンライン学習コンテンツを進めていくものになりますが、現役エンジニアのメンターがついて分からないことは素早く対応してくれます。
正直かなりの大金を払うことになるのでやらざるを得ない状況に追い込まれますしメンターチェックが入るのでお尻に火がつきます。AIコースを受講しましたが割と大変でした・・・
教材のレベルというよりメンタリングにお金を払っているイメージです。
プログラミングを習得するのにオススメな方法について以下の記事でまとめています！
Pythonを習得する勉強法 まとめ
長々と書いてきましたが、結局のところPythonは手段でしかないので目的がないと習得もクソもありません。
PyQ等である程度の基礎知識を付けた後は、自分で実装したいと思うWebアプリケーションを作ってみると良いでしょう。
今回紹介したWebアプリケーションをマネて何か作るもよし、強制力を付けるためにテックアカデミーなどのプログラミングスクールに通うもよし！
それは人それぞれ！
ただ必ずPythonを使って何を達成したいのかは念頭においておくようにしましょう！
Pythonを使うと様々なことができます。しかしどんなことをやりたいかという明確な目的がないと勉強は捗りません。
Pythonを習得するためのロードマップをまとめましたのでぜひチェックしてみてくださいね！
