内容概要

多くの機械学習手法はライブラリ化され、データを与えれば比較的容易に人工知能を実現できるようになっています。
一方で、そのライブラリ化された手法のパラメータの意味は「その手法の理論・数式」がわかっていなければ、適切に扱うことができません。ライブラリを自在に扱うためには、「ライブラリが裏でやってくれる計算・理論」を理解しておくことが重要になってきます。

今回は、『最適化』を取り上げます。ディープラーニングをはじめとする多くの機械学習手法は、最適化問題と呼ばれる問題を解けば良いことが知られております（機械学習はなんらかの関数を定義して、それを最適化することがほとんどです）。そのため最適化問題の理論を理解できれば、機械学習の様々な理論を効果的に習得することに繋がります。

本講座では特に、回帰分析やサポートベクタマシンの学習などで現れる「凸最適化理論」に焦点を当て、解説いたします。計5時間の講座の中で、演習問題を交えながら凸最適化の理論を解説し、機械学習のより一層の理解を目指します。

講座で得られること

回帰分析やサポートベクタマシン、ディープラーニングの学習で現れる最適化問題を解説いたします。より具体的には凸最適化理論の世界的名著[1] の 2~6 章を機械学習に関連させて解説いたします。
[1] S.Boyd and L.Vandenberghe “Convex Optimization,” Cambridge University Press, 2004.

英語版はウェブ上に無料公開されております。
http://stanford.edu/~boyd/cvxbook/

受付・入場時間

開始の10分前から

カリキュラム

０．導入
- 凸最適化とは
- 機械学習での最適化問題の例
- 最適化問題とその用語
- 凸集合・凸関数
- 凸最適化問題

１．最小二乗法（回帰直線を例に）
- 目的関数の導出
- 正規方程式
- 最小二乗法の幾何学的意味*
- 最小二乗法の数値計算法*

２．凸２次計画問題（サポートベクタマシンを例に）
- 目的関数・制約条件の導出
- ラグランジュ関数
- KKT条件
- サポートベクタマシンの性質の考察*
- 双対理論*

３．正則化（Lassoを例に）
- 元々のモチベーション
- l0/l1, l2正則化

４．計算法（勾配法）
- 勾配法の導出
- 確率的勾配降下法
- ニューラルネットワークの学習（凸でない最適化問題への応用）

*は時間の都合上、割愛させていただく可能性があります。

対象者

・微分や行列を計算し、機械学習の手法をより理解したい方
・ライブラリのパラメータの意味を理論的に理解したい方

前提知識

・スキルアップAIの講座「微分」・「線形代数」を受講していること
・もしくは、修了相当の知識を有していること（カリキュラムの項目を見てご確認ください。https://www.skillupai.com/math）

講師

S Saito

横浜国立大学大学院在籍．高専時代に画像認識に対して興味を持ったことがきっかけで，現在ではDeep Learningや機械学習，進化計算などの人工知能分野のアルゴリズム研究開発に従事．日本ディープラーニング協会の2018年度G検定 合格者

会場へのアクセス方法

週末はビル正面玄関が閉まっているため、開始10分前より随時内側から開錠いたします。
ビル正面玄関前でお待ちいただきますようお願い致します。
https://imgur.com/a/XteLG

遅刻される方は、入り口に着かれましたら、skillupai.tokyo@gmail.comまでご連絡ください。
スタッフがお迎えに行きます。

ビル館内では飲食物の購入はできませんので、飲食物は事前に購入の上、ご来場ください。

講座中（休憩時間など）にビル外に外出される際は、スタッフまでお声がけください。
また携帯をご持参頂き、お戻りの時間をskillupai.tokyo@gmail.comまでご連絡ください。
ビル正面玄関へ、スタッフがお迎えに上がります。

当日のお持物

ご自身のノートPC（あると資料を眺めながら受講いただけます）
筆記用具・紙5枚程度

講座までの準備

なし

領収書

【Paypalでお支払いの場合】
PayPal発行の受領書が領収書となります。
受領書ページは、PayPalの支払い完了ページで「印刷用受領書を見る」をクリックすると表示されます。
（当社よりの重複しての領収書発行は行えません)

備考

• 長時間ですので、ところどころ休憩を挟みます
• 勉強会内容を撮影もしくは録音することは、ご遠慮ください
• 個人ブログへの記述については、良識の範囲内でお願いいたします
• 講義コンテンツは全てスキルアップAIに帰属していますので、複製はご遠慮ください

運営団体

https://www.skillupai.com