深層強化学習による
EV企画 自動設計

EV企画設計において設計変数の自動探索を可能とする強化学習の実践技術を開発しました。車輌Energy効率、Packagingに関する設計計算式の入出力にNeural Networkを設定し、DQN, Monte Carlo決定木、A3C AlgorithmによってNetwork重みparameterの学習を行った結果、熟練者よりも遥かに多くの閾値到達Dataが得られ、統計分析から適切な変数幅が明らかになりました。複数の評価値に対するTradeoff相関も定量化されます。論理式を用いた強化学習の実践を提案します。

AIによる設計の結果

強化学習で用いたA3Cは価値関数、政策関数を用いて学習を進めるため、優先度の異なる解を求めることが容易です。Fig.4に代表的な例を示します。Priority-A,Bの主な違いはRear席の居住性と荷室長のどちらを優先するかでです。同時にRoof下がり角、全長も影響を受けて変わります。

Reference

1. V. Mnih: Asynchronous Methods for Deep Reinforcement Learning, ICML arXiv:1602.01783 (2016)
2. V. Mnih: Human-level control through deep reinforcement learning, nature142236, NATURE VOL518 (2015)
3. V. Mnih: Playing Atari with Deep Reinforcement Learning, NIPS arXiv:1312.5602v1 (2013)
4. H. van Hasselt: Deep Reinforcement Learning with Double Q-learning, AAAI arXiv:1509.06461 (2016)
5. David Silver: Mastering the game of Go without human knowledge, nature24270 NATURE VOL550 (2017)
6. David Silver: Mastering the game of Go with deep neural networks and tree search, nature16961 NATURE VOL529 (2016)
7. James Bergstra: Random Search for Hyper-Parameter Optimization, Journal of Machine Learning Research 13 (2012)
8. Csaba Szepesvari: Algorithm of Reinforcement Learning, Kyoritsu Publishing, (2017)
9. T. Makino: Korekarano Reinforcement Learning, Morikita publishing, (2016)
10. Richard S.Sutton: Reinforcement Learning, Morikita publishing, (2000)
11. K. Fujita, A.Takahara: Jissen Deep Learning, Chapter 6: Reinforcement Learning, Ohmsha, p.185-210 (2016)

12. Josh Patterson: Deep Learning A Practitioner’s Approach, Chapter1-Chapter3, O’Reilly Media, p.1-403(2017)
13. Y. Sugumori: Shokai Deep Learning, Chapter2 to 4, MyNavi publishing, p.023-208(2017)
14. Y. Sugumori: Deep Learning Java programming, Chapter 1 to 7, Packt publishing, p.1-229 (2016)
15. Y. Saito: Deep Learning – Python, O’Reilly Japan, p.1-320 (2016)
16. Henrik B.: Machine Learning, Part I: Base of Work flow, Impress corporation, p.415-2820 (2017)
17. K. Otsuki: Alpha GO kaitai shinsho, Chapter 1 to 3, Shoeisha, p.276-1955 (2017)
18. H. Hachiya: Tsuyokunaru Robotic player no Tsukurikata, Chapter 1 to 7, Mainichi communications, p.1-138 (2008)
19. N. Shimada: Chainer with Deep Learning, Gijyutsu Hyoron, (2017)
20. T. RASHID: Make Your Own Neural Network Part 1 to 3, Amazon Service International, p.1-222 (2016)
21. Md. Rezaul Karim: Scala Machine Learning Projects, Part7: Q-Learning, Part8: Deep Neural Networks, Packt Publishing, p.3942-5273, (2018)
22. Paul Chiusano: Scala Functional type design & programming, Part1-13,Impress corporation, p.1-314(2015)
23. Y. Yamamoto: IntelliJ IDEA Hands on, Chapter 1 to 8, Gijyutsu Hyoron, p.299-2697 (2017)