МОДЕЛЮВАННЯ РОЗШИРЕНОГО АЛГОРИТМУ CMA-ES НА БАЗІ СУМIШЕЙ НОРМАЛЬНИХ РОЗПОДIЛIВ - Scientific conference
Main page
UA RU EN

Congratulation from Internet Conference!

Hello

Рік заснування видання - 2011

МОДЕЛЮВАННЯ РОЗШИРЕНОГО АЛГОРИТМУ CMA-ES НА БАЗІ СУМIШЕЙ НОРМАЛЬНИХ РОЗПОДIЛIВ

04.09.2023 19:19

[1. Information systems and technologies]

Author: Малик Ігор Володимирович, доктор фізико-математичних наук, професор, Чернівецький національний університет ім. Ю. Федьковича, Чернівці; Літвінчук Юлія Анатоліївна, аспірант, Чернівецький національний університет ім. Ю. Федьковича, Чернівці




ORCID: 0000-0002-5277-0109 Yuliia Litvinchuk

Коваріаційна матриця стратегії еволюції адаптації (Covariance matrix adaptation, CMA-ES) один із кращих методів оптимізації гіперпараметрів нейронної мережі. CMA-ES є сучасним еволюційним алгоритмом, який досить добре працює для великої кількості параметрів [1]. Даний алгоритм являється більш потужнішим в порівнянні з Байєсiвською оптимiзацiєю [2], пошуком в сітці, випаковим пошуком та має деякi кориснi властивостi iнварiантностi. Суть даного методу полягає у перерахунку  коварiацiйної матрицi розподiлiв гiперпараметрiв мiж епохами еволюцiйного алгоритму з подальшим вибором параметрiв та врахуванням даної матрицi. 

Однак, недолiком методу CMA-ES є те, що припускається однопiковiсть щiльностi розподiлу гiперпараметрiв. Та на практицi у великій кількості оптимізаційних задач цiльова функцiя не є однопiковою, що приводить до збiльшення областi пошуку та включення в область пошуку генетичного алгоритму область зi значеннями, що значно вiдрiзняються вiд локальних екстремумів. 

У зв’язку з цим запропоновано розширенний CMA-ES алгоритм, що використовує багатопiковi моделi на базі сумiшей нормальних розподiлiв [3, 4]





де p(x|μs;θs) – щільність багатовимірного нормального розподілу з Rd та параметрами (μs;θs) [5].   

Нехай P(θ; X1:k,y1:k) – розподiл гiперпараметрiв нейронної мережi на основi значень цiльової функцiї, отриманої на основi k епох, де Xk – значення гiперпараметрiв на k-му кроцi, yk  – значення цiльової функцiї на k-му кроцi. Розглянемо новий алгоритм еволюцiйної стратегiї на основi розширеного CMA- ES, який можна описати наступними кроками:

1)Визначення областi змiни гiперпараметрiв (a0), розмiрностi сумiшi (n), кiлькостi генiв в генетичному алгоритмi (N), точностi методу (ε).

2)Задання випадковим чином (π(0),µ(0),θ(0)).

3)Вибiр N генiв Xk згiдно розподiлу (1) та обчислень значень цiльової функцiї yk.

4)Перерахунок параметрiв (π(k+1),µ(k+1),θ(k+1)) на основi ЕМ-алгоритму [6].

5)Якщо задовольняється умова виходу |L(k+1) - Lk | < ε то перейти до виконання генетичного алгоритму на основi розподiлу гiперпараметрiв з розподiлом  p(θ)=P(θ; X(1:k),y(1:k)). Якщо, |L(k+1)  - Lk | < ε то перейти до кроку 3.

На практиці розширений CMA-ES алгоритм для оцiнки гiперпараметрiв складних систем у порівнянні з генетичними алгоритмами [7] ABCO, GA, PSO показав високу продуктивність (рис. 1).






Рис. 1. Графік залежності продуктивності генетичних алгоритмів 

Література 

1.Ilya Loshchilov , Frank Hutter.  CMA-ES for Hyperparameter Optimization of Deep Neural Networks. arXiv:1604.07269v1 [cs.NE] 25 Apr 2016. – 9p.

2.Snoek J., Rippel O., Swersky K., Kiros R., Satish N., Sundaram N., Patwary M., Ali M., Adams R., et al. Scalable bayesian optimization using deep neural networks. arXiv preprint arXiv:1502.05700, 2015

3.Benyamin Ghojogh, Aydin Ghojogh, Mark Crowley, Fakhri Karray. Fitting A Mixture Distribution to Data: Tutorial. arXiv:1901.06708v2 [stat.OT] 11 Oct 2020. – 12p.

4.Lee, Gyemin and Scott, Clayton. Em algorithms for multivariate gaussian mixture models with truncated and censored data. Computational Statistics & Data Analysis, 56(9):2816–2829, 2012. – 13p.

5.Litvinchuk, Y. і Malyk, I. 2023. Розширений алгоритм стратегiї еволюцiї адаптацiї коварiацiйної матрицї. Буковинський математичний журнал. 10, 2 (Січ 2023), 137-143. DOI:https://doi.org/10.31861/bmj2022.02.09.

6.Малик Ігор Володимирович, Літвінчук Юлія Анатоліївна. Побудова еволюційної стратегії на основі сумішей. Інформаційне суспільство: технологічні, економічні та технічні аспекти становлення (випуск 70): 22-23 вересня 2022 р., с. 55-57. http://www.konferenciaonline.org.ua/ua/article/id-656/

7.Venkatesan D., Kannan K., Saravanan R. A genetic algorithm-based artifiial neural network model for the optimization of machining processes. Neural Computing and Applications. February. 2009. 7p.



Creative Commons Attribution Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
допомога Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter

Another articles in this section

Сonferences

Conference 2024

Conference 2023

Conference 2022

Conference 2021



Міжнародна інтернет-конференція з економіки, інформаційних систем і технологій, психології та педагогіки

Наукова спільнота - інтернет конференції

:: LEX-LINE :: Юридична лінія

Інформаційне суспільство: технологічні, економічні та технічні аспекти становлення