Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Phương pháp không đơn điệu giống như ODE cho tối ưu hóa lồi không mịn
Tóm tắt
Dựa trên quy định Moreau–Yosida và một kỹ thuật tìm kiếm đường không đơn điệu được sửa đổi, bài báo này trình bày một phương pháp có thể triển khai giống như phương trình vi phân thông thường để giải quyết một bài toán tối thiểu lồi có thể không khả vi bằng cách chuyển đổi hàm mục tiêu gốc thành một hàm khả vi liên tục một lần. Phương pháp đề xuất sử dụng các giá trị hàm và độ dốc xấp xỉ của quy định Moreau–Yosida thay vì các giá trị chính xác tương ứng. Dưới một số điều kiện hợp lý, phương pháp đề xuất được chứng minh là hội tụ toàn cục và siêu tỷ lệ. Một số kết quả số liệu sơ bộ cũng được báo cáo để cho thấy hiệu quả của phương pháp đề xuất.
Từ khóa
#tối ưu hóa lồi #không mịn #phương pháp vi phân thông thường #hội tụ toàn cụcTài liệu tham khảo
Hiriart-Urruty, J.B., Lemaréchal, C.: Convex Analysis and Minimization Algorithms II. Springer, Berlin (1993)
Qi, L.Q.: Convergence analysis of some algorithms for solving nonsmooth equations. Math. Oper. Res. 18, 227–244 (1993)
Mifflin, R.: A quasi-second-order proximal bundle algorithm. Math. Prog. 73, 51–72 (1996)
Lemarechal, C., Sagastizabal, C.: Practical aspects of the Moreau–Yosida regularization, I: theoretical preliminaries. SIAM J. Optim. 7, 367–385 (1997)
Bonnans, J.F., Gilbert, J.C., Lemarechal, C., Sagastizabal, C.: A family of variable-metric proximal methods. Math. Prog. 68, 15–47 (1995)
Fukushima, M., Qi, L.Q.: A globally and superlinearly convergent algorithm for nonsmooth convex minimization. SIAM J. Optim. 4, 1106–1120 (1996)
Rauf, A.I., Fukushima, M.: A globally convergent BFGS method for nonsmooth convex optimization. J. Optim. Theory Appl. 104, 539–558 (2000)
Burke, J.V., Qian, M.: On the superlinear convergence of the variable metric proximal point algorithm using Broyden and BFGF matrix secant updating. Math. Prog. 88, 157–181 (2000)
Chen, X., Fukushima, M.: Proximal quasi-Newton methods for nondifferentiable convex optimization. Math. Prog. 85, 313–334 (1999)
Shen, J., Pang, L.P., Li, D.: An approximate quasi-Newton bundle-type method for nonsmooth optimization, Abstract and Applied Analysis. Published online (2013). doi:10.1155/2013/697474
Sagara, N., Fukushima, M.: A trust region method for nonsmooth convex optimization. J. Ind. Manag. Optim. 1, 171–180 (2005)
Lu, S., Wei, Z.X., Li, L.: A trust region algorithm with adaptive cubic regularization methods for nonsmooth convex minimization. Comput. Optim. Appl. 51, 551–573 (2012)
Zhang, L.P.: A new trust region algorithm for nonsmooth convex minimization. Appl. Math. Comput. 193, 135–142 (2007)
Yuan, G.L., Wei, Z.X., Wang, Z.X.: Gradient trust region algorithm with limited memory BFGS update for nonsmooth convex minization. Comput. Optim. Appl. 54, 45–64 (2013)
Li, Q.: Conjugate gradient type methods for the nondifferentiable convex minimization. Optim. Lett. 7, 533–545 (2013)
Haarala, M., Miettinen, K., Mäkelä, M.M.: Globally convergent limited memory bundle method for large-scale nonsmooth optimization. Math. Prog. 109, 181–205 (2007)
Yuan, G.L., Wei, Z.X., Li, G.Y.: A modified Polak-Ribière–Polyak conjugate gradient algorithm for nonsmooth convex programs. J. Comput. Appl. Math. 255, 86–96 (2014)
Yuan, G.L., Wei, Z.X.: The Barzilai and Borwein gradient method with nonmonotone line search for nonsmooth convex optimization problems. Math. Model. Anal. 17, 203–216 (2012)
Liao, L.Z., Qi, H.D., Qi, L.Q.: Neurodynamical optimization. J. Glob. Optim. 28, 175–195 (2004)
Brown, A.A., Biggs, M.C.: Some effective methods for unconstrained optimization based on the solution of system of ordinary differentiable equations. J. Optim. Theorem Appl. 62, 211–224 (1989)
Han, L.X.: On the convergence properties of an ODE algorithm for unconstrained optimization. Math. Numer. Sin. 15, 449–455 (1993)
Higham, D.J.: Trust region algorithms and timestep selection. SIAM J. Numer. Anal. 37, 194–210 (1999)
Zhang, L.H., Kelley, C.T., Liao, L.Z.: A continuous Newton-type method for unconstrained optimization. Pacific J. Optim. 4, 259–277 (2008)
Luo, X.L., Kelley, C.T., Liao, L.Z., Tam, H.W.: Combining trust-region techniques and rosenbrock methods to compute stationary points. J. Optim. Theorem Appl. 140, 265–286 (2009)
Ou, Y.G.: A hybrid trust region algorithm for unconstrained optimization. Appl. Numer. Math. 61, 900–909 (2011)
Deng, N.Y., Xiao, Y., Zhou, F.J.: Nonmonotone trust region algorithm. J. Optim. Theory Appl. 76, 259–285 (1993)
Dai, Y.H.: On the nonmonotone line search. J. Optim. Theory Appl. 112, 315–330 (2002)
Grippo, L., Lampariello, F., Lucidi, S.: A nonmonotone line search technique for Newton’s method. SIAM J. Numer. Anal. 23, 707–716 (1986)
Sun, W.Y.: Nonmonotone trust region method for solving optimization problems. Appl. Math. Comput. 156, 159–174 (2004)
Toint, PhL: An assessment of nonmonotone line search techniques for unconstrained optimization. SIAM J. Sci. Comput. 17, 725–739 (1996)
Zhang, H.C., Hager, W.W.: A nonmonotone line search technique and its application to unconstrained optimization. SIAM J. Optim. 14, 1043–1056 (2004)
Gu, N.Z., Mo, J.T.: Incorporating nonmonotone strategies into the trust region method for unconstrained optimization. Comput. Math. Appl. 55, 2158–2172 (2008)
Ou, Y.G.: A nonmonotone ODE-based nonmonotone method for unconstrained optimization problems. J. Appl. Math. Comput. 42, 351–369 (2013)
Ahookhosh, M., Amini, K.: A nonmonotone trust-region line search method for unconstrained optimization. Appl. Math. Model. 36, 478–487 (2012)
Facchinei, F., Lucidi, S.: Nonmonotone bundle-type scheme for convex nonsmmooth minimization. J. Optim. Theorem Appl. 76, 241–257 (1993)
Clarke, F.H.: Optimization and Nonsmooth Analysis. John Wiley & Sons, New York (1983)
Fukushima, M.: A descent algorithm for nonsmooth convex optimization. Math. Prog. 30, 163–175 (1984)
Auslender, A.: Numerical methods for nondifferentiable convex optimization. Math. Prog. Stud. 30, 102–126 (1987)
Grippo, L., Sciandrone, M.: Nonmonotone globalization techniques for the Barzilai–Borwein gradient method. Comput. Optim. Appl. 23, 143–169 (2002)
Mäkelä, M.M., Neittaanmäki, P.: Nonsmooth Optimization. World Scientific, London (1992)
Lukšan, L., Vlček, J.: A bundle-Newton method for nonsmooth unconstrained minimization. Math. Prog. 83, 373–391 (1998)
Dolan, E.D., More, J.J.: Benchmarking optimization software with performance profiles. Math. Prog. Ser. A 91, 201–213 (2002)