Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Lập lịch ổn định và đáng tin cậy trong các xưởng dòng động dựa trên học tăng cường sâu
Journal of Intelligent Manufacturing - Trang 1-20 - 2022
Tóm tắt
Nghiên cứu thử nghiệm này cung cấp một phương pháp mới cho việc lập lịch ổn định và đáng tin cậy trong các xưởng dòng động dựa trên học tăng cường sâu (DRL) được triển khai với các khung công tác của OpenAI. Trong các môi trường sản xuất thực tế, các sự kiện động có thể đe dọa các lịch trình cơ bản, điều này có thể đòi hỏi việc lập lại lịch trình tốn kém. Đã có nhiều nghiên cứu sâu rộng về các phương pháp tạo ra lịch trình cơ bản chủ động để hấp thụ trước các trường hợp không chắc chắn và trong việc cân bằng các chỉ số đối kháng giữa tính ổn định và độ tin cậy. Các nghiên cứu gần đây đã trình bày các phương pháp chính xác và heuristic dựa trên các thí nghiệm Monte Carlo (MCE), cả hai đều tốn nhiều tài nguyên tính toán. Hơn nữa, các phương pháp dựa trên các chỉ số thay thế đã được đề xuất, mà không xem xét rõ ràng các thông số không chắc chắn và các chỉ số độ tin cậy. Thật ngạc nhiên, DRL vẫn chưa được nghiên cứu một cách khoa học để tạo ra các lịch trình ổn định và đáng tin cậy trong giai đoạn chủ động của lập kế hoạch sản xuất. Đóng góp của bài báo này là đề xuất về cách DRL có thể được áp dụng để điều chỉnh thời gian nhàn rỗi của các hoạt động bằng cách kéo dài hoặc rút ngắn thời gian thực hiện kế hoạch. Phương pháp này được chứng minh bằng cách sử dụng các trường hợp xưởng dòng khác nhau với thời gian xử lý không chắc chắn, sự cố máy ngẫu nhiên và thời gian sửa chữa không chắc chắn. Thông qua một nghiên cứu tính toán, chúng tôi phát hiện rằng các tác nhân DRL đạt khoảng 98% chất lượng kết quả nhưng chỉ mất khoảng 2% thời gian so với các thuật toán metaheuristics truyền thống. Đây là một lợi thế hứa hẹn cho việc sử dụng trong các môi trường thời gian thực và hỗ trợ ý tưởng cải tiến các phương pháp lập lịch chủ động bằng kỹ thuật dựa trên học máy.
Từ khóa
#lập lịch #học tăng cường sâu #xưởng dòng #độ tin cậy #ổn định #lập kế hoạch sản xuấtTài liệu tham khảo
Al-Behadili, M., Ouelhadj, D., & Jones, D. (2019). Multi-objective biased randomised iterated greedy for robust permutation flow shop scheduling problem under disturbances. Journal of the Operational Research Society, 71(11), 1847–1859. https://doi.org/10.1080/01605682.2019.1630330
Bougeret, M., Pessoa, A. A., & Poss, M. (2019). Robust scheduling with budgeted uncertainty. Discrete Applied Mathematics, 261, 93–107. https://doi.org/10.1016/j.dam.2018.07.001
Davenport, A. J., Gefflot, C. & Beck, J. C. (2001). Slack-based techniques for robust schedules. In Proceedings of the sixth european conference on planning (ECP-2001).
de Vonder, S. V., Demeulemeester, E., & Herroelen, W. (2007). A classification of predictive-reactive project scheduling procedures. Journal of Scheduling, 10(3), 195–207. https://doi.org/10.1007/s10951-007-0011-2
Ding, Z., Hernandez-Leal, P., Ding, G. W., Li, C., & Huang, R. (2020). arXiv:2011.07553.
François-Lavet, V., Henderson, P., Islam, R., Bellemare, M. G., & Pineau, J. (2018). An introduction to deep reinforcement learning. Foundations and Trends® in Machine Learning, 11(3–4), 219–354. https://doi.org/10.1561/2200000071
Gonzalez-Neira, E. M., Montoya-Torres, J. R., & Jimenez, J.-F. (2021). A multicriteria simheuristic approach for solving a stochastic permutation flow shop scheduling problem. Algorithms, 14(7), 210. https://doi.org/10.3390/a14070210
Goren, S., & Sabuncuoglu, I. (2008). Robustness and stability measures for scheduling: Single-machine environment. IIE Transactions, 40(1), 66–83. https://doi.org/10.1080/07408170701283198
Goren, S., Sabuncuoglu, I., & Koc, U. (2011). Optimization of schedule stability and efficiency under processing time variability and random machine breakdowns in a job shop environment. Naval Research Logistics (NRL), 59(1), 26–38. https://doi.org/10.1002/nav.20488
Hatami, S., Calvet, L., Fernandez-Viagas, V., Framinan, J. M., & Juan, A. A. (2018). A simheuristic algorithm to set up starting times in the stochastic parallel flowshop problem. Simulation Modelling Practice and Theory, 86, 55–71. https://doi.org/10.1016/j.simpat.2018.04.005
Jacoboni, C., & Lugli, P. (1989). The Monte Carlo method for semiconductor device simulation. Springer Vienna. https://doi.org/10.1007/978-3-7091-6963-6
Jafari, H., Ghaderi, H., Malik, M., & Bernardes, E. (2022). The effects of supply chain flexibility on customer responsiveness: The moderating role of innovation orientation. Production Planning & Control. https://doi.org/10.1080/09537287.2022.2028030
Jorge Leon, V., David Wu, S., & Storer, R. H. (1994). Robustness measures and robust scheduling for job shops. IIE Transactions, 26(5), 32–43. https://doi.org/10.1080/07408179408966626
Juan, A. A., Barrios, B. B., Vallada, E., Riera, D., & Jorba, J. (2014). A simheuristic algorithm for solving the permutation flow shop problem with stochastic processing times. Simulation Modelling Practice and Theory, 46, 101–117. https://doi.org/10.1016/j.simpat.2014.02.005
Juan, A. A., Faulin, J., Grasman, S. E., Rabe, M., & Figueira, G. (2015). A review of simheuristics: Extending metaheuristics to deal with stochastic combinatorial optimization problems. Operations Research Perspectives, 2, 62–72. https://doi.org/10.1016/j.orp.2015.03.001
Kardos, C., Laflamme, C., Gallina, V., & Sihn, W. (2021). Dynamic scheduling in a job-shop production system with reinforcement learning. Procedia CIRP, 97, 104–109. https://doi.org/10.1016/j.procir.2020.05.210
Kenworthy, L., Nayak, S., Chin, C., & Balakrishnan, H. (2021). NICE: Robust scheduling through reinforcement learning-guided integer programming.arXiv:2109.12171.
Liu, C.-L., Chang, C.-C., & Tseng, C.-J. (2020). Actor-critic deep reinforcement learning for solving job shop scheduling problems. IEEE Access, 8, 71752–71762. https://doi.org/10.1109/access.2020.2987820
Liu, F., Wang, S., Hong, Y., & Yue, X. (2017). On the robust and stable flowshop scheduling under stochastic and dynamic disruptions. IEEE Transactions on Engineering Management, 64(4), 539–553. https://doi.org/10.1109/tem.2017.2712611
Mailliez, M., Battaïa, O., & Roy, R. N. (2021). Scheduling and rescheduling operations using decision support systems: Insights from emotional influences on decision-making. Frontiers in Neuroergonomics. https://doi.org/10.3389/fnrgo.2021.586532
Minguillon, F. E., & Stricker, N. (2020). Robust predictive—Reactive scheduling and its effect on machine disturbance mitigation. CIRP Annals, 69(1), 401–404. https://doi.org/10.1016/j.cirp.2020.03.019
Mnih, V., Badia, A. P., Mirza, M., Graves, A., Lillicrap, T. P., Harley, T., Silver, D., & Kavukcuoglu, K. (2016). Asynchronous methods for deep reinforcement learning.arXiv:1602.01783.
Monostori, J. (2018). Supply chains robustness: Challenges and opportunities. Procedia CIRP, 67, 110–115. https://doi.org/10.1016/j.procir.2017.12.185
Morales, E. F., & Zaragoza, J. H. (2012). An introduction to reinforcement learning. Decision theory models for applications in artificial intelligence (pp. 63–80). IGI Global. https://doi.org/10.4018/978-1-60960-165-2.ch004
Moratori, P., Petrovic, S., & Vazquez-Rodriguez, J. A. (2010). Fuzzy approaches for robust job shop rescheduling. In International conference on fuzzy systems. IEEE. https://doi.org/10.1109/fuzzy.2010.5584722.
Naderi, B., & Ruiz, R. (2010). The distributed permutation flowshop scheduling problem. Computers & Operations Research, 37(4), 754–768. https://doi.org/10.1016/j.cor.2009.06.019
Negri, E., Pandhare, V., Cattaneo, L., Singh, J., Macchi, M., & Lee, J. (2020). Field-synchronized digital twin framework for production scheduling with uncertainty. Journal of Intelligent Manufacturing, 32(4), 1207–1228. https://doi.org/10.1007/s10845-020-01685-9
OpenAI. (2022a). Getting started with gym.https://gym.openai.com/docs/. Accessed May 24, 2022.
OpenAI. (2022b). OpenAI baselines: ACKTR & A2C.https://openai.com/blog/baselines-acktr-a2c/. Accessed May 24, 2022.
OpenAI. (2022c). Proximal policy optimization.https://openai.com/blog/openai-baselines-ppo/. Accessed May 24, 2022.
Park, K. T., Jeon, S.-W., & Noh, S. D. (2021). Digital twin application with horizontal coordination for reinforcement-learning-based production control in a re-entrant job shop. International Journal of Production Research. https://doi.org/10.1080/00207543.2021.1884309
Rahmani, D., & Heydari, M. (2014). Robust and stable flow shop scheduling with unexpected arrivals of new jobs and uncertain processing times. Journal of Manufacturing Systems, 33(1), 84–92. https://doi.org/10.1016/j.jmsy.2013.03.004
Salmasnia, A., Khatami, M., Kazemzadeh, R. B., & Zegordi, S. H. (2014). Bi-objective single machine scheduling problem with stochastic processing times. TOP, 23(1), 275–297. https://doi.org/10.1007/s11750-014-0337-9
Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms.arXiv:1707.06347.
Shahrabi, J., Adibi, M. A., & Mahootchi, M. (2017). A reinforcement learning approach to parameter estimation in dynamic job shop scheduling. Computers & Industrial Engineering, 110, 75–82. https://doi.org/10.1016/j.cie.2017.05.026
Shen, X.-N., Han, Y., & Fu, J.-Z. (2016). Robustness measures and robust scheduling for multi-objective stochastic flexible job shop scheduling problems. Soft Computing, 21(21), 6531–6554. https://doi.org/10.1007/s00500-016-2245-4
Soofi, P., Yazdani, M., Amiri, M., & Adibi, M. A. (2021). Robust fuzzy-stochastic programming model and meta-heuristic algorithms for dual-resource constrained flexible job-shop scheduling problem under machine breakdown. IEEE Access, 9, 155740–155762. https://doi.org/10.1109/access.2021.3126820
Stable-Baselines3. (2022). Reliable reinforcement learning implementations.https://stable-baselines3.readthedocs.io. Accessed May 24, 2022.
Su, X., Han, W., Wu, Y., Zhang, Y., & Liu, J. (2018). A proactive robust scheduling method for aircraft carrier flight deck operations with stochastic durations. Complexity, 2018, 1–38. https://doi.org/10.1155/2018/6932985
Sundstrom, N., Wigstrom, O., & Lennartson, B. (2017). Conflict between energy, stability, and robustness in production schedules. IEEE Transactions on Automation Science and Engineering, 14(2), 658–668. https://doi.org/10.1109/tase.2016.2643621
Taillard, E. (1993). Benchmarks for basic scheduling problems. European Journal of Operational Research, 64(2), 278–285. https://doi.org/10.1016/0377-2217(93)90182-m
Vieira, G. E., Kück, M., Frazzon, E., & Freitag, M. (2017). Evaluating the robustness of production schedules using discrete-event simulation. IFAC-PapersOnLine, 50(1), 7953–7958. https://doi.org/10.1016/j.ifacol.2017.08.896
Wang, H., Sarker, B. R., Li, J., & Li, J. (2020). Adaptive scheduling for assembly job shop with uncertain assembly times based on dual q-learning. International Journal of Production Research, 59(19), 5867–5883. https://doi.org/10.1080/00207543.2020.1794075
Wang, W., Gao, C., & Shi, L. (2022). Robust optimization on unrelated parallel machine scheduling with setup times. IEEE Transactions on Automation Science and Engineering. https://doi.org/10.1109/tase.2022.3151611
Wu, C.-C., Gupta, J. N. D., Cheng, S.-R., Lin, B. M. T., Yip, S.-H., & Lin, W.-C. (2020). Robust scheduling for a two-stage assembly shop with scenario-dependent processing times. International Journal of Production Research, 59(17), 5372–5387. https://doi.org/10.1080/00207543.2020.1778208
Xiao, S., Sun, S., & Jin, J. (2017). Surrogate measures for the robust scheduling of stochastic job shop scheduling problems. Energies, 10(4), 543. https://doi.org/10.3390/en10040543
Xiao, S., Wu, Z., & Yu, S. (2019). A two-stage assignment strategy for the robust scheduling of dual-resource constrained stochastic job shop scheduling problems. IFAC-PapersOnLine, 52(13), 421–426. https://doi.org/10.1016/j.ifacol.2019.11.092
Xiong, J., Ning Xing, L., & Wu Chen, Y. (2013). Robust scheduling for multi-objective flexible job-shop problems with random machine breakdowns. International Journal of Production Economics, 141(1), 112–126. https://doi.org/10.1016/j.ijpe.2012.04.015
Yu, V. F., Maulidin, A., Redi, A. A. N. P., Lin, S.-W., & Yang, C.-L. (2021). Simulated annealing with restart strategy for the path cover problem with time windows. Mathematics, 9(14), 1625. https://doi.org/10.3390/math9141625