Journal of Platform Technology

ICT Platform Society (ICT플랫폼학회)
권호 표지

Construction of Incremental Federated Learning System using Flower

Flower을 사용한 점진적 연합학습시스템 구성

  • Received : 2023.07.26
  • Accepted : 2023.08.21
  • Published : 2023.08.31
Download PDF
⟨ Previous Next ⟩

Abstract

To construct a learning model in the field of artificial intelligence, a dataset should be collected and be delivered to the central server where the learning model is constructed. Federated learning is a machine learning method building a global learning model without transmitting data located in a client side in a collaborative manner. It can be used to protect privacy, and after constructing a local trained model on individual clients, the parameters of the local model are aggregated centrally to update the global model. In this paper, we reuse the existing learning parameter to improve federated learning, describe incremental federated learning. For this work, we do experiments using the federated learning framework named Flower, and evaluate the experiment results with regard to elapsed time and precision when executing optimization algorithms.

인공지능 분야에서 학습모델을 구성하기 위해서는 학습데이터의 수집이 선행되어야 하며, 학습데이터를 학습모델 구성이 이루어지는 중앙 서버로 전달하여야 한다. 연합 학습은 클라이언트 측면의 데이터 이동없이 협력적은 방법으로 전역 학습 모델을 구성하는 기계학습 방법이다. 연합학습은 개인 정보를 보호하기 위해 활용될 수 있으며, 개별 클라이언트에서 로컬 학습모델을 구성한 후 로컬 모델의 매개변수를 중앙에서 집계하여 전역 모델을 업데이트한다. 이 본문에서는 연합학습의 개선을 위해 기존의 학습 결과인 학습 매개변수를 사용한다. 이를 위해 연합학습 프레임워크인 Flower를 사용하여 실험을 수행한 후 알고리즘의 수행시간 및 최적화에 따른 결과를 평가하여 제시한다.

Keywords

Acknowledgement

이 논문은 2022 년도 정부(산업통상자원부)의 재원으로 한국산업기술평가관리원의 지원을 받아 수행된 연구임(No.20022177, 고위험 현장 안전관리를 위한 에지 단말간 AI 협업 기술 기반의 개방형 안전관리 서비스 개발)

References

  1. Alfred Zimmermann, Rainer Schmidt, Lakhmi C. Jain, Architecting the Digital Transformation - Digital Business, Technology, Decision Support, Management. Intelligent Systems Reference Library 188, ISBN 978-3-030-49639-5, Springer, 2021.
  2. Voigt, P.; Bussche, A.v.d. The EU General Data Protection Regulation (GDPR): A Practical Guide; Springer Publishing Company, Incorporated: 2017.
  3. B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. Y. Arcas, "Communication-efficient learning of deep networks from decentralized data," in Proc. of the 20th International Conference on Artificial Intelligence and Statistics, 2017, pp. 1273-1282.
  4. Konecny, J.; McMahan, H.B.; Ramage, D.; Richtárik, P. Federated Optimization: Distributed Machine Learning for On-Device Intelligence. arXiv 2016, arXiv:1610.02527
  5. Kairouz, Peter, et al. (58 others), "Advances and open problems in federated learning", Foundations and Trends in Machine Learning 14.1-2, 1-210, 2021. https://ml-ops.org/content/references.html https://doi.org/10.1561/2200000083
  6. R. Shokri, and V. Shmatikov, "Privacy-Preserving Deep Learning," in Proc. of the 22nd ACM SIGSAC Conference on Computer and Communications Security (CCS), 2015, pp. 1310-1321.
  7. Rasheed, M.A.; Uddin, S.; Tanweer, H.A.; Rasheed, M.A.; Ahmed, M.; Murtaza, H. Data privacy issue in Federated Learning Resolution using Block Chain. VFAST Trans. Softw. Eng. 2021, 9, 51-61.
  8. T. Li, A. K. Sahu, A. Talwalkar and V. Smith, "Federated Learning: Challenges, Methods, and Future Directions," in IEEE Signal Processing Magazine, vol. 37, no. 3, pp. 50-60, May 2020, doi: 10.1109/MSP.2020.2975749.
  9. Flower: A Friendly Federated Learning Framework (https://flower.dev/)
  10. Sergeev, A., & Balso, M.D. (2018). Horovod: fast and easy distributed deep learning in TensorFlow. ArXiv, abs/1802.05799.