Journal of Digital Contents Society (디지털콘텐츠학회 논문지)

Digital Contents Society (한국디지털콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

General-purpose Transaction Management Technique for Data Stability of NoSQL on Distributed File System

분산 파일 시스템 기반 NoSQL의 데이터 안정성을 위한 범용 트랜잭션 관리 기법

  • Kwon, Younghyun (Emerging Technology R&D Center, WISEnut, Inc.) ;
  • Yun, Do-hyun (Emerging Technology R&D Center, WISEnut, Inc.) ;
  • Park, Hojin (Emerging Technology R&D Center, WISEnut, Inc.)
  • Received : 2015.03.13
  • Accepted : 2015.04.30
  • Published : 2015.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we research to secure stability of data storing/searching on NoSQL implemented on Distributed File System. When implementing NoSQL on Distributed File System, we faced that random write on Distributed File System is almost impossible. To solve this problem, a concept of Intermediate-File was employed, and then it has been achieved that our system resist any failure circumstance. Additionally, since we discovered its performance cannot be as fast as general File System, by redefining the file block unit for our NoSQL system, we have prevented a slowdown in system performance. As a result, we are able to develop highly scalable NoSQL as Distributed File System, which fulfills basic conditions of transaction: Atomicity, Consistency, Isolation, and Performance.

본 논문에서는, 분산 파일 시스템을 기반으로 하는 NoSQL의 데이터 안정성 확보를 연구하였다. 본 논문의 궁극적 목표인 분산 파일 시스템 기반의 NoSQL을 구현하는 과정에서 분산 파일 시스템의 제약 조건인 랜덤 쓰기 문제에 봉착했고, 이 문제의 해결을 위해 중간파일의 개념을 사용함으로써 어떠한 장애 상황에서도 데이터의 오염을 방지할 수 있었다. 또한 중간파일을 쓰는 과정에서 기존 파일 시스템에 비해 분산 파일 시스템이 가지는 성능적 열세를 인식하여, NoSQL을 위한 파일 블록 단위를 다시 정의하는 방법으로 성능적 손실을 크게 줄였다. 결과적으로, 본 논문에서는 보편적 분산 파일 시스템의 확장성을 가진 NoSQL을 개발함과 동시에 원자성, 일관성, 고립성, 성능 등의 조건을 만족하는 트랜잭션 관리 기법을 사용함으로써 데이터 안정성을 가지면서 실용적 사용에도 무리가 없는 NoSQL을 구현하였다.

Keywords

References

  1. Hilbert, M, Lopez, P., "The World's Technological Capacity to Store, Communicate, and Compute Information," Science 332 (6025): 60-65. doi:10.1126/science.1200970, PMID 21310967, 2011.
  2. IBM, "What is big data?-Bringing big data to theenterprise," http://www-01.ibm.com/software/data/bigdata/what-is-big-data.html, Retrieved 2013-08-26.
  3. Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung, The Google file system, Proceedings of the nineteenth ACM symposium on Operating systems principles, Bolton Landing, NY, USA [doi>10.1145/945445.945450], October 19-22, 2003
  4. Konstantin Shvachko, Hairong Kuang, Sanjay Radia, Robert Chansler, "The Hadoop Distributed File System," Proceedings of the 2010 IEEE 26th Symposiumon Mass Storage Systems and Technologies (MSST), p.1-10, [doi>10.1109/MSST.2010.5496972], May03-07, 2010.
  5. Jing Han, Haihong, E., Guan Le; Jian Du, "Surveyon NoSQL database," Pervasive Computing and Applications (ICPCA), 2011 6th International Conference on, vol., no., pp.363-366, doi: 10.1109/ICPCA.2011.6106531, 26-28 Oct. 2011.
  6. Younghyun Kwon, Yongseung Kang, Youngmin Ahn, "Business Intelligence Applying Document-TypeBigdata Analysis", Korea information processing society review, vol.19 no.2, pp.86-94, 2012.
  7. L.Sudha Rani, K. Sudhakar, S.Vinay Kumar, / (IJCSIT) International Journal of Computer Science and Information Technologies, Vol. 5 (3),3716-3721, 2014.
  8. Sunita Mahajan"Distributed Computing", Oxford University Press.
  9. Jeffrey Dean, Sanjay Ghemawat, MapReduce: simplified data processing on large clusters, Proceedingsof the 6th conference on Symposium on OpeartingSystems Design & Implementation, p.10-10, San Francisco, CA, December 06-08, 2004.
  10. Apache, "HDFS Architecture Guide," http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html, Retrieved2015-03-06.
  11. Strozzi, Carlo, "NoSQL-A relational database management system," http://www.strozzi.it/cgi-bin/CSA/tw7/I/en_US/nosql/Home%20Page, Retrieved 2015-03-06.
  12. Gajendran, Santhosh Kumar. "A survey on nosqldatabases." University of Illinois, 2012.
  13. Stonebraker, Michael. "SQL databases v. NoSQLdatabases," Communications of the ACM 53.4, 10-11, 2010. https://doi.org/10.1145/1721654.1721659
  14. Wei, Zhou, Guillaume Pierre, and Chi-Hung Chi, "CloudTPS: Scalable transactions for Web applicationsin the cloud," Services Computing, IEEE Transactions on 5.4, 525-539, 2012. https://doi.org/10.1109/TSC.2011.18
  15. Peng, Daniel, and Frank Dabek, "Large-scale Incremental Processing Using Distributed Transactions and Notifications," OSDI. Vol. 10. 2010.