대한언어학회 전자저널

Choi, Seong-Yong, Shin, Dong-Hyok & Nam, Jeesun. (2017). A methodology for building linguistic resources that recognize unanalyzed sequences in social media texts. The Linguistic Association of Korea Journal, 25(4), 193-226. This study aims to analyze linguistic problems with unanalyzed tokens of Social Media (SM) texts and to propose methodologies for dealing with them effectively. Recently, with SM users on the rise, the need for analyzing such texts has significantly increased. However, the unanalyzed tokens severally hamper the overall performance of processing SM textual data. This study proposes two methodologies: 1) a normalizing process with a preprocessing module named Preprocessing Grammar Table (PGT) to correct frequent unanalyzed sequences such as orthographic errors and space errors; 2) a lexicon-based method utilizing DECO dictionary and Local Grammar Graph (LGG). By applying PGT and an enhanced DECO dictionary to SM texts, preprocessing performance considerably improves with 87% of the unanalyzed tokens removed, which reveals the significance of the research.

# 전처리(preprocessing) # 소셜 미디어(social media) # 미분석어(unanalyzed tokens) # 전처리 문법 테이블(PGT) # 데코사전(DECO dictionary) # 부분 문법 그래프(local grammar graph).

• 김선호, 윤준태, 송만석. (2002). 한국어 문서 처리를 위한 동적 생성 로컬 사전 기반 미등록어 분석. 정보과학회논문지: 소프트웨어 및 응용, 29(6), 407-416.
• 남길임. (2016). 상품평 텍스트에 나타난 감성표현 연구 -감성분석과 국어학 연구의 접점. 언어과학연구, 78, 101-123.
• 남지순. (2010). Korean Electronic Dictionary DECO, DICORA-TR-2010-02. 한국외국어대학교 디코라연구센터.
• 남지순. (2013). 모리스 그로스의 언어처리 모델과 전산학적 적용의 이해. 인문언어, 15(1), 125-151.
• 박봉래, 황영숙, 임해창. (1998). 용례 분석에 기반한 미등록어의 인식. 정보과학회논문지, 25(2), 397-407.
• 박소영. (2008). 웹문서에서의 출현빈도를 이용한 한국어 미등록어 사전 자동 구축. 한국컴퓨터정보학회논문지, 13(3), 27-33.
• 박영준. (1994). 현대국어의 국어사적 연구. 국학자료원.
• 배주채. (2017). 교체의 개념과 조건. 국어학, 81, 295-324.
• 양장모, 김민정, 권혁철. (1996). 언어정보를 이용한 한국어 미등록어 추정. 한국정보과학회 봄 학술발표논문집, 23(1), 957-960.
• 이도길, 이상주, 임해창. (2003). 명사 출현 특성을 이용한 효율적인 한국어 명사 추출 방법. 정보과학회논문지: 소프트웨어 및 응용, 30(2), 173-183.
• 이세희, 김학수. (2009). 음절 통계를 이용한 경량화된 철자 오류 교정 모델. 한국정보과학회 학술발표논문집, 36(1), 84-85.
• 차정원, 이원일, 이근배, 이종혁. (1997). 형태소 패턴 사전을 이용한 일반화된 미등록어 처리. 정보과학회 인공지능연구회 춘계학술대회 논문집, 37-42.
• Gross, M. (1997). The construction of local grammars. In E. Roche & Y. Schabes (Eds.), Finite-State Language Processing (pp. 329-354). MA: The MIT Press.
• Gross, M. (1999). A bootstraph method for constructing local grammars. In Proceedings of the Symposium Comtemporary Mathematics, 229-250. University of Belgrad.
• Lee, S. (1995). A Korean part-of-speech tagging system with handling unknown words. In Proceedings of International Conference on Computer Processing Pacific Rim Symposium, 89-94.
• Liu, B. (2012). Sentiment analysis and opinion mining. Morgan and Claypool Publishers.
• Mikheev, A. (1996). Unsupervised learning of word-category guessing rules. In Proceedings of 34th ACL, 327-334.
• Nagata, M. (1996). Automatic extraction of new words from Japanese texts using generalized forward-backward search. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, 48-59.
• Nam, J. (2015). Korean Electronic Dictionary DECO TR-2015-02, DICORA. Seoul, Hankuk University of Foreign Studies.
• Park, B., & Rim, H. (1995). A Korean corpus refining system based on automatic analysis of corpus. In Proceedings of Natural Language Processing Pacific Rim Symposium, 89-94.
• Paumier, S. (2003). De la reconnaissance de formes linguistiques a l’analyse syntaxique. Unpublished doctoral Dissertation, Univ. of PEMLV, France.
• Weichedel, R., Meteer, M., Schwartz, R., Ramshaw, L., & Palmucci, J. (1993). Coping with ambiguity and unknown words through probabilistic models. Computational Linguistics, 19(2), 359-382.
• Yoo, G., & Nam, J. (2017). DecoTex users’ mannual DICORA-TR-2017-12. Version V01-2017MAY. Hankuk University of Foreign Studies.