Nghiên cứu phát triển một số kỹ thuật tách từ tiếng Việt.

Abstract

Luận án đề xuất kỹ thuật nhận diện và khử nhập nhằng tên riêng, làm tăng đáng kể độ chính xác tách từ: nhận diện và khử nhập nhằng từ tiền tố với tên riêng; khử nhập nhằng tên riêng với từ hậu tố; và khử nhập nhằng tên riêng với tên riêng. Đồng thời, luận án cũng đề xuất kỹ thuật nhận diện từ láy và từ ghép đẳng lập cho tách từ tiếng Việt dựa trên độ thông tin tương hỗ cùng với các quy tắc ngôn ngữ học nhận diện chúng. Trên cơ sở đó, mở rộng nhận diện các tổ hợp từ có 3-4 âm tiết. Luận án cũng đề xuất kỹ thuật khử các loại nhập nhằng chồng lấp và nhập nhằng ghép tách theo ngữ cảnh thống kê trong điều kiện kho ngữ liệu huấn luyện có kích thước nhỏ, có nhiều xác suất 0.