Wvtool学习(二):实现wvtool分词功能-白红宇

Wvtool学习(二):实现wvtool分词功能

阅读量：5909 次

发布时间：2019-06-19

本文共 2471 字，大约阅读时间需要 8 分钟。

接着学习wvtool，实现wvtool的分词功能，话不多述，直接上代码吧！

import java.io.BufferedReader;

import java.io.File;

import java.io.FileInputStream;

import java.io.FileReader;

import java.io.InputStream;

import java.io.InputStreamReader;

import java.io.Reader;

import java.io.StringReader;

import edu.udo.cs.wvtool.config.WVTConfiguration;

import edu.udo.cs.wvtool.generic.inputfilter.SelectingInputFilter;

import edu.udo.cs.wvtool.generic.loader.UniversalLoader;

import edu.udo.cs.wvtool.generic.tokenizer.NGramTokenizer;

import edu.udo.cs.wvtool.generic.tokenizer.SimpleTokenizer;

import edu.udo.cs.wvtool.generic.wordfilter.StopWordFilterFile;

import edu.udo.cs.wvtool.main.WVTDocumentInfo;

import edu.udo.cs.wvtool.util.TokenEnumeration;

* 这个程序实现把html文档解码成纯文本的形式，并进行分词

* 原html文档：text.html

* 内容：

<html>

<head>

<title>雅虎新闻

</title>

</head>

<body>

这是测试文档。

</body>

</html>

* */

public class Demo01_1 {

public static String pathString="D:\\工作管理\\weka学习\\wvtool-1.1\\wvtool-1.1\\examples\\data\\";

public static void main(String[] args) throws Exception {

* 1、实例化一个加载器

* */

UniversalLoader loader=new UniversalLoader();

* 2、实例化一个文档信息类

* */

WVTDocumentInfo info=new WVTDocumentInfo(pathString+"text.html", "html", "utf-8", "chinese");

* 3、把文档以输入流的方式加载到内存中

* */

InputStream stream=loader.loadDocument(info);

* 4、实例化一个过滤器

* InputFilter that automatically selects an appropriate filter

* according to the the file ending. The following rules are used.

* HTM, HTML, htm, html -> SimpleTagIgnoringReader

*XML, xml -> XMLInputFilter

*PDF, pdf -> PDFInputFilter

*all other -> TextInputFilter

* */

SelectingInputFilter filter=new SelectingInputFilter();

* 5、把html文档进行解码成纯文本文件

* */

Reader readers=filter.convertToPlainText(stream,info);

* 6、将解码的文档输出

* */

BufferedReader reader=new BufferedReader(readers);

String string=reader.readLine().toString();

//由于解码出来的文档中包含了大量的空格，而且奇怪的是这些

//空格的char值是9(十进制),所以就只能以这样的方式输出了

string=string.replace(string.valueOf((char)9), "");

//这里需要把string重新包装成Reader

Reader reader2=new StringReader(string);

// System.out.println(string);

//结果：?雅虎新闻这是测试文档。

* 7、分词

* 我个人觉得这个分词其实很弱，好像只是依据你所设定的规则把句子断开，而不是真正意义上的分词

* */

NGramTokenizer tokenizer=new NGramTokenizer(2,new SimpleTokenizer());

TokenEnumeration enumeration=tokenizer.tokenize(reader2, info);

while(enumeration.hasMoreTokens()){

System.out.print(enumeration.nextToken()+"|");

}

//结果：雅虎|虎新|新闻|闻这|这是|是测|测试|试文|文档| }

}

现在想想，其实还真不怎么难……

如果真的想实现文本的分词，我个人觉得IK_Analyzer和ICT_CLAS不错，特别是ICT_CLAS，不仅分词，还实现了词性的标注，人名的识别！

转载地址：http://lsppx.baihongyu.com/

你可能感兴趣的文章

第一篇

查看>>

poj3522Slim Span(暴力+Kruskal)

Android DIY之路（一）指定区域多图片合成放大缩小镜像旋转等（转）

查看>>

Spring的事务传播性与隔离级别以及实现事物回滚

查看>>

错误与技巧笔记

查看>>

SpriteBatch.Draw()的重载方法使用

查看>>

WPF向系统发送消息并传递结构体

查看>>

解决WCF大数据量传输，System.Net.Sockets.SocketException: 远程主机强迫关闭了一个现有的连接...

查看>>

使用git建立远程仓库，让别人git clone下来

查看>>

spring cloud config 入门

查看>>

java poi reader常用API汇总

查看>>

[转载]从C#开发人员到Windows Phone 7高级开发人员只需3周 – 序

java的synchronized有没有同步的类锁？

查看>>