javaeyes ！！菜鸟的成长历程！！ http://javaeyes.javaeye.com UTF-8 Copyright 2003-2008, JavaEye.com http://blogs.law.harvard.edu/tech/rss JavaEye - 做最棒的软件开发交流社区 一个比较偏的问题，java序列化 javaeyes 作者: javaeyes  链接：http://javaeyes.javaeye.com/blog/81586  发表时间: 2007年05月21日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

做rome 解析RSS的时候发现一个奇怪的现象，先看代码 
		PipedInputStream pipin = new PipedInputStream();
		PipedOutputStream pipout = new PipedOutputStream(pipin);
		ObjectOutputStream out = new ObjectOutputStream(pipout);
		SyndEntry entry = new SyndEntryImpl();
		System.out.println(ss);
 		out.writeObject(entry);
		out.close();

我原想把SyndEntryImpl的实例进行对象序列化存到文件中，但是程序运行到out.writeObject(entry);这一句的时候就停住了，没有任何错误，cpu也正常，SyndEntryImpl这个类已经声名实现了Serializable。这难道是java的bug？
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Mon, 21 May 2007 16:45:53 +0800 http://javaeyes.javaeye.com/blog/81586 http://javaeyes.javaeye.com/blog/81586 nutch爬行中的depth（层数，深度？） javaeyes 作者: javaeyes  链接：http://javaeyes.javaeye.com/blog/36191  发表时间: 2006年11月27日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

一直搞不清楚nutch中的depth是什么意思，就照着字面意思理解，认为是指html文件所在文件夹的相对于网站的深度。今天做了个小实验，证明并不是这样，下面来看看

先在Tomcat里面建一个示例网站Test，网站根目录下建四个网页index.html, a.thml, b.html, c.html.建一个文件夹1，内有1.html，在文件夹1中建文件夹2，建2.html。它们的链接关系：index.html中有a.html和1.html的链接，a.html中有b和c的链接，1.html中有2.html的链接。这个示例网站是按我原来的意思建的：第一层有四个文件，且包含了蜘蛛能访问到的链接，第二层有一个文件1.html,第三层为2.html。这是一个以文件夹为深度的例子。

启动nutch的爬虫爬行网站（配置可以网上查，很多）。

cmd代码
  1. nutch crawl  urls -dir c:\Test -threads 5 -depth 1  

先爬行一层，如果是以文件夹为深度，那么第一层的4个文件都将爬到。让我看下结果：

cmd 代码
  1. F:\code\nutch\bin>nutch readdb  c:\Test\db -dumppageurl   
  2. 061127 150112 parsing jar:file:/F:/code/nutch/nutch.jar!/nutch-default.xml   
  3. 061127 150112 parsing jar:file:/F:/code/nutch/nutch.jar!/nutch-site.xml   
  4. 061127 150112 No FS indicated, using default:local   
  5. org.apache.nutch.db.WebDBReader@13f5d07   
  6.   
  7. Page 1: Version: 4   
  8. URL: http://localhost:8080/Test/   
  9. ID: 59ba405710e0b0a631562a040e30865c   
  10. Next fetch: Wed Dec 27 14:55:52 CST 2006   
  11. Retries since fetch: 0   
  12. Retry interval: 30 days   
  13. Num outlinks: 2   
  14. Score: 1.0   
  15. NextScore: 1.0   
  16.   
  17.   
  18. Page 2: Version: 4   
  19. URL: http://localhost:8080/Test/1/1.html   
  20. ID: 2c6dadf23768abaca03c8f7135b99436   
  21. Next fetch: Mon Nov 27 14:55:52 CST 2006   
  22. Retries since fetch: 0   
  23. Retry interval: 30 days   
  24. Num outlinks: 0   
  25. Score: 1.0   
  26. NextScore: 1.0   
  27.   
  28.   
  29. Page 3: Version: 4   
  30. URL: http://localhost:8080/Test/a.html   
  31. ID: a588737b7cd966929644a731445dffeb   
  32. Next fetch: Mon Nov 27 14:55:52 CST 2006   
  33. Retries since fetch: 0   
  34. Retry interval: 30 days   
  35. Num outlinks: 0   
  36. Score: 1.0   
  37. NextScore: 1.0  

事实是只有三个网页被抓到了：index.html,1.html,a.html。b和c都没有抓进来。可以说nutch爬行深度是依据网页上的链接的，也就是说nutch把爬行的第一个页面上的链接当作第一层，依次类推第一层页面上的链接是第二层。还可以看三个数据的Num outlinks。index的有两个，1和a明明设了链接的值却为零。可见nutch爬虫在扫描页面链接的时候就把设定层外的链接给丢弃了。

把index中1的链接改成2的链接更可以验证nutch的深度是依据链接的。这样设计的爬虫容易控制。

 


本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Mon, 27 Nov 2006 15:18:24 +0800 http://javaeyes.javaeye.com/blog/36191 http://javaeyes.javaeye.com/blog/36191 北京杂念 javaeyes 作者: javaeyes  链接：http://javaeyes.javaeye.com/blog/35351  发表时间: 2006年11月21日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

        有段时间没来这里了，有点想念：）。最近老感觉有些慌，毕竟是快毕业了，论文也还没写。也出去找过次工作，面试了两次没谈成，倒是自己觉得可以了所以请客吃饭把自己灌得七荤八素的。还有自己感觉和计算机专业出来的人相差很大，时刻督促自己要学习。有了这些，自然会有一些紧张的情绪左右自己。不知道这样的日子什么时候才能过去。
       想想时间过得真快，弹指间来北京已经四个月。还记得刚到北京时对北京印象很差，北京站三句话问不出一个屁的警察（也许该说三拳头打不出一个屁）。味道有些重的地铁。大部分的公交都有售票员，一些售票员态度也不好，提了个小箱子就嚷着挡了道了要给箱子买票。小贩也很牛啊，问了香蕉怎么卖，看也不看你一眼扔你句一块一斤，好像我买东西还得求他。现在想来，也许是首都北京造就了这样的“霸气“。北京历史悠久啊（这也是我来北京的原因之一），辉煌的故宫在这只是一个缩影。这里也有厚重的文化气息，聚集清华，北大等名校，造就国人心中的神话。更有中国之都的气派，见证大量的历史事件。在这样的氛围熏陶下，俺等乡下人自无法攀比啊。
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Tue, 21 Nov 2006 15:01:30 +0800 http://javaeyes.javaeye.com/blog/35351 http://javaeyes.javaeye.com/blog/35351 [转]Tomcat5中文问题解决之道 javaeyes 作者: javaeyes  链接：http://javaeyes.javaeye.com/blog/32867  发表时间: 2006年11月07日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

在tomcat5中发现了以前处理tomcat4的方法不能适用于处理直接通过url提交的请求，上网找资料终于发现了最完美的解决办法，不用每个地方都转换了，而且无论get,和post都正常。写了个文档，贴出来希望跟我有同样问题的人不再像我一样痛苦一次:-)

问题描述：

1 表单提交的数据，用request.getParameter(“xxx”)返回的字符串为乱码或者？？
2 直接通过url如http://localhost/a.jsp?name=中国，这样的get请求在服务端用request. getParameter(“name”)时返回的是乱码；按tomcat4的做法设置Filter也没有用或者用request.setCharacterEncoding("GBK");也不管用

原因：

1 tomcat的j2ee实现对表单提交即post方式提示时处理参数采用缺省的iso-8859-1来处理
2 tomcat对get方式提交的请求对query-string 处理时采用了和post方法不一样的处理方式。(与tomcat4不一样,所以设置setCharacterEncoding(“gbk”))不起作用。

解决办法：

首先所有的jsp文件都加上:

1 实现一个Filter.设置处理字符集为GBK。(在tomcat的webapps/servlet-examples目录有一个完整的例子。请参考web.xml和SetCharacterEncodingFilter的配置。)

1)只要把%TOMCAT安装目录%/ webapps\servlets-examples\WEB-INF\classes\filters\SetCharacterEncodingFilter.class文件拷到你的webapp目录/filters下，如果没有filters目录，就创建一个。
2)在你的web.xml里加入如下几行： 

 <filter>
        <filter-name>Set Character Encoding</filter-name>
        <filter-class>filters.SetCharacterEncodingFilter</filter-class>
        <init-param>
            <param-name>encoding</param-name>
            <param-value>GBK</param-value>
        </init-param>
    </filter>
        <filter-mapping>
        <filter-name>Set Character Encoding</filter-name>
        <url-pattern>/*</url-pattern>
    </filter-mapping>

3)完成.

2 get方式的解决办法

1) 打开tomcat的server.xml文件，找到区块，加入如下一行：URIEncoding=”GBK”

完整的应如下： 

<Connector port="80"  maxThreads="150" minSpareThreads="25" maxSpareThreads="75"
               enableLookups="false" redirectPort="8443" acceptCount="100"
               debug="0" connectionTimeout="20000"
               disableUploadTimeout="true"
               URIEncoding="GBK"/>

2)重启tomcat,一切OK。

执行如下jsp页页测试是否成功


<%@ page contentType="text/html;charset=gb2312"%>
<%@ page import="java.util.*"%>
<%
        String q=request.getParameter("q");
        q = q == null? "没有值" : q;
%>
<HTML>
<HEAD>
<TITLE>新闻列表显示</TITLE>
<META http-equiv=Content-Type content="text/html; charset=gb2312">
<META http-equiv=pragma content=no-cache>
<body>你提交了：<%=q%><br>
<form action="tcnchar.jsp" method="post">
 输入中文:<input type="text" name="q"><input type="submit" value="确定"> <br>
<a href="tcnchar.jsp?q=中国">通过get方式提交</a>
</form>
</BODY>
</HTML>

测试结果如果你输入文本框或者点超链都会显示:你提交了”中国”,说明成功!!!!!
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Tue, 07 Nov 2006 09:56:08 +0800 http://javaeyes.javaeye.com/blog/32867 http://javaeyes.javaeye.com/blog/32867 用Lucene构造简单搜索！ javaeyes 作者: javaeyes  链接：http://javaeyes.javaeye.com/blog/31892  发表时间: 2006年10月31日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

Lucene是一个开源世界里最有名的搜索引擎包，关于它的介绍现在网络上也有很多了，特别是车东的文章http://www.chedong.com/tech/lucene.html，网上流传至广。现在还有一本《Lucene In Action》的电子书是详细介绍的Lucene，可以down下来看。今天先来对硬盘文件实现简单的索引和搜索功能。

用Lucene建立索引步骤：
    [1]指定索引源文件夹（dataDir）和索引的文件夹（IndexDir）;

    [2]构造一个IndexWriter:IndexWriter构造器有三个参数，其中第一个参数可以是Lucene内建的类Directory，也可以是File类型的文件夹路径，还可以是String类型的文件夹路径。第二个参数为语法分析器Analyzer,Lucene自带了几个分析器的，但是对中文支持都不是很好，我在网上找了两个，效果还不错。待会将放下面供大家下载。这个参数的指定，比如我用自己的CWordAnalyzer可以直接用new CWordAnalyzer()。最后一个参数是要注意的，Lucene Api解释为“true to create the index or overwrite the existing one; false to append to the existing index”，就是说在这里设定是否增量增加索引，在开发的时候得考虑了，设true将导致每次索引都删除原索引重建，但是如果原来不存在索引而设置为false也将导致lucene抛出找不到指定文件的错误。

    [3]构造Document，通过add方法加入字段： 
    		
		Document doc = new Document();
		doc.add(Field.Text("contens",new FileReader(f)));
		doc.add(Field.UnIndexed("filename",f.getCanonicalPath()));
    其中Feild方法有很多种，可以去车东的文章查看详细。f为dataDir文件夹中的文本文件。

    [4]IndexWriter通过addDocument(doc)加入document对象，此时lucene将启动分词器对Document对象进行分词索引；

    [5]调用IndexWriter的optimize方法对索引进行优化，因为在索引过程中难免产生文件碎屑，该方法对文件进行优化可以提高检索效率；

    [6]关闭IndexWriter：IndexWriter.close()。

到此索引建好了，开始搜索部分。
用Lucene进行搜索：
    [1]创建IndexSearcher实例，其构造方法有三个，单参数，可以用String形式的索引文件夹路径；

    [2]创建Query ：
    Query query = QueryParser.parse(q,"contents",new Analyzer());

    其中q为查询字符串，“contents”为查询字段。
    [list][3]搜索：
    Hits hits = indexwriter.search(query)

    hits由Document类型组成。可以通过hits.doc(i)获取具体的Document对象

可以看到用lucene进行索引和搜索都很简单。
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Tue, 31 Oct 2006 19:25:32 +0800 http://javaeyes.javaeye.com/blog/31892 http://javaeyes.javaeye.com/blog/31892 lucene中增量索引的方法！ javaeyes 作者: javaeyes  链接：http://javaeyes.javaeye.com/blog/30959  发表时间: 2006年10月27日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

lucene在建立索引时不可能总是删了原来的再重建索引。在建索引的IndexWriter中最后一个参数是boolean类型的，用来确定是重建索引（true）还是增量索引。 
IndexWriter writer = new IndexWriter(indexDir,new Analyzer(),true)

这样表示重建索引，当你运行索引类后如果indexDir中存在索引文件，都将被删除，这有时不是你的本意，也算是一种浪费，所以可以在需要的时候你可以把它设成false。
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Fri, 27 Oct 2006 17:42:20 +0800 http://javaeyes.javaeye.com/blog/30959 http://javaeyes.javaeye.com/blog/30959 SDK、JDK、JRE和JVM的关系总结 javaeyes 作者: javaeyes  链接：http://javaeyes.javaeye.com/blog/30667  发表时间: 2006年10月26日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

　　SDK(Software Develop Kit，软件开发工具包)，用于帮助开发人员的提高工作效率。各种不同类型的软件开发，都可以有自己的SDK。Windows有Windows SDK，DirectX 有 DirectX 9 SDK，.NET开发也有Microsoft .NET Framework SDK。JAVA开发也不含糊，也有自己的Java SDK。

　　Java SDK最早叫Java Software Develop Kit，后来改名为JDK，即Java Develop Kit。

　　JDK作为Java开发工具包，主要用于构建在Java平台上运行的应用程序、Applet 和组件等。

　　JRE(Java Runtime Environment，Java运行环境)，也就是Java平台。所有的Java程序都要在JRE下才能运行。JDK的工具也是Java程序，也需要JRE才能运行。为了保持JDK的独立性和完整性，在JDK的安装过程中，JRE也是安装的一部分。所以，在JDK的安装目录下有一个名为jre的目录，用于存放JRE文件。

　　JVM(Java Virtual Machine，Java虚拟机）是JRE的一部分。它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。JVM有自己完善的硬件架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。Java语言最重要的特点就是跨平台运行。使用JVM就是为了支持与操作系统无关，实现跨平台。

　　下图清晰地展示了JDK(Java SDK)、JRE和JVM之间的关系：

本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Thu, 26 Oct 2006 09:57:35 +0800 http://javaeyes.javaeye.com/blog/30667 http://javaeyes.javaeye.com/blog/30667