漫步 xxx in action
okwangxing · 共 7 篇文章
Nosql初探(voldemort)
在这个充斥着无数的nosql的世界,voldemort作为Nosql的一员.简单测试了下'健康状态' background:目前被LinkIn使用,与Dynamo思想类似 1.读写性能. read 10s 100000 writer 15s 1000000 测试机的性能一般,自己开发机器. 2.压缩测试 压缩参考数据:10000条真实数据 |数据量| 压缩格式 |时间(毫秒)| 大小(k)| |10000| Null |50013 | 16404| |10000| Lzf |49451 | 8212| |10000| Gzip| 47764 | 7184| 由于资料很少,对于xml的配置,幸…
2010-04-20 22:16 · NoSql · 评论(0)
MySQL数据库引擎快速指导[转]
选择你的引擎 你能用的数据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎,就必须重新编译MySQL。仅仅为了添加一个特性而编译应用程序的概念对于Windows的开发人员来说可能很奇怪,但是在UNIX世界里,这已经成为了标准。在缺省情况下,MySQL支持三个引擎:ISAM、MyISAM和HEAP。另外两种类型InnoDB和Berkley(BDB),也常常可以使用。 ISAM ISAM是一个定义明确且历经时间考验的数据表格管理方法,它在设计之时就考虑到数据库被查询的次数要远大于更新的次数。因此,ISAM执行读取操作的速度很快,而且不占用大量的内存和存储资源。ISAM的两个主…
2010-03-30 23:22 · MySql · 评论(0)
Lucene中Boost对文档权重的影响
前提 :不对结果做sort操作. 在搜索中,并不是所有的Document和Fields都是平等的.有些技术会要求到对其Doucment或者Fields的权值改变, 默认值为:1.0F ,以上需求都是通过改变Document的boost因子来改变的. setBoost(float) @Test public void testFieldBoost() throws Exception{ String[] email = {"bc_bc@gmail.com","ab_bc@gmail.com","ab_bc_cd@gmail.com"}; RAMDirectory rd = new RAMDir…
2010-02-26 00:11 · 搜索 · 评论(0)
Lucene之索引建立
Lucene 可对email,网页,文本资料,doc,pdf之类的文档进行索引建立,在建立索引的时候可为以后的排序做些处理.但运行到分布式的环境中,需要考虑建立索引的性能问题,并发问题,多线程问题,死锁问题,一个Document中包含多个Field. Index的建立大致步骤: 1.源数据文本化 由于index无固定schema,这样就允许了使用者随时的改变index,可以追加字段,重建Document.索引的建立都是分析源数据,从中提取出文本信息,对文本信息进行分析,并储存为索引.源数据可为html,xml,pdf,ms office 文件.这里需要注意的对其文本信息的提取,例如针对xml…
2010-02-25 02:25 · 搜索 · 评论(4)
Lucene之Helloworld
Lucene 不是一个完整搜索引擎,不具备爬虫功能,管理界面之类的功能,可其部分之项目中实现了网站的搜索引擎,** Nutch **就是其中的一个,基于Lucene实现的搜索引擎应用. . 本文记录下自己的学习点点滴滴,实现一个简单的程序, Hello world 之实现文本搜索 这里没应用中文分词的东西,可以参照 庖丁解牛 的项目,svn中已经上传了代码,上面有针对lucene3.0的.感兴趣的可自行试验. SVN地址 svn checkout http://paoding.googlecode.com/svn/trunk/ paoding-read-only 项目是利用Maven构建的,…
2010-02-24 17:22 · 搜索 · 评论(3)
Zookeeper Java API
续前话,Zookeeper的环境已经搭建好了.接下来就是利用Java实现与zookeeper的连接,达到和ZOOKEEPER_HOME\bin\zkCli.sh中的部分基础功能. 具体的zookeeper的安装见 ZooKeeper起步配置 . import java.io.IOException; import java.util.concurrent.CountDownLatch; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeep…
2010-02-18 22:00 · 分布式 · 评论(1)
ZooKeeper起步配置
0.预备环境 ubuntu9.10 jdk1.6.0_18 Apache hadoop zookeeper 1.JDK安装,开发环境ubuntu9.10,环境变量设置. vim /etc/environment PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/home/username/software/jdk1.6.0_18/bin" JAVA_HOME="/home/username/software/jdk1.6.0_18" JRE_HOME="/home/username/s…
2010-02-15 23:48 · 分布式 · 评论(0)