RDBMS的lucene爬虫

nick | mysql, 互联网, 学习 | 2010-05-08
主要介绍如何周期性尽量实时地从RDBMS爬数据然后建索引,不涉及AOP或ORM Framework的listener方式。 先决条件: 1. Lucene索引是从无到有的,一开始所有数据都是存储在RDBMS(Oracle)中。 2. 数据表有一列是updateTime或称为lastModifiedTime用来存储最后一次更新时间,并建有db索引 3. 主表必须要有主键,这个主键也用来唯一确定一个Lucene ... [阅读全文]

使用zend Framework的lucene进行全文检索——中文分词

nick | php | 2010-05-08
zf本身没有提供中文分词算法,具体应用中要自己写。我这里使用简单的二元分词算法(只在utf-8下工作正常,对于其他字符集,请修改程序)。 第一步、如何测试分词算法的输出。 在zf 的手册中没有提到,我这里简单给个例子: 这里使用是zf默认的分词算法Zend_Search_Lucene_Analysis_Analyzer_Common_Text。另外你可以加上一个过滤方法。比如说过滤... [阅读全文]

Zend Search Lucene使用的问题

nick | php | 2010-05-08
单独把zend_search组件提取出来,在网上找到一个 例程 ,我用的版本是0.9.2beta creat.php创建索引程序 ser.php 检索程序 [阅读全文]

Linux一些页的东西

nick | linux | 2010-05-08
Linux一些页的东西
在Linux世界里,分为Page cache,Buffer cache两个层面。其中page cache包含了buffer cache,内存只和page cache交互。标准的LINUX总 是假定处理器有三级页表,分别为页目录表(PGD),中间页目录表(PMD)和页表(PTE)。如果程序在进行物理地址转换的时候,中是通过页目录表来索 引中间页目录表,再通过中间页目录表来索引页表,从而查找到某页与内存BL... [阅读全文]

scp和rsync的实际应用

nick | linux | 2010-05-08
近段时间工作需要做了些scp和rsync的异地安全备份,整理了一下,希望多大家有用。 scp的备份指南: 需求:用scp自动完成异地文件的定时copy 难点:如何让异地主机建立安全的信任关系 1、在A机器上用root运行ssh-keygen,将生成/root/.ssh/identity和/root/.ssh/identity.pub两个文件; 2、在A机器上运行scp /root/.ssh/identity.pub test@192.168.1.10:... [阅读全文]

如何使得执行scp命令时不需要输入用户密码

nick | linux | 2010-05-08
在两台机器的两个用户之间建立安全的信任关系后,可实现执行scp命令时不需要输入用户密码。我根据该资料介绍的方法测试成功了。 以下是在机器Client的root和机器Server的root之间建立安全信任关系的步骤: 1. 在机器Client上root用户执行ssh-keygen命令,生成建立安全信任关系的证书。 [root@Client root]# ssh-keygen -b 1024 -t rsa Generating publi... [阅读全文]

Raphael 1.4: Touch and more

nick | js, 学习 | 2010-05-07
Raphael 1.4: Touch and more
Dmitry Baranovskiy has been hacking away on Raphael. It is almost like he has had a bunch more time for it recently! 🙂 Version 1.4 has a bunch of cool new features such as: Touch events support rgba support new method drag document.onmousemove = f ? Raphael.mousemove(f) resetScale method scaling text will change it position... [阅读全文]

大型交互类网站-高伸缩性与横向扩展专题

nick | linux, 互联网, 学习 | 2010-05-07
开源中国社区、CNZZ、Admin5、ITeer、PHP100、软库网、聚易开放式技术实验室联合推出大型交互类网站-高伸缩性与横向扩展专题。 高峰期,Facebook 每秒处理55万张照片,这些数字让如何管理这些数据成为一个巨大的挑战。facebook是怎么做到这点而没崩溃的? YouTube成长速度惊人,目前每天视频访问量已达1亿,但站点维护人员很少。站点是怎样实现如此强... [阅读全文]

jQuery Approach:靠近对象出现动画效果

nick | js | 2010-05-07
jQuery Approach:靠近对象出现动画效果
Approach 是一个 jQuery 插件,当鼠标接近对象时可以切换出各种动画样式。它跟 jQuery animate 插件有点类似,只不过 Approach 是根据距离来激活动画,而不是时间。 如果有一个对象,Foo,在开始时透明度为0.2,并使用了下面的代码: 在样式表中: #foo { opacity: 0.2; } 在文件的脚本标签中: $(“#foo”).approach({ opacity: 0.99 }, 300... [阅读全文]

TWaver Flex会给电信软件开发带来变革吗?

nick | 互联网, 学习 | 2010-05-07
TWaver Flex会给电信软件开发带来变革吗?
如果你是电信行业的程序员,大名鼎鼎的拓扑图工具TWaver你一定耳熟能详;但是如果一提到TWaver你就想到一个Swing组件包,那你毫无 疑问已经out了。经过十几年的发展,TWaver看上去已经不再是一个简单的Swing拓扑组件,这些年TWaver陆续推出了AJAX+SVG的 Web版、GIS版,现在又出了Flex版。什么?Flex版TWaver?小玩具吧?能做企业甚至电信应用么?看看TW... [阅读全文]
Ɣ回顶部