Java读取Level-1行情dbf文件极致优化（1）

最近架构一个项目，实现行情的接入和分发，须要达到极致的低时延特性，这对于证券系统是很是重要的。接入的行情源是能够配置，既能够是Level-1，也能够是Level-2或其余第三方的源。虽然Level-1行情没有Level-2快，可是做为系统支持的行情源，咱们仍是须要优化它，使得从文件读取，到用户经过socket收到行情，端到端的时延尽量的低。本文主要介绍对level-1行情dbf文件读取的极致优化方案。相信对其余的dbf文件读取应该也有借鉴意义。

 

Level-1行情是由行情小站，定时每隔几秒把dbf文件（上海是show2003.dbf，深圳是sjshq.dbf）更新一遍，用新的行情替换掉旧的。咱们的目标就是，在新文件完成更新后，在最短期内将文件读取到内存，把每一行转化为对象，把每一个列转化为对应的数据类型。

 

咱们一共采用了6种优化方式。

 

优化一：采用内存硬盘（RamDisk）

内存硬盘能够极大地提升文件的读写速度，level-1行情的读写是应用内存硬盘的绝好状况：

1，咱们能够把行情小站的行情文件地址配置在内存硬盘上。这样能够加速行情小站写文件的速度。

2，本系统再从内存硬盘读取，又能够加快读取速度。

3，内存硬盘掉电后会丢失文件，这里咱们基本不在意这个缺点，由于行情文件原本就是临时的，若是有持久化的须要，大部份内存硬盘也支持持久化的功能。

 

Windows上有不少虚拟内存硬盘的软件（本系统部署在windows服务器上，由于行情小站是在windows上的）。性能仍是有差异的，我主要基于如下这篇文章《12 RAM Disk Software Benchmarked for Fastest Read and Write Speed》，本身再作了一点点测试，选择了Bond Disc这个软件。其地址是http://www.bonddisc.com/，使用挺简单的，这里就不详细介绍了。

 

测试下来，采用RamDisk读取并无比从普通的硬盘读取快不少，多是由于行情dbf文件自己就很小，只有1～2M，而且咱们采用NIO形式的文件读取自己就比较快。可是使用RamDisk仍是颇有意义的 --

1，因为行情小站直接把dbf文件写入内存硬盘，能够加速很多。

2，若是在硬盘繁忙时，因为硬盘是串行的，采用内存硬盘在这种状况下能够避免瓶颈，保持稳定的读取低时延。

 

优化二：采用JNotify，用通知替代轮询

因为行情小站会不断的更新行情dbf文件，咱们的系统须要探测到一旦行情文件被更新，就当即读取。传统的策略是不断轮询行情文件的状态，若是发现行情文件的最后修改日期（或者再加上文件大小）改变时，就认为文件被更新。可是这种方式既低效，时延又高且不稳定。假设即便把轮询时间设置为10ms一次（这意味着1秒钟就要轮询100次）, 平均时延也要5ms。

 

咱们能够用通知来替代轮询。这里咱们采用JNotify库，这个库的下载地址是：

http://jnotify.sourceforge.net/

JNotify库支持Windows，Linux和MacOS，容许咱们监视一个文件夹，当这个文件夹下的文件被增删改时，发起回调通知。代码示例以下：

public void addWatcher(String hangqingFolder, String hangqingFile) throws Exception {

        // watch mask, specify events you care about,
        // or JNotify.FILE_ANY for all events.
        int mask = // JNotify.FILE_CREATED |
                    // JNotify.FILE_DELETED |
                JNotify.FILE_MODIFIED; // 咱们只须要注册修改事件
        // JNotify.FILE_RENAMED;

        // watch subtree?
        boolean watchSubtree = false;

        // add actual watch

        watchId = JNotify.addWatch(hangqingFolder, mask, watchSubtree, new JNotifyListener() {

            public void fileRenamed(int wd, String rootPath, String oldName, String newName) {
                // do nothing.
            }

            public void fileModified(int wd, String rootPath, String name) {

                if (!hangqingFile.equalsIgnoreCase(name)) //若是是修改的其余文件，则忽略
                    return;
                
                readHangqingFile(hangqingFolder + File.separator + hangqingFile);

            }

            public void fileDeleted(int wd, String rootPath, String name) {
                // do nothing
            }

            public void fileCreated(int wd, String rootPath, String name) {
                // do nothing
            }
        });
    }

 

以上代码：

1，咱们只要监视文件修改，所以只要设置mask = JNotify.FILE_MODIFIED

2，不须要递归地监视子目录，设置watchSubtree = false

3，因为监视的是文件夹，而不是文件，在fileModified方法中，咱们要判断修改的是否是咱们关心的文件（即行情文件），若是不是，则忽略。若是是，就调用readHangqingFile开始读取。

 

JNotify是基于操做系统API实现的，即便用JNI实现的，所以除了jar文件，还包含.dll文件和.so文件。用eclipse开发时，咱们须要指定这些本地库的目录，以下图所示：

 

部署时，须要将本地库放在执行根目录下，或者用-Djava.library.path=/native/library/path 指定本地库的位置。

 

采用JNotify，用（基于操做系统的）通知而不是轮询，能够很是快地发现文件被更新，根据测试时间<1ms (我以为应该远小于1ms，可是因为文件修改时间单位是毫秒，没办法更精确的测量）。

 

待续。。。

 

Binhua Liu原创文章，转载请注明原地址http://www.cnblogs.com/Binhua-Liu/p/5609396.html