scribe配置文件详解缓存
1.全局配置项服务器
（1）port：指示scribe服务器在哪个端口上监听，默认是0，经过命令行参数选项-P能够指定端口，也可以经过配置文件指定。在源代码中就赋值给变量port。dom
（2）max_msg_per_second：默认值是0，若是这个参数值是0将被忽略。随着最近的改变这个参数不多被关联使用到，max_queue_size参数将被应用到限制每秒最大的消息数。在scribeHandler::throttleDeny被使用。socket
（3）max_queue_size（按字节）：接收消息的队列的最大字节，默认是5,000,000字节。在scribeHandler::Log使用。ide
（4）check_interval（秒）：用于控制多长时间检查一次存储，默认值是5.性能
（5）new_thread_per_category（是/否）：若是为是，将为每个分类场景建立一个新的线程，不然将创一个单线程为每个在配置文件中定义的存储。对于前缀存储或默认存储，若是这个参数设置成“否”将致使全部匹配这个分类的消息都由一个单独的存储来处理。不然将为每个惟一的分类名建立一个新的存储。默认为“是”。url
（6）num_thrift_server_threads：为接收消息的监听线程数量，默认是3.spa
（7）max_conn：最大的连接数。.net
2.存储配置命令行
Scribe服务器决定怎样将日志消息写入是基于在配置中定义的存储类型和相关参数设置，每个存储都必须指定一个消息分类来处理三种异常。
（1）默认存储：默认分类处理任何不能被其余存储处理的分类，这儿仅仅可以有一个默认存储。
（2）前缀存储：若是指定分类以一个*结尾，这个存储将处理全部以指定前缀开头的分类。
（3）多个类别：在一个存储定义中可以使用‘categories=’建立多个类别。
在上面三种状况下，在文件存储中将为每个惟一的分类建立一个子目录（除非new_thread_per_category被设置为false）。
3.存储配置变量
（1）category：决定哪些消息被这个存储处理。
（2）type：存储类型，有file、buffer、network、bucket、thriftfile、null、mutil。
（3）target_write_size：默认是16,384字节，决定在这些消息处理以前在给定分类的消息队列能够增加到多大。
（4）max_batch_size: 默认1,024,000字节（可能没有被开源），决定在内存存储队列中一次可以被处理的数据的总数，这个（加上缓冲文件旋转的大小）控制多大的一个thrift调用可行。
（5）max_write_interval：默认是10秒，决定在这些消息处理以前在给定分类的消息队列能够用多长时间。
（6）must_succeed（yes/no）：是否必须成功，若是一个存储处理消息失败是否从新进入消息队列排队，若是设置成 ‘no’，且一个存储不能处理这些消息，消息将被丢弃。默认是yes。强烈建议使用缓存来指一个定二级存储来处理失败的日志。
4.file存储配置
File存储写入消息到一个文件。
（1）file_path:文件路径，默认是“/tmp”。
（2）base_filename：基本文件名称，默认是分类名称。
（3）use_hostname_sub_directory（yes/no）：使用服务器的主机名建立一个子目录，默认是no。
（4）sub_directory：使用指定的名称建立一个子目录。
（5）rotate_period：文件建立周期，取值能够是 “hourly”, “daily”, “never”,或者是name[后缀], “never”是默认值，决定多长时间建立一个新文件，特别的后缀“s”, “m”, “h”, “d”, “w”分别表明second（默认）、minutes、hours、days和weeks。
（6）rotate_hour：取值0-23，默认是1，若是rotate_period取值是daily，这个就决定天天的何时建立新文件。
（7）rotate_minute：取值0-59，默认是15，若是rotate_period设置为daily或hourly，这个就决定以一个小时事后多久建立一个新文件。
（8）max_size：文件上限大小，默认1,000,000,000多字节，决定在轮流建立一个新文件之前一个文件可以增加到多大。
（9）write_meta:取值yes或其余任何，false为默认值，若是文件被旋转，最后一行将包含“scribe_meta”，跟着就是下一个文件名。
（10）fs_type:文件类型，支持“std”和“hdfs”两种格式，“std”为默认值。
（11）chunk_size：默认值是0，若是一个块大小被指定，在文件内没有消息可以跨越块的边界，除非有消息的大小超过块的大小。
（12）add_newlines：取值0或1，默认是0，若是设置为1，之后的每个消息都写入一个新行。
（13）create_symlink：yes或其余任何，默认是yes。若是为yes，将保持一个符号连接指向最近一个被写入的文件。
（14）write_stats:yes/no，默认是yes。是否建立一个scribe_stats文件为每个存储来保持文件写入的轨迹。
（15）max_write_size：默认是1000000字节。File存储将尝试按max_write_size字节的块大小刷新数据到文件系统。max_write_size的大小不能超过max_size。因为target_write_size必定数量的消息被缓存。那么文件存储被调用来保持这些消息。File_store以一次性至少max_write_size大小字节的块来保存这些消息。File存储的最后一次写入比max_write_size小；
（16）write_category：写入一个分类下面；
（17）rotate_on_reopen：循环从新打开。
5.network存储配置
Network存储向其余scribe服务器发送消息。Scribe保持持久的连接打开以致于它可以发送消息。（为了错误信息或者若是下游机器过载，它将从新打开一个连接）。在正常运行的状况下，scribe会基于当前缓存中存在多少条消息等待发送而分批次的发送。（若是scribe备份和缓存消息到本地磁盘，scribe会基于缓存文件大小按块发送消息）
（1）remote_host:发送消息的远程主机的名称或IP地址。
（2）remote_port:在远程主机上的端口。
（3）timeout：socket超时，MS为单位，默认是DEFAULT_SOCKET_TIMEOUT_MS， 在store.h中被设置为5000。
（4）use_conn_pool:yes或者任何其余，默认是false。是否使用链接池代替为每个远程主机打开的连接。
（5）smc_service：
（6）service_options：
（7）service_cache_timeout：
（8）ignore_network_error：
（9）dynamic_config_type：
6.buffer存储配置
这是最经常使用的一种store。该store中包含两个子store，其中一个是primary store，另外一个是secondary store。日志会优先写到primary store中，若是primary store出现故障，则scribe会将日志暂存到secondary store中，待primary store恢复性能后，再将secondary store中的数据拷贝到primary store中。其中，secondary store仅支持两种store，一个是file，另外一个是null。
（1）max_queue_length:默认2,000,000条消息。若是在队列中的消息数量超过了这个值，buffer存储将切换写入secondary store。
（2）buffer_send_rate:默认值是1。决定每一次check_interval内，多少次从secondary store读出一组消息而且发送到primary store中。
（3）retry_interval:默认是300秒。在写primary store失败之后等待多长时间从新发送到primary store。
（4）retry_interval_range：默认是60秒。将在指定retry_interval区间内随机的选择一个从新发送时间区间。
（5）replay_buffer:取值yes/no，默认是yes。若是设置为 ‘no’，buffer存储不能从secondary store移除消息而且发送到primary store中去。
7.bucket存储配置
Bucket存储使用每一个带前缀的消息做为key写入到多个文件中去。可以定义一个隐藏的或明确的bucket。定义隐藏的bucket必需要有一个名称是 “bucket” 子bucket，这个子bucket能够是file存储、network存储或者thriftfile存储。
（1）num_buckets：hash进入的bucket个数，默认是1。不能被hash进入任何bucket的消息将被放入一个特别的0号bucket。
（2）bucket_type: 取值是“key_hash”, “key_modulo”, 或者 “random”。
（3）delimiter：必须是1-255之间的ascii代码，不然默认是 ‘:’。第一次出如今消息前缀中的delimiter在‘hash/modulo’中将被用做key。Random不使用这个delimiter。
（4）remove_key:取值yes/no，默认是是no。是否从消息中移除key前缀。
（5）bucket_subdir:若是使用的是一个单独定义的bucket，每个子目录的名称根据bucket的数量编号生成。
8.null存储配置
忽略被给分类的全部消息。没有参数。
9.mutil存储配置
一个mutil存储是将全部消息转发到子存储中去的一个存储。一个mutil存储可能有多个名叫“store0”, “store1”, “store2”等等的子存储。
（1）report_success:取值 “all” or “any”, 默认是 “all”。是否全部substores或任何substores必须成功地记录消息，以报告为成功的消息记录在日志消息
10.thriftfile存储配置
Thriftfile存储相似于file存储，出了thriftfile存储是用Thrift TFileTransport file存储消息。
（1）file_path:文件路径，默认是“/tmp”。
（2）base_filename：基本文件名称，默认是分类名称。
（3）rotate_period：文件建立周期，取值能够是 “hourly”, “daily”, “never”,或者是name[后缀], “never”是默认值，决定多长时间建立一个新文件，特别的后缀“s”, “m”, “h”, “d”, “w”分别表明second（默认）、minutes、hours、days和weeks。
（4）rotate_hour：取值0-23，默认是1，若是rotate_period取值是daily，这个就决定天天的何时建立新文件。
（5）rotate_minute：取值0-59，默认是15，若是rotate_period设置为daily或hourly，这个就决定以一个小时事后多久建立一个新文件。
（6）max_size：文件上限大小，默认1,000,000,000多字节，决定在轮流建立一个新文件之前一个文件可以增加到多大。
（7）fs_type:文件类型，当前只支持“std”，“std”为默认值。
（8）chunk_size：默认值是0，若是一个块大小被指定，在文件内没有消息可以跨越块的边界，除非有消息的大小超过块的大小。
（9）create_symlink：yes或其余任何，默认是yes。若是为yes，将保持一个符号连接指向最近一个被写入的文件。
（10）flush_frequency_ms：毫秒单位，若是没有指定就使用默认300的 TFileTransport。决定一步到thrift file磁盘时间的频率。
（11）msg_buffer_size:以字节为单位，若是没有指定将使用默认为0的TFileTransport。若是非零，将拒绝写入比这个值大的。
11.总结：今天把基本上全部配置文件选项的意义简单介绍一下，要深刻理解这些参数的意义还必需要深刻到源代码去，还在scribe的源代码比较简单，很快就能够全面的深刻的分析了，下一篇就本身分析的一些简单流程介绍一下，须要深刻到仍是直接源代码最好。源码以前，了无密码！
相关连接
http://my.oschina.net/guol/blog/110258