elasticsearch bulk批量导入 大文件拆分

命令以下:shell

curl -s -XPOST http://localhost:9200/_bulk --data-binary @data.json

若是上传的data.json文件较大,能够将其切分为多个小文件,在批量上传,shell脚本以下:json

#!/bin/bash

split -l 100000 -a 10 data.json ./tmp/carrier_bulk

BULK_FILES=./tmp/carrier_bulk*
for f in $BULK_FILES; do
    curl -s -XPOST http://localhost:9200/_bulk --data-binary @$f >> /dev/null
    echo $f >> ./import.log
done
  1. /dev/null不将输出打印到终端
  2. 每次循环输出到日志中,能够查看命令是否执行成功,也能够看命令执行的进度。
相关文章
相关标签/搜索