Elasticsearch 데이터를 한 서버에서 다른 서버로 어떻게 이동합니까?
여러 인덱스가있는 하나의 로컬 노드 에서 Elasticsearch 1.1.1 을 실행하는 서버 A 가 있습니다 . Elasticsearch 1.3.4를 실행 하는 서버 B에 해당 데이터를 복사하고 싶습니다.
지금까지의 절차
- 두 서버에서 ES를 종료하고
- 새 서버의 올바른 데이터 디렉토리에 모든 데이터를 scp하십시오. (데이터는 내 데비안 상자의 / var / lib / elasticsearch /에있는 것 같습니다)
- elasticsearch : elasticsearch로 권한 및 소유권 변경
- 새 ES 서버 시작
ES 헤드 플러그인으로 클러스터를 보면 인덱스가 나타나지 않습니다.
데이터가로드되지 않은 것 같습니다. 내가 뭔가를 놓치고 있습니까?
답변
선택한 답변은 실제보다 약간 더 복잡하게 들립니다. 다음은 필요한 것입니다 (시스템에 먼저 npm을 설치하십시오).
npm install -g elasticdump
elasticdump --input=http://mysrc.com:9200/my_index --output=http://mydest.com:9200/my_index --type=mapping
elasticdump --input=http://mysrc.com:9200/my_index --output=http://mydest.com:9200/my_index --type=data
매핑이 일정하게 유지되는 경우 후속 복사본에 대한 첫 번째 elasticdump 명령을 건너 뛸 수 있습니다.
위와 같이 아무 문제없이 AWS에서 Qbox.io로 방금 마이그레이션했습니다.
자세한 내용은 다음을 참조하십시오.
https://www.npmjs.com/package/elasticdump
완전성을 위해 포함 된 도움말 페이지 (2016 년 2 월 기준) :
elasticdump: Import and export tools for elasticsearch
Usage: elasticdump --input SOURCE --output DESTINATION [OPTIONS]
--input
Source location (required)
--input-index
Source index and type
(default: all, example: index/type)
--output
Destination location (required)
--output-index
Destination index and type
(default: all, example: index/type)
--limit
How many objects to move in bulk per operation
limit is approximate for file streams
(default: 100)
--debug
Display the elasticsearch commands being used
(default: false)
--type
What are we exporting?
(default: data, options: [data, mapping])
--delete
Delete documents one-by-one from the input as they are
moved. Will not delete the source index
(default: false)
--searchBody
Preform a partial extract based on search results
(when ES is the input,
(default: '{"query": { "match_all": {} } }'))
--sourceOnly
Output only the json contained within the document _source
Normal: {"_index":"","_type":"","_id":"", "_source":{SOURCE}}
sourceOnly: {SOURCE}
(default: false)
--all
Load/store documents from ALL indexes
(default: false)
--bulk
Leverage elasticsearch Bulk API when writing documents
(default: false)
--ignore-errors
Will continue the read/write loop on write error
(default: false)
--scrollTime
Time the nodes will hold the requested search in order.
(default: 10m)
--maxSockets
How many simultaneous HTTP requests can we process make?
(default:
5 [node <= v0.10.x] /
Infinity [node >= v0.11.x] )
--bulk-mode
The mode can be index, delete or update.
'index': Add or replace documents on the destination index.
'delete': Delete documents on destination index.
'update': Use 'doc_as_upsert' option with bulk update API to do partial update.
(default: index)
--bulk-use-output-index-name
Force use of destination index name (the actual output URL)
as destination while bulk writing to ES. Allows
leveraging Bulk API copying data inside the same
elasticsearch instance.
(default: false)
--timeout
Integer containing the number of milliseconds to wait for
a request to respond before aborting the request. Passed
directly to the request library. If used in bulk writing,
it will result in the entire batch not being written.
Mostly used when you don't care too much if you lose some
data when importing but rather have speed.
--skip
Integer containing the number of rows you wish to skip
ahead from the input transport. When importing a large
index, things can go wrong, be it connectivity, crashes,
someone forgetting to `screen`, etc. This allows you
to start the dump again from the last known line written
(as logged by the `offset` in the output). Please be
advised that since no sorting is specified when the
dump is initially created, there's no real way to
guarantee that the skipped rows have already been
written/parsed. This is more of an option for when
you want to get most data as possible in the index
without concern for losing some rows in the process,
similar to the `timeout` option.
--inputTransport
Provide a custom js file to us as the input transport
--outputTransport
Provide a custom js file to us as the output transport
--toLog
When using a custom outputTransport, should log lines
be appended to the output stream?
(default: true, except for `$`)
--help
This page
Examples:
# Copy an index from production to staging with mappings:
elasticdump \
--input=http://production.es.com:9200/my_index \
--output=http://staging.es.com:9200/my_index \
--type=mapping
elasticdump \
--input=http://production.es.com:9200/my_index \
--output=http://staging.es.com:9200/my_index \
--type=data
# Backup index data to a file:
elasticdump \
--input=http://production.es.com:9200/my_index \
--output=/data/my_index_mapping.json \
--type=mapping
elasticdump \
--input=http://production.es.com:9200/my_index \
--output=/data/my_index.json \
--type=data
# Backup and index to a gzip using stdout:
elasticdump \
--input=http://production.es.com:9200/my_index \
--output=$ \
| gzip > /data/my_index.json.gz
# Backup ALL indices, then use Bulk API to populate another ES cluster:
elasticdump \
--all=true \
--input=http://production-a.es.com:9200/ \
--output=/data/production.json
elasticdump \
--bulk=true \
--input=/data/production.json \
--output=http://production-b.es.com:9200/
# Backup the results of a query to a file
elasticdump \
--input=http://production.es.com:9200/my_index \
--output=query.json \
--searchBody '{"query":{"term":{"username": "admin"}}}'
------------------------------------------------------------------------------
Learn more @ https://github.com/taskrabbit/elasticsearch-dump`enter code here`
답변
ElasticDump 사용
1) yum 설치 epel-release
2) yum install nodejs
3) yum 설치 npm
4) npm install elasticdump
5) cd node_modules / elasticdump / bin
6)
./elasticdump \
--input=http://192.168.1.1:9200/original \
--output=http://192.168.1.2:9200/newCopy \
--type=data
답변
당신은 사용할 수 있습니다 / 스냅 샷을 복원 이를 위해 Elasticsearch에서 사용할 수있는 기능. 파일 시스템 기반 스냅 샷 저장소를 설정하면 클러스터간에 이동하고 다른 클러스터에서 복원 할 수 있습니다.
답변
ELK 2.4.3에서 ELK 5.1.1로 데이터를 이동하기 위해 우분투를 시도했습니다.
다음은 단계입니다
$ sudo apt-get update
$ sudo apt-get install -y python-software-properties python g++ make
$ sudo add-apt-repository ppa:chris-lea/node.js
$ sudo apt-get update
$ sudo apt-get install npm
$ sudo apt-get install nodejs
$ npm install colors
$ npm install nomnom
$ npm install elasticdump
홈 디렉토리에서
$ cd node_modules/elasticdump/
명령을 실행
기본 http 인증이 필요한 경우 다음과 같이 사용할 수 있습니다.
--input=http://name:password@localhost:9200/my_index
프로덕션에서 색인 복사 :
$ ./bin/elasticdump --input="http://Source:9200/Sourceindex" --output="http://username:password@Destination:9200/Destination_index" --type=data
답변
_reindex옵션 도 있습니다
문서에서 :
버전 5.x 이상에서 사용 가능한 Elasticsearch reindex API를 통해 새 Elasticsearch Service 배포를 이전 Elasticsearch 클러스터에 원격으로 연결할 수 있습니다. 이렇게하면 이전 클러스터에서 데이터를 가져와 새 클러스터에 인덱싱합니다. 재 인덱싱은 기본적으로 인덱스를 처음부터 다시 작성하므로 실행하는 데 더 많은 리소스가 필요할 수 있습니다.
POST _reindex
{
"source": {
"remote": {
"host": "https://REMOTE_ELASTICSEARCH_ENDPOINT:PORT",
"username": "USER",
"password": "PASSWORD"
},
"index": "INDEX_NAME",
"query": {
"match_all": {}
}
},
"dest": {
"index": "INDEX_NAME"
}
}
답변
두 번째 서버를 클러스터에 추가 할 수있는 경우 다음을 수행 할 수 있습니다.
- 서버 A가있는 클러스터에 서버 B 추가
- 인덱스의 복제본 수 증가
- ES는 인덱스를 서버 B에 자동으로 복사합니다.
- 서버 A 닫기
- 인덱스의 복제본 수 감소
이것은 교체 수가 노드 수와 같은 경우에만 작동합니다.
답변
누구든지 동일한 문제가 발생하면 elasticsearch <2.0에서> 2.0으로 덤프하려고 할 때 다음을 수행해야합니다.
elasticdump --input=http://localhost:9200/$SRC_IND --output=http://$TARGET_IP:9200/$TGT_IND --type=analyzer
elasticdump --input=http://localhost:9200/$SRC_IND --output=http://$TARGET_IP:9200/$TGT_IND --type=mapping
elasticdump --input=http://localhost:9200/$SRC_IND --output=http://$TARGET_IP:9200/$TGT_IND --type=data --transform "delete doc.__source['_id']"