时间:2021-05-22
发现elasticsearch集群的状态是red,unassign的分片数很多,看了下都是些旧的日期的索引(应该是定时任务删除失败导致的)。
curl -XGET ip:port/_cat/shards | grep UNASSIGNED数量有几百个,写个脚本处理下,先恢复成green。red状态好像会影响索引创建和数据迁移
先把需要删除的索引导出到文件
curl -XGET ip:port/_cat/shards | grep UNASSIGNED >> needDelIndex.txt确认下要删除的索引列表。没问题就执行下面删除shell(es的ip和端口需要修改下)
#!/bin/bashecho "$1"esUrl=${esip}:${esport}indexfile=needDelIndex.txt#cp -f /dev/null ${indexfile}#curl -XGET ip:port/_cat/shards | grep UNASSIGNED >> needDelIndex.txtif [ ! -f ./${indexfile} ]; then echo $indexfile not exists exit 0filogfile=esindex_del.`date +"%m-%d"`.logcp -f /dev/null ${logfile}lastIndexName="test"for item in `cat ${indexfile} | awk '{print $1}'`do if [ "$item" = "error" ] then continue fi if [ "$item" != "$lastIndexName" ] then curl -XDELETE ${esUrl}/${item} >> ${logfile} echo ---------${item} `date` >> ${logfile} sleep 5 fi lastIndexName=${item}done因为我们的索引是按天创建的,索引名前缀是yyyy-MM-dd, 保留一段时间后需要批量删除。shell的第一个参数为yyyy-MM-dd,将删除该天及以前的旧索引
#!/bin/bashesUrl=${esip}:${esport}echo "$1"if [ $# -ge 1 ]then deleteDate=$1else echo "please inpust detete esindex's date(yyyy-MM-dd)" exit 0fiindexfile=esindex.infocp -f /dev/null ${indexfile}curl '${esUrl}/_cat/indices' >> ${indexfile}logfile=esindex_del.`date +"%m-%d"`.outcp -f /dev/null ${logfile}for item in `cat ${indexfile} | awk '{print $3}'`do if [ "$item" = "error" ] then continue fi parameter=${esUrl}/${item} indexdate=${item:0:10} if [ "$indexdate" = "$deleteDate" ] then curl -XDELETE ${parameter} >> ${logfile} echo ---------${item} >> ${logfile} sleep 5 elif [[ "$indexdate" < "$deleteDate" ]] then curl -XDELETE ${parameter} >> ${logfile} echo ---------${item} >> ${logfile} sleep 5 fidone总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
这篇文章主要介绍了编写shell脚本,使用iconv批量改变文件编码的脚本代码,需要的朋友可以参考下。用法示例:cd~/workspace/XXXProject
Shell脚本Shell脚本(shellscript),是一种为shell编写的脚本程序。业界所说的shell通常都是指shell脚本,但读者朋友要知道,she
背景在开发中我们在特定的场合下可能需要一些脚本来批量处理我们的业务逻辑,在nodejs如何调用shell脚本呢?新建项目下新建脚本文件touchnewFile.
1、有的时候我们在使用ES由于资源有限或业务需求,我们只想保存最近一段时间的数据,所以有必要做定时删除数据。2、编写脚本vimdel_es_by_day.sh#
一例批量转换目录下文件编码的shell脚本代码。需求描述:由于从window转linux过来,很多原来win下的gbk文件需要转换成utf8。以下脚本仅判断非u