曾国藩:一勤天下无难事

AWS常用cli命令

2019.03.09

写在前边的话

对AWS服务操作可以通过管理控制台、各语言SDK、CLI以及API等方式。管理控制台最简单,可以直接通过Web界面操作,但是有些服务或者服务下的某些操作无法直接用控制台调用;

API的方式最复杂,需要自己生成哈希值签署请求以及处理请求错误等低级别的操作,AWS 的大部分服务都提供REST的API以及类似于REST的查询API,API提供的服务操作是最新最全面的;

SDK 的好处是封装好了请求签署与请求错误处理以及重试机制,用户只需要直接调用相关接口即可,但对于新的服务及操作的支持可能会滞后于API接口的发布。CLI 其实也可以看成SDK的一种,它是AWS 服务操作的一把瑞士军刀。

本文针对项目实践中所用到的 AWS 服务的常用 CLI 命令进行一个简单总结,方便以后查阅。

EC2

  1. 挂载 EBS

    • linux

      查看块设备: lsblk
      格式化磁盘: sudo mkfs -t ext4 /dev/xvdb
      挂载卷: sudo mount /dev/xvdb /mnt/mydir
      卸载卷: sudo umount /dev/xvdb
      
    • windows

      diskpart
      san policy=onlineall
      list disk
      disk yourdiskid
      attributes disk clear readonly
      online disk
      
  2. 实例操作

    aws ec2 describe-instances
    aws ec2 describe-instances --instance-ids "instanceid1" "instanceid2"
    aws ec2 start-instances --instance-ids "instanceid1" "instanceid2"
    aws ec2 stop-intances --instance-ids "instanceid1" "instanceid2" 
    aws ec2 run-instances --image-id ami-b6b62b8f --security-group-ids sg-xxxxxxxx --key-name mytestkey --block-device-mappings "[{\"DeviceName\": \"/dev/sdh\",\"Ebs\":{\"VolumeSize\":100}}]" --instance-type t2.medium --count 1 --subnet-id subnet-e8330c9c --associate-public-ip-address
    

    (Note: 若不指定subnet-id则会在默认vpc中去选,此时若指定了非默认vpc的安全组会出现请求错误。如无特殊要求,建议安全组和子网都不指定,就不会出现这种问题。)

  3. 查看region与AZ

    aws ec2 describe-region
    aws ec2 describe-availability-zones --region region-name
    
  4. 查看实例元数据和用户数据

    curl http://169.254.169.254/latest/meta-data/
    curl http://169.254.169.254/latest/user-data/
    
  5. 查看ami

    aws ec2 describe-images
    
  6. key-pair

    aws ec2 create-key-pair --key-name mykeyname
    
  7. 安全组

    aws ec2 create-security-group --group-name mygroupname --description mydescription --vpc-id vpc-id(若不指定vpc,则在默认vpc中创建安全组)
    aws ec2 authorize-security-group-ingress --group-id sg-xxxxyyyy --protocol tcp --port 22 --cidr 0.0.0.0/0
    aws ec2 authorize-security-group-ingress --group-id sg-xxxxyyyy --protocol tcp --port 9999 --source-group sg-xxxxxxxx
    

AutoScaling

  1. 列出AS组

    aws autoscaling describe-auto-scaling-groups
    
  2. 列出AS实例

    aws autoscaling describe-auto-scaling-instances --instance-ids [instance-id-1 instance-id-2 ...]
    
  3. 从组中分离实例

    aws autoscaling detach-instances --auto-scaling-group-name myasgroup --instance-ids instanceid1 instanceid2 [--should-decrement-desired-capacity|--no-should-decrement-desired-capacity]
    
  4. 附加实例到组

    aws autoscaling attach-instances --auto-scaling-group-name myasgroup --instance-ids instanceid1 instanceid2
    
  5. 挂起AS流程

    aws autoscaling suspend-process --auto-scaling-group-name myasgroup --scaling-processes AZRebalance|AlarmNotification|...
    
  6. 删除AS组

    aws autoscaling delete-auto-scaling-group --auto-scaling-group-name myasgroup
    

S3

  1. 查看

    aws s3 ls
    aws s3 ls s3://bucket
    aws s3 ls s3://bucket/prefix
    
  2. 拷贝

    aws s3 cp /to/local/path s3://bucket/prefix
    aws s3 cp s3://bucket/prefix /to/local/path
    aws s3 cp s3://bucket1/prefix1 s3://bucket2/prefix2
    
  3. 同步

    aws sync [--delete] /to/local/dir s3://bucket/prefixdir
    aws sync [--delete] s3://bucket/prefixdir /to/local/dir
    aws sync [--delete] s3://bucket1/prefixdir1 s3://bucket2/prefixdir2
    
  4. 手动分片上传

  • 文件分片

    split -b 40m myfile myfile-part-
    
  • 创建分片上传任务

    aws s3api create-multipart-upload --bucket bucketname --key prefix
    
    记录返回值
    {
        "Bucket": "bucketname", 
        "UploadId": "uploadeid", 
        "Key": "prefix"
    }
    
  • 上传分片

    aws s3api upload-part --bucket bucketname --key prefix --part-number [分片上传编号(e.g. 1,2,3...)] --body myfile-[x] --upload-id uploadid
    
  • 列出已上传分片,创建分片结构文件

    aws s3api list-parts --bucket bucketname --key prefix --upload-id uploadid
    
  • 将上命令结果中的parts部分保存为 temp 文件

    {
        "Parts":[
            {
                "PartNumber":1,
                "ETag":""xxxxxxx""
            },
            {
                "PartNumber":2,
                "ETag":""xxxxxxxx""
            }
        ]
    }
    
  • 结束分片上传任务

    aws s3api complete-multipart-upload --multipart-upload file://temp --bucket bucketname --key prefix --upload-id uploadid
    

IAM

  • Role 操作

    aws iam create-role MY-ROLE-NAME --assum-role-policy-document file://path/to/trustpolicy.json
    aws iam put-role-policy --role-name MY-ROLE-NAME --policy-name MY-PERM-POLICY --policy-document file://path/to/permissionpolicy.json
    aws iam create-instance-profile --instance-profile-name MY-INSTANCE-PROFILE
    aws iam add-role-to-instance-profile --instance-profile-name MY-INSTANCE-PROFILE --role-name MY-ROLE-NAME
    

AUTO-SCALING

  • 查看信息

    aws autoscaling describe-auto-scaling-groups
    aws autoscaling describe-auto-scaling-instances
    

STS

  • 代入ROLE的EC2实例的临时认证信息

    curl http://169.254.169.254/latest/meta-data/iam/security-credentials/ROLE-NAME
    

kinesis

  1. 创建流

    aws kinesis create-stream –stream-name mystream –shard-count
    
  2. 列出流

    aws kinesis list-streams
    
  3. 获取指定流的分片迭代器

    aws kinesis get-shard-iterator –stream-name mystream –shard-id shard-1 –shard-iterator-type TRIM_HORIZON
    
  4. 发送数据到流

    aws kinesis put-record –stream-name mystream –partition-key mykey –data test
    
  5. 获取流数据

    aws kinesis get-records –shard-iterator myiterator