记一次黑客攻防 - xidui

偶然发现这篇黑客攻防的文章,写的详细很有学习价值。作者是 leetcode 的员工,目前就职谷歌。原文:https://xidui.github.io/2017/03/29/一个藏匿在黑客迷雾下的bug/

前言

细细回想这几周经历的问题以及过程,还是真是挺有趣的,迫不及待地希望整理一下总结给各位看官。 关于文章的标题,如何既能吸引读者,又能避免标题党的嫌疑,着实让我斟酌了一番,后来就定了在坐看到的这个版本,个人觉得没毛病~

让我们进入正题

阶段一

3月10日

leetcode完成主数据库迁移,一步步往分布式架构扩展

3月15日

收到了一封黑客的邮件,说发现了系统漏洞,并勒索 img

3月17日中午

发现user ranking功能失效 经检查,是因为我们迁移了主数据库的原因。老数据库所在的机器有一个daily job每天自动更新用户排名。由于新数据库机器的ip不一样,导致脚本过去7天都没有正常工作。于是修改了配置,继续投入使用。

3月17日下午5点

不少用户在twitter抱怨无法登陆,我自己也试了一下,确实无法登陆。但是除了登录api,其它所有的api都没有问题,已经登陆的用户也都能正常做题。 img img img 这不禁让我们想到了2天前收到的黑客邮件,怀疑黑客正在攻击。于是开始检查各种系统参数和日志。检查到旧的数据库所在机器,有一个很奇怪的参数,发现mysqld进程的cpu占用率将近100%,明明这个旧的mysql已经弃用了,到底是谁在里面呢?登录mysql去一探究竟:


在 Docker 中运行 rsync 服务端和客户端

背景

最近给服务器组件全部用上了容器化,为了统一管理,也使用了 rsync 的容器化版本。我在早前的文章里——《搭建 rsync 服务器》也有介绍过 rsync,只不过我是用的是常用的二进制安装的版本。

什么是 rsync

rsync命令是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。rsync使用“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。

方案

rsync包括两个部分:服务端和客户端。下面我分别介绍两者的容器化方案,均为网上开源的项目,我仅在使用的时候做了少量修改。

服务端

axiom/rsync-server

自定义很强的服务端,从官方的readme中也体现出来了。根据我的需要,我做了一个简单的调整,在需要同步的文件夹下运行如下 docker run 命令,便运行一个 rsync 服务端。需要注意的是将防火墙上相应的端口打开。

!/bin/bash

docker run -d --name=rsync-server-$(basename $(pwd)) \
    -v $(pwd):/backup \
    -e VOLUME=/backup \
    -v /root/.ssh/authorized_keys:/root/.ssh/authorized_keys \
    -p 10022:22 \
    axiom/rsync-server

在上面的命令中,我启动了一个主机端口映射为10022的rsync-server的容器。

客户端

参考了掘金的这篇文章《通过Docker中运行rsync备份服务器》,将相关参数写到了docker-compose文件里,事先定义好ssh登陆密钥和config文件,在同级目录下运行 docker-compose up -d即可。

ssh配置:

Host    cdn
  HostName        backup1.kelu.org
  Port            10022
  User            root
  IdentityFile    ~/.ssh/db
Host    db
  HostName        backup1.kelu.org
  Port            10023
  User            root
  IdentityFile    ~/.ssh/db

在ssh的配置中,我定义了一个db和一个cdn的连接,并指定端口和登陆密钥。端口为上文中定义好的10022端口和10023端口。

docker-compose.yml:

version:  '3.2'
services:
  rsync:
    image: instrumentisto/rsync-ssh
    restart: always
    volumes:
      - ${HOME}/.ssh:/root/.ssh
      - /backup:/backup
    entrypoint:
      - /bin/sh
      - -c
      - |
        function log() {
          echo -e "`date -d @$$((\`date +%s\`+3600*8)) '+%Y-%m-%d %H:%M:%S'` $$@"
        }

        # backup <备份名> <服务器地址>
        function backup() {
          log "============================"
          log "begin: $$1"
          rsync -az --timeout=3600 -P --partial --delete -e ssh $$2:/backup /backup/$$2
          log "end: $$1"
        }

        while true
        do
          backup "cdn" cdn
          backup "db" db
          sleep 3000
        done

使用以下命令运行客户端:

docker-compose up -d

可以使用 docker logs -f xxx 命令来查看同步日志。

整个过程还是非常顺利的,没有遇到特别的问题。

参考资料


在 Docker 中运行 dropbox 客户端

背景

最近给服务器组件全部用上了容器化,为了统一管理,参考 dropbox 命令行脚本做了一个容器化的客户端。

方案

Dropbox命令行脚本可参考原先我记录的文章——《在Linux上使用dropbox》

我已经创建好了镜像,两步便可成功:

  1. 启动容器:

    映射两个文件夹即可,一个是内容文件夹,一个是配置文件夹:

    docker run --name=dropbox -d \
      -v /root/Dropbox:/root/Dropbox \
      -v /root/.dropbox:/root/.dropbox \
      kelvinblood/dropbox
    
  2. 关联账号

    docker logs -f dropbox
    

    查看容器的日志,然后浏览器访问认证链接:

    This computer isn't linked to any Dropbox account...
    Please visit https://www.dropbox.com/cli_link_nonce?nonce=e184433d7baeda90883461fecf1f3b8e to link this device.
    

    访问链接即可。

在运行过程中,可以直接使用命令行查看同步情况:

docker exec dropbox python /dropbox.py status

实现细节

我已经放到github上去了,可以直接参考:kelvinblood/docker-dropbox

dockerfile:

FROM python:2-slim-jessie

ADD src/* /

RUN apt-get update \
    && apt-get install -y wget \
    && wget "https://www.dropbox.com/download?plat=lnx.x86_64" \
    && mv download\?plat=lnx.x86_64 dropbox.tgz \
    && tar xzf dropbox.tgz \
    && rm dropbox.tgz

WORKDIR /root
ENTRYPOINT ["/.dropbox-dist/dropboxd"]

参考资料


Linux 使用 ssh-keygen 生成 RSA 密钥对

什么是 SSH 和 RSA密钥

RSA 是一种公钥加密算法,在 1977 年由麻省理工学院的 Ron Rivest, Adi Shamir, Leonard Adleman 三人一起提出,因此该算法命名以三人姓氏首字母组合而成。

SSH 是 Secure Shell 缩写,是建立在应用层和传输层基础上的安全协议,为计算机上运行的 Shell 提供安全的传输和使用环境。

传统的 rsh, FTP, POP 和 Telnet 网络协议因为传输时采用明文,很容易受到中间人方式攻击。为了防止远程传输信息出现泄露,SSH 协议支持对传输的数据进行加密,因此它还能防止 DNS 和 IP 欺骗。另外采取 SSH 协议传输的数据可以进行压缩,所以可以加快数据传输速度。最初 SSH 协议由芬兰的 Tatu Ylönen 在 1995 年设计开发,目前属于 SSH Communications Security 拥有,由于版权原因,1999 年 10 月开源软件 OpenSSH 被开发出来,它已成为事实上的 SSH 协议标准实现(SSH Communications Security 提供的 SSH 软件使用不同于 OpenSSH 的私钥格式),也是目前 Linux 标准配置。

工具

OpenSSH 提供了以下几个工具:

  1. ssh:实现 SSH 协议,用以建立安全连接,它替代了较早的 rlogin 和 Telnet。
  2. scp, sftp:利用 SSH 协议远程传输文件,它替代了较早的 rcp。
  3. sshd:SSH 服务器守护进程,运行在服务器端。
  4. ssh-keygen:用以生成 RSA 或 DSA 密钥对。
  5. ssh-agent, ssh-add:管理密钥的工具。
  6. ssh-keyscan:扫描网络中的主机,记录找到的公钥。

方案

交互界面生成命令

$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/xavier/.ssh/id_rsa): id_rsa
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in id_rsa.
Your public key has been saved in id_rsa.pub.
The key fingerprint is:
ce:89:59:3d:a1:3a:99:b3:01:46:78:0f:d1:cc:d4:fa xavier@Qbee-X
The key's randomart image is:
+--[ RSA 2048]----+
|    .=..         |
|   . .+ .        |
|  . +  .  .      |
|   o o.  o .     |
|    o ..S o      |
|   . . XE. .     |
|      X +        |
|       =         |
|      .          |
+-----------------+

ssh-keygen 默认使用 RSA 算法,长度为 2048 位,生成一个私钥文件 id_rsa 和一个公钥文件 id_rsa.pub,两个文件默认保存在用户的 ~/.ssh 目录下。你可以在命令行交互过程指定密钥文件路径,也可以设置密钥口令,如果设置了密钥口令,在使用密钥进行登录时,需要输入口令。

快速生成命令

ssh-keygen -t rsa -P '' -f '/root/.ssh/id_rsa'

执行后将会生成 id_rsa 的密钥和 id_rsa.pub 的公钥。

拷贝公钥到远程机器

ssh-copy-id -i kelu@kelu.org.pub app@localhost

以密钥验证scp免密

 scp -i /home/app/.ssh/id_rsa app@localhost:/home/app/test.sh /tmp

参考资料


shell 脚本中切换用户并执行命令

背景

目前使用的是超级用户root,然而我需要使用脚本批量运行一些命令行,然而由于用户权限的原因无法直接使用。

对于常规的系统,我通常使用 sudo -u 的方式进行切换,例如备份 postgresql 数据库时:

sudo -u postgres pg_dump -F c -Z 9 -d abc > abc.dump

如果是没有 sudo 的系统,应当如何解决呢?

方案

还是以上文备份 postgresql 数据库为例,

如果只需要执行一行命令,使用:

su - postgres -c "pg_dump -F c -Z 9 -d abc > abc.dump"

如果执行多行命令,如下:

su - postgres <<EOF
/bin/bash -c "psql -c \"CREATE USER abc WITH PASSWORD 'abc';\""
/bin/bash -c "psql -c \"CREATE DATABASE abc OWNER abc;\""
/bin/bash -c "psql -c \"GRANT ALL PRIVILEGES ON DATABASE abc to abc;\""
pg_dump -F c -Z 9 -d abc > /var/lib/postgresql/dump/abc.dump
EOF

参考资料


Docker Alpine 镜像设置东八区

背景

最近做了一个alpine镜像,需要打印日志,发现打印出来的日志时间不对,需要对它进行时区设置。

镜像基于postgres:9.4-alpine

什么是 alpine

Alpine Linux Docker 镜像基于 Alpine Linux操作系统,后者是一个面向安全的轻型Linux发行版。不同于通常Linux发行版,Alpine Linux采用了musl libc和busybox以减小系统的体积和运行时资源消耗。在保持瘦身的同时,Alpine Linux还提供了自己的包管理工具apk,可以在其网站上查询,或者直接通过apk命令查询和安装。

Alpine Linux使用了musl,可能和其他Linux发行版使用的glibc实现会有所不同。在容器化中最可能遇到的是DNS问题,即musl实现的DNS服务不会使用resolv.conf文件中的search和domain两个配置,这对于一些通过DNS来进行服务发现的框架可能会遇到问题。

Alpine Linux Docker 镜像主要特点是容量非常小,只有5M,且拥有非常友好的包管理器。

方案

针对我的场景,为 alpine 设置TZ环境变量即可:

FROM postgres:9.4-alpine

ENV TZ=Asia/Shanghai

而相对于原生的alpine系统,可能需要更多的一些工作,例如安装tzdata,具体做法如下:

RUN apk update && apk add ca-certificates && update-ca-certificates && apk add --update tzdata
ENV TZ=Asia/Shanghai
RUN rm -rf /var/cache/apk/*

参考资料