记一次黑客攻防 - xidui

2018-10-07 tech hacker security troubleshooting 12 mins 9 图 4516 字

偶然发现这篇黑客攻防的文章，写的详细很有学习价值。作者是 leetcode 的员工，目前就职谷歌。原文：https://xidui.github.io/2017/03/29/一个藏匿在黑客迷雾下的bug/

前言

细细回想这几周经历的问题以及过程，还是真是挺有趣的，迫不及待地希望整理一下总结给各位看官。关于文章的标题，如何既能吸引读者，又能避免标题党的嫌疑，着实让我斟酌了一番，后来就定了在坐看到的这个版本，个人觉得没毛病~

让我们进入正题

阶段一

3月10日

leetcode完成主数据库迁移，一步步往分布式架构扩展

3月15日

收到了一封黑客的邮件，说发现了系统漏洞，并勒索

3月17日中午

发现user ranking功能失效经检查，是因为我们迁移了主数据库的原因。老数据库所在的机器有一个daily job每天自动更新用户排名。由于新数据库机器的ip不一样，导致脚本过去7天都没有正常工作。于是修改了配置，继续投入使用。

3月17日下午5点

不少用户在twitter抱怨无法登陆，我自己也试了一下，确实无法登陆。但是除了登录api，其它所有的api都没有问题，已经登陆的用户也都能正常做题。这不禁让我们想到了2天前收到的黑客邮件，怀疑黑客正在攻击。于是开始检查各种系统参数和日志。检查到旧的数据库所在机器，有一个很奇怪的参数，发现mysqld进程的cpu占用率将近100%，明明这个旧的mysql已经弃用了，到底是谁在里面呢？登录mysql去一探究竟：

在 Docker 中运行 rsync 服务端和客户端

2018-10-05 tech docker linux rsync 5 mins 1953 字

背景

最近给服务器组件全部用上了容器化，为了统一管理，也使用了 rsync 的容器化版本。我在早前的文章里——《搭建 rsync 服务器》也有介绍过 rsync，只不过我是用的是常用的二进制安装的版本。

什么是 rsync

rsync命令是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

方案

rsync包括两个部分：服务端和客户端。下面我分别介绍两者的容器化方案，均为网上开源的项目，我仅在使用的时候做了少量修改。

服务端

axiom/rsync-server

自定义很强的服务端，从官方的readme中也体现出来了。根据我的需要，我做了一个简单的调整，在需要同步的文件夹下运行如下 docker run 命令，便运行一个 rsync 服务端。需要注意的是将防火墙上相应的端口打开。

!/bin/bash

docker run -d --name=rsync-server-$(basename $(pwd)) \
    -v $(pwd):/backup \
    -e VOLUME=/backup \
    -v /root/.ssh/authorized_keys:/root/.ssh/authorized_keys \
    -p 10022:22 \
    axiom/rsync-server

在上面的命令中，我启动了一个主机端口映射为10022的rsync-server的容器。

客户端

参考了掘金的这篇文章《通过Docker中运行rsync备份服务器》，将相关参数写到了docker-compose文件里，事先定义好ssh登陆密钥和config文件，在同级目录下运行 docker-compose up -d即可。

ssh配置:

Host    cdn
  HostName        backup1.kelu.org
  Port            10022
  User            root
  IdentityFile    ~/.ssh/db
Host    db
  HostName        backup1.kelu.org
  Port            10023
  User            root
  IdentityFile    ~/.ssh/db

在ssh的配置中，我定义了一个db和一个cdn的连接，并指定端口和登陆密钥。端口为上文中定义好的10022端口和10023端口。

docker-compose.yml:

version:  '3.2'
services:
  rsync:
    image: instrumentisto/rsync-ssh
    restart: always
    volumes:
      - ${HOME}/.ssh:/root/.ssh
      - /backup:/backup
    entrypoint:
      - /bin/sh
      - -c
      - |
        function log() {
          echo -e "`date -d @$$((\`date +%s\`+3600*8)) '+%Y-%m-%d %H:%M:%S'` $$@"
        }

        # backup <备份名> <服务器地址>
        function backup() {
          log "============================"
          log "begin: $$1"
          rsync -az --timeout=3600 -P --partial --delete -e ssh $$2:/backup /backup/$$2
          log "end: $$1"
        }

        while true
        do
          backup "cdn" cdn
          backup "db" db
          sleep 3000
        done

使用以下命令运行客户端：

docker-compose up -d

可以使用 docker logs -f xxx 命令来查看同步日志。

整个过程还是非常顺利的，没有遇到特别的问题。

参考资料

在 Docker 中运行 dropbox 客户端

2018-10-04 tech docker linux 2 mins 1035 字

背景

最近给服务器组件全部用上了容器化，为了统一管理，参考 dropbox 命令行脚本做了一个容器化的客户端。

方案

Dropbox命令行脚本可参考原先我记录的文章——《在Linux上使用dropbox》。

我已经创建好了镜像，两步便可成功：

启动容器：

映射两个文件夹即可，一个是内容文件夹，一个是配置文件夹：

docker run --name=dropbox -d \
  -v /root/Dropbox:/root/Dropbox \
  -v /root/.dropbox:/root/.dropbox \
  kelvinblood/dropbox

关联账号

docker logs -f dropbox

查看容器的日志，然后浏览器访问认证链接：

This computer isn't linked to any Dropbox account...
Please visit https://www.dropbox.com/cli_link_nonce?nonce=e184433d7baeda90883461fecf1f3b8e to link this device.

访问链接即可。

在运行过程中，可以直接使用命令行查看同步情况：

docker exec dropbox python /dropbox.py status

实现细节

我已经放到github上去了，可以直接参考：kelvinblood/docker-dropbox

dockerfile：

FROM python:2-slim-jessie

ADD src/* /

RUN apt-get update \
    && apt-get install -y wget \
    && wget "https://www.dropbox.com/download?plat=lnx.x86_64" \
    && mv download\?plat=lnx.x86_64 dropbox.tgz \
    && tar xzf dropbox.tgz \
    && rm dropbox.tgz

WORKDIR /root
ENTRYPOINT ["/.dropbox-dist/dropboxd"]

参考资料

《在Linux上使用dropbox》

Linux 使用 ssh-keygen 生成 RSA 密钥对

2018-10-03 tech linux 5 mins 1788 字

什么是 SSH 和 RSA密钥

RSA 是一种公钥加密算法，在 1977 年由麻省理工学院的 Ron Rivest, Adi Shamir, Leonard Adleman 三人一起提出，因此该算法命名以三人姓氏首字母组合而成。

SSH 是 Secure Shell 缩写，是建立在应用层和传输层基础上的安全协议，为计算机上运行的 Shell 提供安全的传输和使用环境。

传统的 rsh, FTP, POP 和 Telnet 网络协议因为传输时采用明文，很容易受到中间人方式攻击。为了防止远程传输信息出现泄露，SSH 协议支持对传输的数据进行加密，因此它还能防止 DNS 和 IP 欺骗。另外采取 SSH 协议传输的数据可以进行压缩，所以可以加快数据传输速度。最初 SSH 协议由芬兰的 Tatu Ylönen 在 1995 年设计开发，目前属于 SSH Communications Security 拥有，由于版权原因，1999 年 10 月开源软件 OpenSSH 被开发出来，它已成为事实上的 SSH 协议标准实现（SSH Communications Security 提供的 SSH 软件使用不同于 OpenSSH 的私钥格式），也是目前 Linux 标准配置。

工具

OpenSSH 提供了以下几个工具：

ssh：实现 SSH 协议，用以建立安全连接，它替代了较早的 rlogin 和 Telnet。
scp, sftp：利用 SSH 协议远程传输文件，它替代了较早的 rcp。
sshd：SSH 服务器守护进程，运行在服务器端。
ssh-keygen：用以生成 RSA 或 DSA 密钥对。
ssh-agent, ssh-add：管理密钥的工具。
ssh-keyscan：扫描网络中的主机，记录找到的公钥。

方案

交互界面生成命令

$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/xavier/.ssh/id_rsa): id_rsa
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in id_rsa.
Your public key has been saved in id_rsa.pub.
The key fingerprint is:
ce:89:59:3d:a1:3a:99:b3:01:46:78:0f:d1:cc:d4:fa xavier@Qbee-X
The key's randomart image is:
+--[ RSA 2048]----+
|    .=..         |
|   . .+ .        |
|  . +  .  .      |
|   o o.  o .     |
|    o ..S o      |
|   . . XE. .     |
|      X +        |
|       =         |
|      .          |
+-----------------+

ssh-keygen 默认使用 RSA 算法，长度为 2048 位，生成一个私钥文件 id_rsa 和一个公钥文件 id_rsa.pub，两个文件默认保存在用户的 ~/.ssh 目录下。你可以在命令行交互过程指定密钥文件路径，也可以设置密钥口令，如果设置了密钥口令，在使用密钥进行登录时，需要输入口令。

快速生成命令

ssh-keygen -t rsa -P '' -f '/root/.ssh/id_rsa'

执行后将会生成 id_rsa 的密钥和 id_rsa.pub 的公钥。

拷贝公钥到远程机器

ssh-copy-id -i kelu@kelu.org.pub app@localhost

以密钥验证scp免密

 scp -i /home/app/.ssh/id_rsa app@localhost:/home/app/test.sh /tmp

参考资料

在 Linux CLI 使用 ssh-keygen 生成 RSA 密钥

shell 脚本中切换用户并执行命令

2018-10-02 tech shell 1 mins 636 字

背景

目前使用的是超级用户root，然而我需要使用脚本批量运行一些命令行，然而由于用户权限的原因无法直接使用。

对于常规的系统，我通常使用 sudo -u 的方式进行切换，例如备份 postgresql 数据库时：

sudo -u postgres pg_dump -F c -Z 9 -d abc > abc.dump

如果是没有 sudo 的系统，应当如何解决呢？

方案

还是以上文备份 postgresql 数据库为例，

如果只需要执行一行命令，使用：

su - postgres -c "pg_dump -F c -Z 9 -d abc > abc.dump"

如果执行多行命令，如下:

su - postgres <<EOF
/bin/bash -c "psql -c \"CREATE USER abc WITH PASSWORD 'abc';\""
/bin/bash -c "psql -c \"CREATE DATABASE abc OWNER abc;\""
/bin/bash -c "psql -c \"GRANT ALL PRIVILEGES ON DATABASE abc to abc;\""
pg_dump -F c -Z 9 -d abc > /var/lib/postgresql/dump/abc.dump
EOF

参考资料

How can I set the timezone please? #136 - github issue

Docker Alpine 镜像设置东八区

2018-10-01 tech docker alpine 2 mins 816 字

背景

最近做了一个alpine镜像，需要打印日志，发现打印出来的日志时间不对，需要对它进行时区设置。

镜像基于postgres:9.4-alpine

什么是 alpine

Alpine Linux Docker 镜像基于 Alpine Linux操作系统，后者是一个面向安全的轻型Linux发行版。不同于通常Linux发行版，Alpine Linux采用了musl libc和busybox以减小系统的体积和运行时资源消耗。在保持瘦身的同时，Alpine Linux还提供了自己的包管理工具apk，可以在其网站上查询，或者直接通过apk命令查询和安装。

Alpine Linux使用了musl，可能和其他Linux发行版使用的glibc实现会有所不同。在容器化中最可能遇到的是DNS问题，即musl实现的DNS服务不会使用resolv.conf文件中的search和domain两个配置，这对于一些通过DNS来进行服务发现的框架可能会遇到问题。

Alpine Linux Docker 镜像主要特点是容量非常小，只有5M，且拥有非常友好的包管理器。

方案

针对我的场景，为 alpine 设置TZ环境变量即可：

FROM postgres:9.4-alpine

ENV TZ=Asia/Shanghai

而相对于原生的alpine系统，可能需要更多的一些工作，例如安装tzdata，具体做法如下：

RUN apk update && apk add ca-certificates && update-ca-certificates && apk add --update tzdata
ENV TZ=Asia/Shanghai
RUN rm -rf /var/cache/apk/*

参考资料

How can I set the timezone please? #136 - github issue

« 1 2 ... 85 86 87 88 89 ... 161 162 »