反向代理 GitHub Pages

2017-05-06 tech github 3 mins 1100 字

我的这个 blog 一直托管在 github 上。因为担心访问问题（貌似 Github 原本就是 GFW 屏蔽的？），配置了一个免费的 CDN：https://www.incapsula.com/，不得不说，其实还是不错的，可以避免访问不稳定的问题。缺点在于访问速度确实慢了，大概有1300-2000ms延迟。

手头上刚好有比较好的资源，就做了一个反向代理，效果不错，目前延迟在120-400ms，已经满足了。

配置反代也非常简单，就两步，DNS 重定向和 nginx 反代：

dns重定向

配置DNS重定向到目标服务器。

nginx

server {
    listen       80;
    server_name  blog.kelu.org;

    access_log off; #access_log end
    error_log /dev/null; #error_log end

    location / {
           proxy_pass         http://kelvinblood.github.io;
           proxy_redirect     off;
           proxy_set_header   Host                        $host;
           proxy_set_header   X-Real-IP               $remote_addr;
           proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
    }
}

配置说明：

proxy_set_header Host $host 设置请求头的Host为反向代理服务器的Host

proxy_set_header X-Real-IP $remote_addr 设置请求头的X-Real-IP为客户端真实IP

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for 把请求来源的IP添加到请求头的X-Forwarded-For字段

X-Forwarded-For:简称XFF头，它代表客户端，也就是HTTP的请求端真实的IP，只有在通过了HTTP代理或者负载均衡服务器时才会添加该项。 它不是RFC中定义的标准请求头信息，在squid缓存代理服务器开发文档中可以找到该项的详细介绍。 标准格式如下：X-Forwarded-For: client1, proxy1, proxy2。

Hubot 脚本与开发文档一中文

2017-05-05 tech linux 14 mins 5036 字

每次看英文文档都有点头疼，做了一些简要的翻译给自己看。原文请看https://hubot.github.com/docs/scripting/

接收和回复
给指定群组或用户的消息
捕获数据
进行HTTP调用
随机
Topic
进入和离开聊天室
自定义房间人员
环境变量
依赖
HTTP监听器
事件
错误处理
记录脚本
持久化
脚本
- 加载脚本
- 共享脚本
中间件
- 监听中间件
- 接收中间件
- 回复中间件
测试

正文：

安装好hubot后，根目录下会生成一个 scripts 目录，里面有个可用的 demo 文件example.coffee，大致如下：

# Description:
#   Example scripts for you to examine and try out.
#
# Notes:
#   They are commented out by default, because most of them are pretty silly and
#   wouldn't be useful and amusing enough for day to day huboting.
#   Uncomment the ones you want to try and experiment with.
#
#   These are from the scripting documentation: https://github.com/github/hubot/blob/master/docs/scripting.md

module.exports = (robot) ->

 robot.hear /kelutest/i, (res) ->
   res.send "Badgers? BADGERS? WE DON'T NEED NO STINKIN BADGERS"
  #
  # robot.respond /open the (.*) doors/i, (res) ->
  #   doorType = res.match[1]
  #   if doorType is "pod bay"
  #     res.reply "I'm afraid I can't let you do that."
  #   else
  #     res.reply "Opening #{doorType} doors"

要使得你编写的script生效，需要满足一下三个条件：

在scripts文件夹中
.coffee 或 .js 文件

导出一个方法

  module.exports = (robot) ->
    # your code here

接收和回复

module.exports = (robot) ->
  robot.hear /badger/i, (res) ->
    res.send "Badgers? BADGERS? WE DON'T NEED NO STINKIN BADGERS"

  robot.respond /open the pod bay doors/i, (res) ->
    res.reply "I'm afraid I can't let you do that."

  robot.hear /I like pie/i, (res) ->
    res.emote "makes a freshly baked pie"

hear 所有匹配信息
send 发送消息
respond 群组消息中只处理@自己的信息
reply 群组消息中回复特定人的消息

给指定群组或用户的消息

可以使用messageRoom函数发送到指定的房间或用户，可以明确地指定用户名（对于管理员/管理员），或者使用响应对象将私人消息发送到原始发件人。

  robot.respond /I don't like Sam-I-am/i, (res) ->
    room =  'joemanager'
    robot.messageRoom room, "Someone does not like Dr. Seus"
    res.reply  "That Sam-I-am\nThat Sam-I-am\nI do not like\nthat Sam-I-am"

  robot.hear /Sam-I-am/i, (res) ->
    room =  res.envelope.user.name
    robot.messageRoom room, "That Sam-I-am\nThat Sam-I-am\nI do not like\nthat Sam-I-am"

捕获数据

res.match 存有 match 传入消息与正则表达式的结果。这是一个数组，索引起始是0。比如：

  robot.respond /open the (.*) doors/i, (res) ->
    doorType = res.match[1]
    if doorType is "pod bay"
      res.reply "I'm afraid I can't let you do that."
    else
      res.reply "Opening #{doorType} doors"

进行HTTP调用

Hubot可以集成使用第三方API。通过 node-scoped-http-client 插件的robot.http,可以进行http调用。最简单的情况如下：

get:

   robot.http("http://blog.kelu.org")
     .get() (err, res, body) ->
       # your code here

post:

    data = JSON.stringify({
      foo: 'bar'
    })
    robot.http("http://blog.kelu.org")
      .header('Content-Type', 'application/json')
      .post(data) (err, res, body) ->
        # your code here     

处理错误：

  robot.http("https://midnight-train")
    .get() (err, res, body) ->
      if err
        res.send "Encountered an error :( #{err}"
        return
      # your code here, knowing it was successful            

如果需要处理返回头部信息，应该如下操作：

  robot.http("https://midnight-train")
    .get() (err, res, body) ->
      # pretend there's error checking code here

      if res.statusCode isnt 200
        res.send "Request didn't come back HTTP 200 :("
        return

      rateLimitRemaining = parseInt res.getHeader('X-RateLimit-Limit') if res.getHeader('X-RateLimit-Limit')
      if rateLimitRemaining and rateLimitRemaining < 1
        res.send "Rate Limit hit, stop believing for awhile"

      # rest of your code
      res.send "Got back #{body}"

json

我们可以使用 json.parse 进行解析，有可能得到非JSON，为了安全起见，应该检查Content-Type ，并在解析时捕获错误。

  robot.http("https://midnight-train")
    .header('Accept', 'application/json')
    .get() (err, res, body) ->
      # err & response status checking code here

      if response.getHeader('Content-Type') isnt 'application/json'
        res.send "Didn't get back JSON :("
        return

      data = null
      try
        data = JSON.parse body
      catch error
       res.send "Ran into an error parsing JSON :("
       return

      # your code here

xml

比较麻烦，可以参考以下几个库：

xml2json (使用简单，容易受限)
jsdom
xml2js

截图

参考以下库

cheerio (familiar syntax and API to jQuery)
jsdom (JavaScript implementation of the W3C DOM)

高级HTTP和HTTPS设置

如上所述，hubot使用 node-scoped-http-client 来提供一个简单的接口来进行HTTP和HTTPS请求。

如果需要更直接地控制http和https，则将第二个参数传递给robot.http ，该参数将被传递给节点robot.http -http-client，该参数将传递给http和https：

  options =
    # don't verify server certificate against a CA, SCARY!
    rejectUnauthorized: false
  robot.http("https://midnight-train", options)

如果 node-scoped-http-client 不满足需求，我们也可以直接使用http和https ，或者其他节点库（如request/request）。

随机

lulz = ['lol', 'rofl', 'lmao']

res.send res.random lulz

Topic

可以修改房间的主题

  module.exports = (robot) ->
    robot.topic (res) ->
      res.send "#{res.message.text}? That's a Paddlin'"

进入和离开聊天室

enterReplies = ['Hi', 'Target Acquired', 'Firing', 'Hello friend.', 'Gotcha', 'I see you']
leaveReplies = ['Are you still there?', 'Target lost', 'Searching']

module.exports = (robot) ->
  robot.enter (res) ->
    res.send res.random enterReplies
  robot.leave (res) ->
    res.send res.random leaveReplies

nginx location 总结、rewrite 规则写法与其它通用配置

2017-05-03 tech nginx 42 mins 1 图 14836 字

本文转自《nginx配置location总结及rewrite规则写法》与《nginx服务器安装及配置文件详解》，有删减。

1. location正则写法

示例：

location  = / {
  # 精确匹配 / ，主机名后面不能带任何字符串
  [ configuration A ]
}
location  / {
  # 因为所有的地址都以 / 开头，所以这条规则将匹配到所有请求
  # 但是正则和最长字符串会优先匹配
  [ configuration B ]
}
location /documents/ {
  # 匹配任何以 /documents/ 开头的地址，匹配符合以后，还要继续往下搜索
  # 只有后面的正则表达式没有匹配到时，这一条才会采用这一条
  [ configuration C ]
}
location ~ /documents/Abc {
  # 匹配任何以 /documents/Abc 开头的地址，匹配符合以后，还要继续往下搜索
  # 只有后面的正则表达式没有匹配到时，这一条才会采用这一条
  [ configuration CC ]
}
location ^~ /images/ {
  # 匹配任何以 /images/ 开头的地址，匹配符合以后，停止往下搜索正则，采用这一条。
  [ configuration D ]
}
location ~* \.(gif|jpg|jpeg)$ {
  # 匹配所有以 gif,jpg或jpeg 结尾的请求
  # 然而，所有请求 /images/ 下的图片会被 config D 处理，因为 ^~ 到达不了这一条正则
  [ configuration E ]
}
location /images/ {
  # 字符匹配到 /images/，继续往下，会发现 ^~ 存在
  [ configuration F ]
}
location /images/abc {
  # 最长字符匹配到 /images/abc，继续往下，会发现 ^~ 存在
  # F与G的放置顺序是没有关系的
  [ configuration G ]
}
location ~ /images/abc/ {
  # 只有去掉 config D 才有效：先最长匹配 config G 开头的地址，继续往下搜索，匹配到这一条正则，采用
    [ configuration H ]
}
location ~* /js/.*/\.js

=开头表示精确匹配如 A 中只匹配根目录结尾的请求，后面不能带任何字符串。
^~ 开头表示uri以某个常规字符串开头，不是正则匹配
~ 开头表示区分大小写的正则匹配;
~* 开头表示不区分大小写的正则匹配
/ 通用匹配, 如果没有其它匹配,任何请求都会匹配到

顺序 no优先级：

启动php-fpm状态页

2017-05-02 tech php 5 mins 1860 字

上一篇写了 nginx 状态页，这一篇写一下 php-fpm 状态页。

开启

在你的 php-fpm.conf 的项目配置中打开如下配置:

pm.status_path = /_status

重启 php-fpm。

nginx 中也添加配置，大概如下面这样：

 location = /_status {
     fastcgi_pass                               unix:/var/local/fpm-pools/wechat/php-fpm.sock;
     include                                    fastcgi.conf;
     fastcgi_param           SCRIPT_NAME        /_status;
 }

将请求传给socket，再由php-fpm进行内容生成。生成的内容大致如下：

pool:                 wechat
process manager:      dynamic
start time:           06/May/2017:14:59:51 +0800
start since:          363832
accepted conn:        27141
listen queue:         0
max listen queue:     0
listen queue len:     0
idle processes:       2
active processes:     1
total processes:      3
max active processes: 10
max children reached: 0
slow requests:        65

内容解释：

pool – fpm池子名称，大多数为www
process manager – 进程管理方式,值：static, dynamic or ondemand. dynamic
start time – 启动日期,如果reload了php-fpm，时间会更新
start since – 运行时长
accepted conn – 当前池子接受的请求数
listen queue – 请求等待队列，如果这个值不为0，那么要增加FPM的进程数量
max listen queue – 请求等待队列最高的数量
listen queue len – socket等待队列长度
idle processes – 空闲进程数量
active processes – 活跃进程数量
total processes – 总进程数量
max active processes – 最大的活跃进程数量（FPM启动开始算）
max children reached - 大道进程最大数量限制的次数，如果这个数量不为0，那说明你的最大进程数量太小了，请改大一点。
slow requests – 启用了php-fpm slow-log，缓慢请求的数量

另外 php-fpm 状态页还可以带参数，可以带get参数json、xml、html，并且可以分别和full做一个组合。

full详解

pid – 进程PID，可以单独kill这个进程. You can use this PID to kill a long running process.
state – 当前进程的状态 (Idle, Running, …)
start time – 进程启动的日期
start since – 当前进程运行时长
requests – 当前进程处理了多少个请求
request duration – 请求时长（微妙）
request method – 请求方法 (GET, POST, …)
request URI – 请求URI
content length – 请求内容长度 (仅用于 POST)
user – 用户 (PHP_AUTH_USER) (or ‘-’ 如果没设置)
script – PHP脚本 (or ‘-’ if not set)
last request cpu – 最后一个请求CPU使用率。
last request memorythe - 上一个请求使用的内存

php-fpm状态页可以使用zabbix或者nagios统一进行监控。

搭建 IntelliJ 激活服务器

2017-04-30 tech linux 1 mins 688 字

毕竟不是什么光彩的事，赚了钱的同志们还是正版付费吧。这篇文章只贴配置，不解释。

supervisor 配置

[program:idea]
command = /var/local/IDEAServer/IDEAServer -p 1024 -prolongationPeriod 999999999 -l 127.0.0.1
autostart=true
autorestart=true
startsecs=3
redirect_stderr = true  ; 把 stderr 重定向到 stdout，默认 false
stdout_logfile = /var/local/log/supervisor/idea.log

nginx 配置

server
{
  listen 80;
  server_name idea.project.kelu.org;
  root html;

   location / {
       proxy_pass http://127.0.0.1:1017;
       proxy_redirect off;
       proxy_set_header Host $host;
       proxy_set_header X-Real-IP $remote_addr;
       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
   }

   access_log off; #access_log end
   error_log /dev/null; #error_log end
}

javascript 正则表达式特殊字符列表

2017-04-29 tech javascript regex 8 mins 2870 字

本文来自 MDN(Mozilla Developer Network)，做了一些整理和压缩。

概念

正则表达式是用于匹配字符串中字符组合的模式，其由包含在斜杠之间的模式组成，如下所示：

/*
   /pattern/flags 
*/

const regex = /ab+c/;

const regex = /^[a-zA-Z]+[0-9]*\W?_$/gi;

当正则表达式保持不变时，使用这种方法可获得更好的性能。或者临时生成一个正则表达式：

/* 
    new RegExp(pattern [, flags])
*/

let regex = new RegExp("ab+c");

let regex = new RegExp(/^[a-zA-Z]+[0-9]*\W?_$, "gi");

let regex = new RegExp("^[a-zA-Z]+[0-9]*\W?_$", "gi");

正则表达式中的特殊字符

常用：

字符	含义
` \ `	在非特殊字符之前的反斜杠表示下一个字符是特殊的，不能从字面上解释。或将其后的特殊字符，转义为字面量。
` ^ `	匹配输入的开始。如果多行标志被设置为true，那么也匹配换行符后紧跟的位置。
`$`	匹配输入的结束。如果多行标示被设置为true，那么也匹配换行符前的位置。
`*`	匹配前一个表达式0次或多次。等价于 {0,}。
`+`	匹配前面一个表达式1次或者多次。等价于 {1,}。
`?`	匹配前面一个表达式0次或者1次。等价于 {0,1}。如果紧跟在任何量词 `*、 +、? 或 {}` 的后面，将会使量词变为非贪婪的（匹配尽量少的字符），和缺省使用的贪婪模式（匹配尽可能多的字符）正好相反。例如： `"123abc"` 应用 `/\d+/` 将会返回 `"123"`，如果使用 `/\d+?/`,那么就只会匹配到 `"1"`。
` . `	（小数点）匹配除换行符之外的任何单个字符。
`x \| y`	匹配‘x’或者‘y’。
`{n}`	n是一个正整数，匹配了前面一个字符刚好发生了n次。
`{n,m}`	n 和 m 都是正整数。匹配前面的字符至少n次，最多m次。如果 n 或者 m 的值是0，这个值被忽略。
`[xyz]`	一个字符集合。匹配方括号的中任意字符，包括转义序列。可以使用破折号`（-）`来指定一个字符范围。对于点`（.）`和星号`（*）`这样的特殊符号在一个字符集中没有特殊的意义。他们不必进行转义，不过转义也是起作用的。
`[^xyz]`	一个反向字符集。也就是说，它匹配任何没有包含在方括号中的字符。你可以使用破折号`（-）`来指定一个字符范围。任何普通字符在这里都是起作用的。
`\d`	匹配一个数字。等价于`[0-9]`。
`\D`	匹配一个非数字字符。
`\s`	匹配一个空白字符，包括空格、制表符、换页符和换行符。
`\S`	匹配一个非空白字符。
`\w`	匹配一个单字字符（字母、数字或者下划线）。等价于[A-Za-z0-9_]。
`\W`	匹配一个非单字字符。等价于[^A-Za-z0-9_]。

进阶：

字符	含义
`\f`	匹配一个换页符 (U+000C)。
`\n`	匹配一个换行符 (U+000A)。
`\r`	匹配一个回车符 (U+000D)。
`\t`	匹配一个水平制表符 (U+0009)。
`\v`	匹配一个垂直制表符 (U+000B)。
`[\b]`	匹配一个退格(U+0008)。（不要和\b混淆了。）
`\b`	匹配一个词的边界。一个词的边界就是一个词不被另外一个词跟随的位置或者不是另一个词汇字符前边的位置。例子： /\bm/匹配“moon”中得‘m’； /oo\b/并不匹配”moon”中得’oo’，因为’oo’被一个词汇字符’n’紧跟着。 /oon\b/匹配”moon”中得’oon’，因为’oon’是这个字符串的结束部分。这样他没有被一个词汇字符紧跟着。
`\B`	匹配一个非单词边界。他匹配一个前后字符都是相同类型的位置：都是单词或者都不是单词。一个字符串的开始和结尾都被认为是非单词。例如，/\B../匹配”noonday”中得’oo’, 而/y\B./匹配”possibly yesterday”中得’ye‘
`(x)`	匹配 ‘x’ 并且记住匹配项，就像下面的例子展示的那样。括号被称为捕获括号。
`(?:x)`	匹配 ‘x’ 但是不记住匹配项。这种叫作非捕获括号，使得你能够定义为与正则表达式运算符一起使用的子表达式。
`x(?=y)`	匹配’x’仅仅当’x’后面跟着’y’.这种叫做正向肯定查找。
`x(?!y)`	匹配’x’仅仅当’x’后面不跟着’y’,这个叫做正向否定查找。
`\cX`	当X是处于A到Z之间的字符的时候，匹配字符串中的一个控制符。
`\n`	当 n 是一个正整数，一个返回引用到最后一个与有n插入的正值表达式(counting left parentheses)匹配的副字符串。
`\0`	匹配 NULL (U+0000) 字符，不要在这后面跟其它小数，因为 \0 是一个八进制转义序列。
`\xhh`	与代码 hh 匹配字符（两个十六进制数字）
`\uhhhh`	与代码 hhhh 匹配字符（四个十六进制数字）。
`\u{hhhh}`	(仅当设置了u标志时) 使用Unicode值hhhh匹配字符 (十六进制数字).

« 1 2 ... 133 134 135 136 137 ... 165 166 »