Linux命令之 dig

dig的全称是 (domain information groper)。它是一个用来灵活探测DNS的工具。它会打印出DNS name server的回应。它灵活性好、易用、输出清晰,经常被 DNS 管理员作为 DNS 问题的故障诊断工具。

可以直接使用网页接口体验: https://www.diggui.com/

安装

debian系:

apt-get install dnsutils

centos系:

yum install bind-utils

用法

@<服务器地址>:指定进行域名解析的域名服务器;
-b<ip地址>:当主机具有多个IP地址,指定使用本机的哪个IP地址向域名服务器发送域名查询请求;
-f<文件名称>:指定dig以批处理的方式运行,指定的文件中保存着需要批处理查询的DNS任务信息;
-P:指定域名服务器所使用端口号;
-t<类型>:指定要查询的DNS数据类型;默认情况下是A,也可以设置MX等类型;
-x<IP地址>:执行逆向域名查询;
-4:使用IPv4;
-6:使用IPv6;
-h:显示指令帮助信息。

dig最下面显示了查询所用的时间及DNS服务器,时间,数据大小。对于排查DNS问题很有用。

YUKI.N > dig sina.com
; <<>> DiG 9.9.5-9+deb8u15-Debian <<>> sina.com
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 27993

;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 0
;; QUESTION SECTION:
;sina.com.                      IN      A
;; ANSWER SECTION:
sina.com.               46      IN      A       66.102.251.33

;; Query time: 3 msec
;; SERVER: 100.100.2.138#53(100.100.2.138)
;; WHEN: Tue Mar 27 21:17:51 CST 2018
;; MSG SIZE  rcvd: 42

精简输出

  1. 使用+nocmd的话,可以节省输出dig版本信息。

  2. 使用+short的话,仅会输出最精简的CNAME信息和A记录,其他都不会输出。

  3. 使用+nocomment的话,可以节省输出dig的详情注释信息。

  4. 使用+nostat的话,最后的统计信息也不会输出。

常用用法

  • 只输出A记录(写脚本的时候容易获取ip地址)

    dig jpuyy.com +short
    
  • 只输出mx记录

    dig mx jpuyy.com +short
    
  • 只输出NS记录

    dig ns jpuyy.com
    
  • 查询SOA( Start of Autority ) 返回主DNS服务器

    dig soa jpuyy.com
    
  • 指定dns查询

    dig +short @8.8.8.8 jpuyy.com
    
  • 跟踪dig全过程

    +trace,当使用这个查询选项后,dig会从根域查询一直跟踪直到查询到最终结果,并将整个过程信息输出出来。

    dig +trace cdn.kelu.org
    
  • 逆向查询 -x。可以查询IP地址到域名的映射关系。

    dig -x 193.0.14.129
    
  • TCP代替UDP

    dig +tcp www.baidu.com
    

参考资料


适用于各种项目的 gitignore

这篇文章会不断更新。

简约版

# Eclipse
.classpath
.project
.settings/
 
# Intellij
.idea/
*.iml
*.iws
 
# Mac
.DS_Store
 
# Maven
log/
target/

# Vim
*~
*.swp

完全版

以下是由 github 官方维护的,专门针对 JetBrains 全线产品的 gitignore:

# Covers JetBrains IDEs: IntelliJ, RubyMine, PhpStorm, AppCode, PyCharm, CLion, Android Studio and WebStorm
# Reference: https://intellij-support.jetbrains.com/hc/en-us/articles/206544839

# User-specific stuff
.idea/**/workspace.xml
.idea/**/tasks.xml
.idea/dictionaries

# Sensitive or high-churn files
.idea/**/dataSources/
.idea/**/dataSources.ids
.idea/**/dataSources.local.xml
.idea/**/sqlDataSources.xml
.idea/**/dynamic.xml
.idea/**/uiDesigner.xml

# Gradle
.idea/**/gradle.xml
.idea/**/libraries

# CMake
cmake-build-debug/
cmake-build-release/

# Mongo Explorer plugin
.idea/**/mongoSettings.xml

# File-based project format
*.iws

# IntelliJ
out/

# mpeltonen/sbt-idea plugin
.idea_modules/

# JIRA plugin
atlassian-ide-plugin.xml

# Cursive Clojure plugin
.idea/replstate.xml

# Crashlytics plugin (for Android Studio and IntelliJ)
com_crashlytics_export_strings.xml
crashlytics.properties
crashlytics-build.properties
fabric.properties

# Editor-based Rest Client
.idea/httpRequests

参考资料


一款好用的 markdown 编辑器 —— Typora | 少数派

以前曾介绍过一款 markdown 编辑器 —— Yu Writer,确实好用。不过开发者已经很久没更新了,期望的一些特性也没有添加上去。最近又发现了一款不错的编辑器,而且是全平台支持的。与其它一些 markdown 编辑器最大的不一样是——所见即所得,不再是一边源文件一遍预览的方式了。

目前我还是用 Yu Writer 作为公众号的排版使用,Typora作为日常编辑使用。

总的说来 Typora 很赞,推荐一波。

点此前往官网下载 Typora

以下转载自少数派:《让 Markdown 写作更简单,免费极简编辑器:Typora》

Markdown 其实向来是文字爱好者和码农们的小众需求,但市面上竟涌现出了这么多种形形色色的 Markdown 编辑器,MouTypedUlysessMacdown 等等,各有特色,难分伯仲。特别是国内口碑颇高的 Mou,说好的 1.0 版本也总是姗姗来迟,又跳票到了今年八月。


如果你还不了解 Markdown 及相关背景知识,可以参见:


然而看看市面上现在比较流行的 Markdown 编辑器,都基本采用了「写字」和「预览」相分离的策略,无论是像 Mou 这样将窗口左右排列,还是像 Typed 一样两种状态需要切换显示,都似乎离 Markdown 的初衷渐行渐远:优雅可控的格式是为了让文字本身更易读。然而,在实际使用的时候,由于文字的输入源和文字的输出源是割裂的,这件事情本身就显得不纯粹,再加上众多 Markdown 编辑器始终没有着手解决表格、代码等格式的编辑,也使 Markdown 变得不那么优雅。是的,如果你用 Markdown 原生格式去编辑过一个表格,你应该懂我的意思。


git pull 时报错 The remote end hung up unexpectedly

在进行git clone 下载项目是,出现了这样的错误:

error: RPC failed; curl 56 Recv failure: Connection was reset fatal: The remote end hung up unexpectedly

快速方案:

git config --global http.postBuffer 524288000

或者将http.postBuffer调整的更大:

git config --global http.postBuffer 1048576000

更多信息:

git config手册, 可以了解到http.postBuffer :

Maximum size in bytes of the buffer used by smart HTTP transports when POSTing data to the remote system. For requests larger than this buffer size, HTTP/1.1 and Transfer-Encoding: chunked is used to avoid creating a massive pack file locally. Default is 1 MiB, which is sufficient for most requests.

翻译过来就是HTTP传输的缓冲区大小,避免在本地创建大量的包文件。

Error code 56 表示curl接收错误。

参考资料


mysql级联复制(pos)

本文记录 mysql 数据库级联同步的配置步骤。

目前已有3、4两台以pos的方式互为主主。正在将其迁移到新环境1、2,故而先对其进行级联复制,使用4为主库,1为从库,2为子从库,最后再将1和2调整为主主同步。

由于原环境为pos的方式进行同步,故而级联复制也以pos方式进行。

  1. 三个数据库实例修改my.cnf配置文件,

    • 主库4 和 从库1 要打开log-bin

    • 三个server-id不能一样

    [mysqld]
    server-id=1 #UPDATE //主主或主备节点的ID需要不一样
    log-bin=mysql-bin
    binlog_format=MIXED
    innodb_buffer_pool_size = 8589934592 #update
    max_connections=200 #update
    sync_binlog=1
    slave-skip-errors = 1062,1032,1060
    log-slave-updates
    innodb_flush_log_at_trx_commit=1
    bind-address = 0.0.0.0
    relay-log=mysql-relay-bin
    auto_increment_increment=2 #UPDATE
    auto_increment_offset=1 #UPDATE:master-1, slave-2
    datadir=/var/lib/mysql
    socket=/var/lib/mysql/mysql.sock
    symbolic-links=0
    
  2. 4上设置从库账号,导出库文件。

    # mysql-h0.0.0.0 -ppasswd
    
    mysql> grantreplication slave on *.* to 'slave'@'%' identified by 'slave';
    mysql> flushprivileges;
    mysql> \q;
    
    # 导出库文件
    mysqldump -h0.0.0.0 -ppasswd --master-data --single-transaction --hex-blob -R --triggers --routines --events -A >/var/lib/mysql/dmflow_all.sql
    
  3. 获取file 与 pos点

    cat /var/lib/mysql/dmflow_all.sql |grep "CHANGE MASTER TO" | head -1
    # 结果显示
    CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000341', MASTER_LOG_POS=857418428;
    
  4. 新建1上的数据库:

    # 修改 my.cnf 中的相关配置
    
    # 运行镜像
    sudo docker run --name xxx --restart=unless-stopped -p 3000:3306 -v /app/mysql/my.cnf:/etc/mysql/my.cnf -v /app/mysql/datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=passwd -d percona:5.7
    cp dmflow_all.sql /app/mysql/datadir
    

    使用客户端测试可以连通即ok。

  5. 数据库1还原,这里包括用户和数据都和源库完全一致

    docker exec -it xxx /bin/bash
    cd /var/lib/mysql
    mysql -h0.0.0.0 -ppasswd
    mysql> source dmflow_all.sql
    
  6. 数据库1同步4

    mysql> grant replication slave on *.* to 'slave'@'%' identified by 'slave';
    mysql> flush privileges;
    mysql> change master to master_host='xxx', master_port=3000, master_user='slave', master_password='slave', master_log_file='mysql-bin.000341', master_log_pos=857418428;
    mysql> start slave;
    mysql> show slave status\G;
    

    主要确认两项:

    (a)Master_Log_File、Read_Master_Log_Pos 与配置的参数一致;

    (b)Slave_IO_Running、Slave_SQL_Running都为YES;

  7. 验证:

    在 4 上的 MySQL 镜像进行测试

    mysql -h0.0.0.0 -ppasswd
    
    mysql> create database test;
    mysql> show databases;
    mysql> show slave status\G;
    

    同时在 2.3.255.1 中确认已建好数据库:

    mysql> show databases;
    mysql> show slave status\G;
    

    按照同样的方式,导出1的数据文件,将2作为1的slave 。

  8. MySQL修正

    在级联同步ok,环境迁移稳定后,我们还需要将先前的1作为4的slave停下来,再将其作为2的slave,组成主主模式。

    在1上执行

    mysql -h0.0.0.0 -ppasswd
    
    mysql> show databases;
    mysql> show slave status\G;
    mysql> stop slave;
    mysql> reset slave all;
    
    mysql> show master status;
    

    在2上查看file和pos:

    mysql -h0.0.0.0 -ppasswd
    
    mysql> show slave status\G;
    mysql> show master status;
    

    在1上 执行slave操作

    mysql> change master to master_host='xxx', master_port=3000, master_user='slave', master_password='slave', master_log_file='mysql-bin.000005', master_log_pos=915704247;
    start slave;
    
    show slave status\G;
    

    验证操作按照先前的方式,创建删除数据库进行对照。

  9. tips

    做验证的时候,以前有遇到在某个库多一两个数据库的情况,删除多的数据库后,从库同步会失败并停止同步。此时可以让从库跳过这个错误,继续同步。

    # 从查看同步情况
    mysql> show slave status\G  
    
    # 跳过一个报错:
    mysql> stop slave; 
    mysql> set global sql_slave_skip_counter=1; 
    mysql> start slave; 
    
    mysql> show slave status\G 
    


批量转换图片格式 png to jpg

背景

jpg 的压缩率比 png 要高,很多情况下我们并不需要高分辨率,为了节省系统空间,我一般都是将 png 图片批量转换成 jpg 再使用。于是这一篇介绍一下如何快速实现。

详细介绍

Linux 的 convert 命令可以用来转换图像的格式,支持JPG, BMP, PCX, GIF, PNG, TIFF, XPM和XWD等类型:

convert  xxx.jpg  xxx.png   将jpeg转成png文件 
convert  xxx.gif   xxx.bmp  将gif转换成bmp图像 
convert  xxx.tiff    xxx.pcx   将tiff转换成pcx图像 

简单应用

或者改变图像的大小:

convert -resize 1024x768  xxx.jpg   xxx1.jpg 
convert -sample 50%x50%  xxx.jpg  xxx1.jpg

旋转图像, 将图像顺时针旋转270度

convert -rotate 270 sky.jpg sky-final.jpg

在图像里面添加文字:

在图像的10,80 位置采用60磅的全黑Helvetica字体写上 Hello, World!

convert -fill black -pointsize 60 -font helvetica -draw 'text 10,80 "Hello, World!" '  hello.jpg  helloworld.jpg 

安装

apt-get install imagemagick
convert -version 

批量转换

----------- 从 PNG 转换到 JPG -----------
$ ls -1 *.png | xargs -n 1 bash -c 'convert "$0" "${0%.png}.jpg"'
----------- 从 JPG 转换到 PNG -----------
$ ls -1 *.jpg | xargs -n 1 bash -c 'convert "$0" "${0%.jpg}.png"'

水印

convert 1.png -fill white -pointsize 13 -draw “text 10,15 ‘lifesinger 2006'” 2.png 

可以用-font指定字体,需要安装Ghostscript支持: http://www.cs.wisc.edu/~ghost/

还可以用composite命令在所有图片上加上水印,http://www.imagemagick.org/script/composite.php