Linux命令之 dig

2018-03-22 tech linux linux-command 4 mins 1733 字

dig的全称是 (domain information groper)。它是一个用来灵活探测DNS的工具。它会打印出DNS name server的回应。它灵活性好、易用、输出清晰，经常被 DNS 管理员作为 DNS 问题的故障诊断工具。

可以直接使用网页接口体验: https://www.diggui.com/

安装

debian系：

apt-get install dnsutils

centos系:

yum install bind-utils

用法

@<服务器地址>：指定进行域名解析的域名服务器；
-b<ip地址>：当主机具有多个IP地址，指定使用本机的哪个IP地址向域名服务器发送域名查询请求；
-f<文件名称>：指定dig以批处理的方式运行，指定的文件中保存着需要批处理查询的DNS任务信息；
-P：指定域名服务器所使用端口号；
-t<类型>：指定要查询的DNS数据类型；默认情况下是A，也可以设置MX等类型;
-x<IP地址>：执行逆向域名查询；
-4：使用IPv4；
-6：使用IPv6；
-h：显示指令帮助信息。

dig最下面显示了查询所用的时间及DNS服务器，时间，数据大小。对于排查DNS问题很有用。

YUKI.N > dig sina.com
; <<>> DiG 9.9.5-9+deb8u15-Debian <<>> sina.com
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 27993

;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 0
;; QUESTION SECTION:
;sina.com.                      IN      A
;; ANSWER SECTION:
sina.com.               46      IN      A       66.102.251.33

;; Query time: 3 msec
;; SERVER: 100.100.2.138#53(100.100.2.138)
;; WHEN: Tue Mar 27 21:17:51 CST 2018
;; MSG SIZE  rcvd: 42

精简输出

使用+nocmd的话，可以节省输出dig版本信息。
使用+short的话，仅会输出最精简的CNAME信息和A记录，其他都不会输出。
使用+nocomment的话，可以节省输出dig的详情注释信息。
使用+nostat的话，最后的统计信息也不会输出。

常用用法

只输出A记录(写脚本的时候容易获取ip地址)
```
dig jpuyy.com +short
```
只输出mx记录
```
dig mx jpuyy.com +short
```
只输出NS记录
```
dig ns jpuyy.com
```
查询SOA( Start of Autority ) 返回主DNS服务器
```
dig soa jpuyy.com
```
指定dns查询
```
dig +short @8.8.8.8 jpuyy.com
```
跟踪dig全过程

+trace，当使用这个查询选项后，dig会从根域查询一直跟踪直到查询到最终结果，并将整个过程信息输出出来。
```
dig +trace cdn.kelu.org
```
逆向查询 -x。可以查询IP地址到域名的映射关系。
```
dig -x 193.0.14.129
```
TCP代替UDP
```
dig +tcp www.baidu.com
```

参考资料

《dig挖出DNS的秘密》-linux命令五分钟系列之三十四

适用于各种项目的 gitignore

2018-03-21 tech linux git 3 mins 1143 字

这篇文章会不断更新。

简约版

# Eclipse
.classpath
.project
.settings/
 
# Intellij
.idea/
*.iml
*.iws
 
# Mac
.DS_Store
 
# Maven
log/
target/

# Vim
*~
*.swp

完全版

以下是由 github 官方维护的，专门针对 JetBrains 全线产品的 gitignore:

# Covers JetBrains IDEs: IntelliJ, RubyMine, PhpStorm, AppCode, PyCharm, CLion, Android Studio and WebStorm
# Reference: https://intellij-support.jetbrains.com/hc/en-us/articles/206544839

# User-specific stuff
.idea/**/workspace.xml
.idea/**/tasks.xml
.idea/dictionaries

# Sensitive or high-churn files
.idea/**/dataSources/
.idea/**/dataSources.ids
.idea/**/dataSources.local.xml
.idea/**/sqlDataSources.xml
.idea/**/dynamic.xml
.idea/**/uiDesigner.xml

# Gradle
.idea/**/gradle.xml
.idea/**/libraries

# CMake
cmake-build-debug/
cmake-build-release/

# Mongo Explorer plugin
.idea/**/mongoSettings.xml

# File-based project format
*.iws

# IntelliJ
out/

# mpeltonen/sbt-idea plugin
.idea_modules/

# JIRA plugin
atlassian-ide-plugin.xml

# Cursive Clojure plugin
.idea/replstate.xml

# Crashlytics plugin (for Android Studio and IntelliJ)
com_crashlytics_export_strings.xml
crashlytics.properties
crashlytics-build.properties
fabric.properties

# Editor-based Rest Client
.idea/httpRequests

参考资料

github/gitignore

一款好用的 markdown 编辑器 —— Typora | 少数派

2018-03-20 software markdown typora 7 mins 16 图 2687 字

以前曾介绍过一款 markdown 编辑器 —— Yu Writer，确实好用。不过开发者已经很久没更新了，期望的一些特性也没有添加上去。最近又发现了一款不错的编辑器，而且是全平台支持的。与其它一些 markdown 编辑器最大的不一样是——所见即所得，不再是一边源文件一遍预览的方式了。

目前我还是用 Yu Writer 作为公众号的排版使用，Typora作为日常编辑使用。

总的说来 Typora 很赞，推荐一波。

点此前往官网下载 Typora

以下转载自少数派：《让 Markdown 写作更简单，免费极简编辑器：Typora》

Markdown 其实向来是文字爱好者和码农们的小众需求，但市面上竟涌现出了这么多种形形色色的 Markdown 编辑器，Mou、Typed、Ulysess、Macdown 等等，各有特色，难分伯仲。特别是国内口碑颇高的 Mou，说好的 1.0 版本也总是姗姗来迟，又跳票到了今年八月。

如果你还不了解 Markdown 及相关背景知识，可以参见：

然而看看市面上现在比较流行的 Markdown 编辑器，都基本采用了「写字」和「预览」相分离的策略，无论是像 Mou 这样将窗口左右排列，还是像 Typed 一样两种状态需要切换显示，都似乎离 Markdown 的初衷渐行渐远：优雅可控的格式是为了让文字本身更易读。然而，在实际使用的时候，由于文字的输入源和文字的输出源是割裂的，这件事情本身就显得不纯粹，再加上众多 Markdown 编辑器始终没有着手解决表格、代码等格式的编辑，也使 Markdown 变得不那么优雅。是的，如果你用 Markdown 原生格式去编辑过一个表格，你应该懂我的意思。

git pull 时报错 The remote end hung up unexpectedly

2018-03-19 tech linux git 2 mins 1 图 714 字

在进行git clone 下载项目是，出现了这样的错误：

error: RPC failed; curl 56 Recv failure: Connection was reset fatal: The remote end hung up unexpectedly

快速方案:

git config --global http.postBuffer 524288000

或者将http.postBuffer调整的更大：

git config --global http.postBuffer 1048576000

参考资料

The remote end hung up unexpectedly while git cloning

mysql级联复制(pos)

2018-03-18 tech mysql 9 mins 3276 字

本文记录 mysql 数据库级联同步的配置步骤。

目前已有3、4两台以pos的方式互为主主。正在将其迁移到新环境1、2，故而先对其进行级联复制，使用4为主库，1为从库，2为子从库，最后再将1和2调整为主主同步。

由于原环境为pos的方式进行同步，故而级联复制也以pos方式进行。

三个数据库实例修改my.cnf配置文件，

主库4 和从库1 要打开log-bin
三个server-id不能一样

[mysqld]
server-id=1 #UPDATE //主主或主备节点的ID需要不一样
log-bin=mysql-bin
binlog_format=MIXED
innodb_buffer_pool_size = 8589934592 #update
max_connections=200 #update
sync_binlog=1
slave-skip-errors = 1062,1032,1060
log-slave-updates
innodb_flush_log_at_trx_commit=1
bind-address = 0.0.0.0
relay-log=mysql-relay-bin
auto_increment_increment=2 #UPDATE
auto_increment_offset=1 #UPDATE:master-1, slave-2
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
symbolic-links=0

4上设置从库账号，导出库文件。

# mysql-h0.0.0.0 -ppasswd

mysql> grantreplication slave on *.* to 'slave'@'%' identified by 'slave';
mysql> flushprivileges;
mysql> \q;

# 导出库文件
mysqldump -h0.0.0.0 -ppasswd --master-data --single-transaction --hex-blob -R --triggers --routines --events -A >/var/lib/mysql/dmflow_all.sql

获取file 与 pos点

cat /var/lib/mysql/dmflow_all.sql |grep "CHANGE MASTER TO" | head -1
# 结果显示
CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000341', MASTER_LOG_POS=857418428;

新建1上的数据库：

# 修改 my.cnf 中的相关配置

# 运行镜像
sudo docker run --name xxx --restart=unless-stopped -p 3000:3306 -v /app/mysql/my.cnf:/etc/mysql/my.cnf -v /app/mysql/datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=passwd -d percona:5.7
cp dmflow_all.sql /app/mysql/datadir

使用客户端测试可以连通即ok。

数据库1还原，这里包括用户和数据都和源库完全一致

docker exec -it xxx /bin/bash
cd /var/lib/mysql
mysql -h0.0.0.0 -ppasswd
mysql> source dmflow_all.sql

数据库1同步4

mysql> grant replication slave on *.* to 'slave'@'%' identified by 'slave';
mysql> flush privileges;
mysql> change master to master_host='xxx', master_port=3000, master_user='slave', master_password='slave', master_log_file='mysql-bin.000341', master_log_pos=857418428;
mysql> start slave;
mysql> show slave status\G;

主要确认两项：

（a）Master_Log_File、Read_Master_Log_Pos 与配置的参数一致；

（b）Slave_IO_Running、Slave_SQL_Running都为YES；

验证:

在 4 上的 MySQL 镜像进行测试
```
mysql -h0.0.0.0 -ppasswd

mysql> create database test;
mysql> show databases;
mysql> show slave status\G;
```
同时在 2.3.255.1 中确认已建好数据库：
```
mysql> show databases;
mysql> show slave status\G;
```
按照同样的方式，导出1的数据文件，将2作为1的slave 。

MySQL修正

在级联同步ok，环境迁移稳定后，我们还需要将先前的1作为4的slave停下来，再将其作为2的slave，组成主主模式。

在1上执行

mysql -h0.0.0.0 -ppasswd

mysql> show databases;
mysql> show slave status\G;
mysql> stop slave;
mysql> reset slave all;

mysql> show master status;

在2上查看file和pos：

mysql -h0.0.0.0 -ppasswd

mysql> show slave status\G;
mysql> show master status;

在1上执行slave操作

mysql> change master to master_host='xxx', master_port=3000, master_user='slave', master_password='slave', master_log_file='mysql-bin.000005', master_log_pos=915704247;
start slave;

show slave status\G;

验证操作按照先前的方式，创建删除数据库进行对照。

tips

做验证的时候，以前有遇到在某个库多一两个数据库的情况，删除多的数据库后，从库同步会失败并停止同步。此时可以让从库跳过这个错误，继续同步。
```
# 从查看同步情况
mysql> show slave status\G  

# 跳过一个报错：
mysql> stop slave; 
mysql> set global sql_slave_skip_counter=1; 
mysql> start slave; 

mysql> show slave status\G 
```

convert 命令批量转换 png 为 jpg 图片格式

2018-03-16 tech linux 3 mins 12 图 1241 字

背景

jpg 的压缩率比 png 要高，很多情况下我们并不需要高分辨率，为了节省系统空间，我一般都是将 png 图片批量转换成 jpg 再使用。于是这一篇介绍一下如何快速实现。

详细介绍

Linux 的 convert 命令可以用来转换图像的格式，支持JPG, BMP, PCX, GIF, PNG, TIFF, XPM和XWD等类型:

convert  xxx.jpg  xxx.png   将jpeg转成png文件 
convert  xxx.gif   xxx.bmp  将gif转换成bmp图像 
convert  xxx.tiff    xxx.pcx   将tiff转换成pcx图像 

简单应用

或者改变图像的大小:

convert -resize 1024x768  xxx.jpg   xxx1.jpg 
convert -sample 50%x50%  xxx.jpg  xxx1.jpg

旋转图像，将图像顺时针旋转270度

convert -rotate 270 sky.jpg sky-final.jpg

在图像里面添加文字：

在图像的10,80 位置采用60磅的全黑Helvetica字体写上 Hello, World!

convert -fill black -pointsize 60 -font helvetica -draw 'text 10,80 "Hello, World!" '  hello.jpg  helloworld.jpg 

安装

apt-get install imagemagick
convert -version 

批量转换

----------- 从 PNG 转换到 JPG -----------
$ ls -1 *.png | xargs -n 1 bash -c 'convert "$0" "${0%.png}.jpg"'
----------- 从 JPG 转换到 PNG -----------
$ ls -1 *.jpg | xargs -n 1 bash -c 'convert "$0" "${0%.jpg}.png"'

水印

convert 1.png -fill white -pointsize 13 -draw “text 10,15 ‘lifesinger 2006＇” 2.png 

可以用-font指定字体，需要安装Ghostscript支持: http://www.cs.wisc.edu/~ghost/

还可以用composite命令在所有图片上加上水印，http://www.imagemagick.org/script/composite.php

« 1 2 ... 100 101 102 103 104 ... 162 163 »

Linux命令之 dig

2018-03-22 tech linux linux-command 4 mins 1733 字

安装

用法

精简输出

常用用法

参考资料

适用于各种项目的 gitignore

2018-03-21 tech linux git 3 mins 1143 字

简约版

完全版

参考资料

一款好用的 markdown 编辑器 —— Typora | 少数派

2018-03-20 software markdown typora 7 mins 16 图 2687 字

git pull 时报错 The remote end hung up unexpectedly

2018-03-19 tech linux git 2 mins 1 图 714 字

快速方案:

更多信息:

参考资料

mysql级联复制(pos)

2018-03-18 tech mysql 9 mins 3276 字

convert 命令批量转换 png 为 jpg 图片格式

2018-03-16 tech linux 3 mins 12 图 1241 字

背景

详细介绍

简单应用

安装

批量转换

水印