Untitled

Posted on 2017-07-28

netcat的正确打开方式

简介

nc(netcat)是一个能通过TCP和UDP读写数据的工具，很多Linux发行版已经预装。最近发现了关于nc的很多有趣的应用场景，果然名副其实，很是牛叉。。。于是简单梳理了一下。

参数说明

-g <网关> 设置路由器跃程通信网关，最丢哦可设置8个。
-G <指向器数目> 设置来源路由指向器，其数值为4的倍数。
-h 在线帮助。
-i <延迟秒数> 设置时间间隔，以便传送信息及扫描通信端口。
-l 使用监听模式，管控传入的资料。
-n 直接使用IP地址，而不通过域名服务器。
-o <输出文件> 指定文件名称，把往来传输的数据以16进制字码倾倒成该文件保存。
-p <通信端口> 设置本地主机使用的通信端口。
-r 乱数指定本地与远端主机的通信端口。
-s <来源位址> 设置本地主机送出数据包的IP地址。
-u 使用UDP传输协议。
-v 显示指令执行过程。
-w <超时秒数> 设置等待连线的时间。
-z 使用0输入/输出模式，只在扫描通信端口时使用。

使用场景

测试端口连通性

使用nc -z可以测试远程主机端口的连通性。
以前我们测试某台远程主机的某个端口是否能连通，通常都是用telnet ip port，现在可以用nc来替代了。

示例：

1 2	nc -z 192.168.1.60 19011 Connection to 192.168.1.60 port 19011 [tcp/*] succeeded!

端口扫描

使用-z参数时，还可以指定一个端口范围进行扫描。
以后简单场景下，就不需要动用nmap这种专业工具了。

示例：

TCP:
nc -z -v 192.168.1.60 19000-19100 2>&1 | grep succeeded

UDP:
nc -z -v -u 192.168.1.60 19000-19100 2>&1 | grep succeeded

启监听端口

很多时候，如果拜托网管为我们做一个NAT映射，或新配置了一个防火墙策略后，通常要启一个临时的tomcat/apache/nginx行测试，非常麻烦。
如果只是临时测试的话，直接使用nc -l 端口号就可以启一个监听了，如果早点知道的话就可以省去很多时间了。

示例：

1	nc -l 33333

HTTP服务健康监控

nc配合echo来使用，可以模拟发送一段HTTP请求报文，对一个HTTP服务进行健康度检测。
如果服务支持HEAD方法的话，可以尽量使用HEAD以减轻测试时对服务端的压力。
于是简单场景下，我们又可以抛弃wget和curl了。。。

示例：

1 2	echo -e "GET /mobsale-service/health HTTP/1.0\r\n\r\n" \|nc -t 192.168.1.60 19011 echo -e "HEAD /mobsale-service/client HTTP/1.0\r\n\r\n" \|nc -t 192.168.1.60 19011

文件传输

通常，我们在两台服务器之前传递文件，首选都是sftp/scp，或者ftp，或者更古老的sz/rz。
但如果这些方式都被禁用的话怎么办呢？可以用nc来自己铺路，只要能连网，就能传文件！

示例：

传递方：
cat readme.txt | nc -l 33333

收接方：
nc 192.168.1.61 33333 > readme.txt

如果要传递目录的话，需要配合tar/zip等工具进行打包。

聊天工具

还可以使用nc来进行单方向聊天，这貌似是一个然并卵的东西。。。
和文件传输的原理其实是一样的。

示例：

接收方：
nc -l 33333

发送方：
nc 192.168.1.61 33333

发送发输入内容回车之后，接收方就会显示了

简易WEB服务器

不借助tomcat/nginx/httpd等WEB容器，仅用nc就可以用快速搭建一个单页面的WEB服务器。

首先新建一个index.html文件：

<!doctype html>
<html>
    <head>
      <meta charset="utf-8">
      <title>Test Page</title>
    </head>
    <body>
      <h1>It Works!</h1>
    </body>
</html>

执行以下脚本，将一个简单的HEAD与index.html中的BODY拼接并输出：

1	while true;do { printf '%b\r\n' 'HTTP/1.1 200 OK' '%b\r\n';cat index.html; }\|nc -l 33333;done

在浏览器上输入http://ip:port/whatever 就可以看到刚才的页面了

远程桌面

设想如下场景：
如果某台远程主机禁用了某用户（例如root）的SSH远程登录权限，只能通过低权限的管理用户登录，再用su -的方式切换过去进行操作。如果觉得不爽，有没有可能绕过这个限制呢？
使用nc就可以在远程新开一个任意监听端口，然后在本地就可以模拟SSH登录了，可以说是命令行版的”远程桌面”吧。

原理如下：

从网络收到命令写入fifo文件中
cat命令读取fifo文件，并且发送到bash命令
bash执行完的结果发送给nc
nc通过网络把内容发送给客户端

远程：  
mkfifo /tmp/tmp_fifo; cat /tmp/tmp_fifo | /bin/bash -i 2>&1 | nc -l 33333 > /tmp/tmp_fifo

本地：  
nc -n 192.168.1.60 33333

四层反向代理

与上面的”模拟SSH登录”原理类似，nc的另一个场景是可以充当一个4层的反向代理，这个比较实用了，LVS/HA/Nginx统统都可以下岗了。。。

示例：

1	mkfifo backpipe; nc -l 33333 0<backpipe \| nc 192.168.1.60 19011 1>backpipe

后记

大体先写这么多了，以后的使用过程中如果还有新的发现，随时补充。

Untitled

Posted on 2017-06-08

spring-boot中使用slf4j+log4j

背景

spring-boot默认是使用slf4j+logback做日志输出的，本文主要演示如何切换为slf4j+log4j。
正常情况下，建议直接使用logback。

在某SpringBoot项目中，因为要使用ELK做日志采集，局方要求使用log4j并给出了一组日志格式规范:

日志分为xxx-info和xxx-error两个文件，分开打印

日志格式要求为

1	%d{yyyy-MM-dd HH:mm:ss} [%-5p](%-30c{1}) [TxId : %X{PtxId} , SpanId : %X{PspanId}] [ET:%X{ENV_TYPE},AN:%X{APP_NAME},SN:%X{SERVICE_NAME},CN:%X{CONTAINER_NAME},CI:%X{CONTAINER_IP}] %m%n

所以只能有两种方案可供选择：

配置logback，并保证与之前的log4j的行为一致
将logback切换为log4j

由于面对日志格式中的一大堆%比较头大，于是选择了不怎么优雅的方案2，切换为log4j。

配置Maven依赖

首先要显式的引入spring-boot-starter，并将其中的spring-boot-starter-logging排除掉
然后新增一个spring-boot-starter-log4j的依赖

<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter</artifactId>
  <exclusions>
    <exclusion>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-logging</artifactId>
    </exclusion>
  </exclusions>
</dependency>
<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-log4j</artifactId>
  <version>1.2.5.RELEASE</version>
</dependency>

配置log4j

新建src/resource/log4j.properties，按正常方式配置即可
下面是一个双日志输出的样例：

log4j.rootCategory=info,file_info,file_error,stdout
log4j.logger.org.springframework.web.filter.CommonsRequestLoggingFilter=debug,file_info,stdout
log4j.additivity.org.springframework.web.filter.CommonsRequestLoggingFilter=false

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

log4j.appender.file_info=org.apache.log4j.RollingFileAppender
log4j.appender.file_info.layout=org.apache.log4j.PatternLayout
log4j.appender.file_info.MaxFileSize=100MB
log4j.appender.file_info.MaxBackupIndex=10
log4j.appender.file_info.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} [%-5p](%-30c{1}) [TxId : %X{PtxId} , SpanId : %X{PspanId}] [ET:%X{ENV_TYPE},AN:%X{APP_NAME},SN:%X{SERVICE_NAME},CN:%X{CONTAINER_NAME},CI:%X{CONTAINER_IP}] %m%n
log4j.appender.file_info.Threshold=DEBUG
log4j.appender.file_info.append=true
log4j.appender.file_info.File=/opt/logs/busi/crm_sdtools-info.log

log4j.appender.file_error=org.apache.log4j.RollingFileAppender
log4j.appender.file_error.layout=org.apache.log4j.PatternLayout
log4j.appender.file_error.MaxFileSize=100MB
log4j.appender.file_error.MaxBackupIndex=10
log4j.appender.file_error.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} [%-5p](%-30c{1}) [TxId : %X{PtxId} , SpanId : %X{PspanId}] [ET:%X{ENV_TYPE},AN:%X{APP_NAME},SN:%X{SERVICE_NAME},CN:%X{CONTAINER_NAME},CI:%X{CONTAINER_IP}] %m%n
log4j.appender.file_error.Threshold=ERROR
log4j.appender.file_error.append=true
log4j.appender.file_error.File=/opt/logs/busi/crm_sdtools-error.log

Untitled

Posted on 2017-03-03

系统设置工具

raspi-config

设置root密码

sudo passwd root

修复ping权限

ls -lsa /bin/ping
sudo chmod 4711 /bin/ping

网络设置

vi /etc/network/interfaces
auto eth0
iface eth0 inet static
address xxx.xxx.xxx.xxx
netmask 255.255.248.0
gateway xxx.xxx.xxx.xxx
dns-nameservers xxx.xxx.xxx.xxx

启动网卡

sudo ifup eth0
sudo /etc/init.d/networking restart

代理设置

sudo vi /etc/environment
export http_proxy=”http://134.32.87.142:1080"
export http_proxy=”http://134.32.32.13:31315"

export http_proxy=”http://134.32.32.13:31081"

sudo vi /etc/apt/apt.conf.d/10proxy
Acquire::http::Proxy “http://134.32.87.142:8080/";
Acquire::http::Proxy “http://134.32.32.13:31315/";

apt-get使用阿里云镜像

sudo vi /etc/apt/sources.list
deb http://mirrors.aliyun.com/raspbian/raspbian/ wheezy main non-free contrib
deb-src http://mirrors.aliyun.com/raspbian/raspbian/ wheezy main non-free contrib

redsocks透明代理网关

开启IPV4转发：
sudo vi /etc/sysctl.conf
net.ipv4.ip_forward=1
sysctl -p /etc/sysctl.conf

源码编译Redsocks：
sudo apt install libevent-dev
make

redsocks配置文件：
sudo vi /etc/redsocks.conf

base {
	log_debug = off;
	log_info = on;
	log = "file:/home/pi/redsocks/logs/redsocks.log";
	daemon = off;
	redirector = iptables;
}
redsocks {
	local_ip = xxx.xxx.xxx.xxx;
	local_port = 3128;
	ip = xxx.xxx.xxx.xxx;
	port = 31080;
	type = socks5;
}

iptables配置：

iptables -F
iptables -X
iptables -Z

iptables -P INPUT DROP
iptables -P OUTPUT ACCEPT
iptables -P FORWARD ACCEPT

iptables -A INPUT -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -p icmp -j ACCEPT
iptables -A INPUT -p tcp --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -p tcp --dport 3128 -m state --state NEW,ESTABLISHED -j ACCEPT

iptables -t nat -A POSTROUTING -s 192.168.1.0/24 -j MASQUERADE
iptables -t nat -N REDSOCKS

iptables -t nat -A REDSOCKS -d 127.0.0.1 -j RETURN
iptables -t nat -A REDSOCKS -d 10.0.0.0/8 -j RETURN
iptables -t nat -A REDSOCKS -d 172.0.0.0/8 -j RETURN
iptables -t nat -A REDSOCKS -d 192.168.0.0/16 -j RETURN
iptables -t nat -A REDSOCKS -d 132.0.0.0/8 -j RETURN
iptables -t nat -A REDSOCKS -d 134.0.0.0/8 -j RETURN

iptables -t nat -A SS -p tcp -j REDIRECT --to-port 3128

iptables -t nat -A PREROUTING -p tcp -j SS
iptables -t nat -A OUTPUT -p tcp -j SS

dnsmasq架设DNS服务器

sudo apt install dnsmasq

shadowsocks

apt-get install python-pip
pip install shadowsocks

nginx配置端口

sudo vi /etc/nginx/sites-available/default
listen 30080;

设置时间

sudo raspi-config
ntpd -q -g
sudo date -s “2016-11-8 14:20:00”