关于系统运维监控的几点建议
[ 2016-08-05 22:22:21 | 作者: admin ]
目前很多企业信息化系统都有自己的监控平台和监控手段，无论是采用哪种手段去实现对系统的实时监控和故障告警，大多采用的方式也只有两种：集中式监控和分布式监控。本文作者根据自身公司监控存在的问题，总结了一些经验并提出一些在监控平台的建议，以供大家参考学习，如有考虑不周的地方还希望大家多多批评指正。
为了更好、更有效的保障系统上线后的稳定的运行。对于服务器的硬件资源、性能、带宽、端口、进程、服务等都必须有一个可靠和可持续的监测机制，统计分析每天的各种数据，从而能及时反映出服务器哪里存在性能瓶颈、安全隐患等。另外是要有危机意识，就是了解服务器有可能出现哪些严重的问题，出现这些问题后该如何去迅速处理。比如数据库的数据丢失，日志容量过大，被黑客入侵等等。
一、上线之前的准备工作
1、首先是备份，做好定时备份策略，备份所有你认为重要的数据，并且定期检查你的备份是否有效、全面；
2、日志轮换，无论你想用哪种轮换方式，控制日志增长避免驱动器已满是你的目的；
...
阅读全文…
为了更好、更有效的保障系统上线后的稳定的运行。对于服务器的硬件资源、性能、带宽、端口、进程、服务等都必须有一个可靠和可持续的监测机制，统计分析每天的各种数据，从而能及时反映出服务器哪里存在性能瓶颈、安全隐患等。另外是要有危机意识，就是了解服务器有可能出现哪些严重的问题，出现这些问题后该如何去迅速处理。比如数据库的数据丢失，日志容量过大，被黑客入侵等等。
一、上线之前的准备工作
1、首先是备份，做好定时备份策略，备份所有你认为重要的数据，并且定期检查你的备份是否有效、全面；
2、日志轮换，无论你想用哪种轮换方式，控制日志增长避免驱动器已满是你的目的；
...
阅读全文…
awk分析access.log获得访问前10位的ip地址（nginx日志 或者 apache日志，mysql日志,linux,centos）
[ 2016-08-02 22:55:05 | 作者: admin ]
普通nginx日志，得到ip访问前10位：
普通nginx日志，根据时间段来得到ip访问前10位：
日志格式范例如下：
阅读全文…
awk '{print $1}' access.log |sort|uniq -c|sort -nr|head -10
普通nginx日志，根据时间段来得到ip访问前10位：
sed -n '/15:38:00/,/15:40:00/p' access.log | awk '{print $1}' |sort|uniq -c|sort -nr|head -10
日志格式范例如下：
2013-10-29 10:26:09, INFO, send toEmail=wuas6662@163.com,templateId=23,titleId=11,type=3,sendEmail=noreply+renrenzhichang@mail.xiaozhao.com,ip
...阅读全文…
linux系统快速查看进程pid的方法
[ 2016-07-21 23:25:23 | 作者: admin ]
一个很简单的命令，pgrep，可以迅速定位包含某个关键字的进程的pid；使用这个命令，再也不用ps aux 以后去对哪个进程的pid了
ps -ef 可以比较方便的得到pid
一个很简单的命令，pgrep，可以迅速定位包含某个关键字的进程的pid；使用这个命令，再也不用ps aux 以后去对哪个进程的pid了
用法：
pgrep -l XXX
说明：
-l参数，可以显示出pid及进程名字；不加-l只显示pid，谁知道是什么进程的pid
举例：
# pgrep httpd
2092
2094
2096
2098
2106
2108
2109
2111
14705
# pgrep -l httpd
2092 httpd
2094 httpd
2096 httpd
2098 httpd
2106 httpd
...
阅读全文…
ps -ef 可以比较方便的得到pid
一个很简单的命令，pgrep，可以迅速定位包含某个关键字的进程的pid；使用这个命令，再也不用ps aux 以后去对哪个进程的pid了
用法：
pgrep -l XXX
说明：
-l参数，可以显示出pid及进程名字；不加-l只显示pid，谁知道是什么进程的pid
举例：
# pgrep httpd
2092
2094
2096
2098
2106
2108
2109
2111
14705
# pgrep -l httpd
2092 httpd
2094 httpd
2096 httpd
2098 httpd
2106 httpd
...
阅读全文…
centos查看与修改memcached配置
[ 2016-07-21 23:03:00 | 作者: admin ]
查看memcached启动时的配置情况
上图中可以发现 13473 是pid， -c 3072 为连接数限制，-m 512 为内存限制。如果生产中不足可以增加。
修改当前配置，并重启memcached的方法
1、首先得到pid，上面已经得到。另外还有一个简单的方法 pgrep -l memcached ，可以百度下pgrep的其他用法
2、kill -9 13473 #这样结束进程不会影响已经运行的进程
3、/use/local/memcached/bin/memcached -d -m 512 -p 11211 -c 3072 -u root #运行下即可启动memcached
...
阅读全文…
ps -ef |grep memcached
上图中可以发现 13473 是pid， -c 3072 为连接数限制，-m 512 为内存限制。如果生产中不足可以增加。
修改当前配置，并重启memcached的方法
1、首先得到pid，上面已经得到。另外还有一个简单的方法 pgrep -l memcached ，可以百度下pgrep的其他用法
2、kill -9 13473 #这样结束进程不会影响已经运行的进程
3、/use/local/memcached/bin/memcached -d -m 512 -p 11211 -c 3072 -u root #运行下即可启动memcached
...
阅读全文…
nginx 防御采集和cc
[ 2016-03-17 17:06:16 | 作者: admin ]
bbs经常被大量采集
nginx.conf
vhosts的配置
location ~*^/(home|forum|portal|forum).php$ {
root /home/bbs.qq.com/wwwroot;
limit_conn conn_limit_per_ip 10;
limit_req zone=req_limit_per_ip burst=10 nodelay;
fastcgi_pass 127.0.0.1:9000;...
阅读全文…
nginx.conf
limit_conn_zone $binary_remote_addr zone=conn_limit_per_ip:100m;
limit_req_zone $binary_remote_addr zone=req_limit_per_ip:100m rate=1r/s;
limit_req_zone $binary_remote_addr zone=req_limit_per_ip:100m rate=1r/s;
vhosts的配置
location ~*^/(home|forum|portal|forum).php$ {
root /home/bbs.qq.com/wwwroot;
limit_conn conn_limit_per_ip 10;
limit_req zone=req_limit_per_ip burst=10 nodelay;
fastcgi_pass 127.0.0.1:9000;
阅读全文…
[locvps]mount: unknown filesystem type 'LVM2_member'解决方案
[ 2015-11-10 11:21:26 | 作者: admin ]
From: http://hi.baidu.com/williwill/item/7a36fdd92340b2ee55347f13
系统启动到request_module: runaway loop modprobe binfmt-464c挂起
利用U盘系统，挂载硬盘出现：mount: unknown filesystem type 'LVM2_member'
解决办法：
需要安装 lvm2: yum install lvm2
然后按一下步骤：
1、查看物理卷：pvs
PV VG Fmt Attr PSize PFree
/dev/sda2 VolGroup00 lvm2 a- 279.22G 32.00M
2、查看卷组：vgs
阅读全文…
系统启动到request_module: runaway loop modprobe binfmt-464c挂起
利用U盘系统，挂载硬盘出现：mount: unknown filesystem type 'LVM2_member'
解决办法：
需要安装 lvm2: yum install lvm2
然后按一下步骤：
1、查看物理卷：pvs
PV VG Fmt Attr PSize PFree
/dev/sda2 VolGroup00 lvm2 a- 279.22G 32.00M
2、查看卷组：vgs
VG #PV #LV #SN Attr VSize VFree
...阅读全文…
linux下的文件同步，目录同步，增量备份，Linux下rsync的用法
[ 2015-07-01 22:39:34 | 作者: admin ]
rsync说明：
--delete：本地与服务器完全一样，如果本地存在不一样的，则删除，慎用
--password-file：指定密码文件，如果不指定，则需手动输入
-a ：参数，相当于-rlptgoD，-r 是递归 -l 是链接文件，意思是拷贝链接文件；-p 表示保持文件原有权限；-t 保持文件原有时间；-g 保持文件原有用户组；-o 保持文件原有属主；-D 相当于块设备文件；
-z ：传输时压缩；
-P ：传输进度；
-v ：传输时的进度等信息
简单的增量备份图片
阅读全文…
--delete：本地与服务器完全一样，如果本地存在不一样的，则删除，慎用
--password-file：指定密码文件，如果不指定，则需手动输入
-a ：参数，相当于-rlptgoD，-r 是递归 -l 是链接文件，意思是拷贝链接文件；-p 表示保持文件原有权限；-t 保持文件原有时间；-g 保持文件原有用户组；-o 保持文件原有属主；-D 相当于块设备文件；
-z ：传输时压缩；
-P ：传输进度；
-v ：传输时的进度等信息
rsync -avzP /source/pics/ /object/pics/ --exclude "*.s.*"
第一次会完整备份，以后同步时，只会同步新增内容。简单的增量备份图片
rsync -rv /source/pics
...阅读全文…
centos下面lnmp方式安装的proftpd，权限配置记录
[ 2015-06-28 10:31:27 | 作者: admin ]
p.s. linux的权限，proftpd运行账号需要读写权限，而类网站www默认需要读权限755，data和upload目录才需要给www写权限777
使用lnmp1.1中的proftpd比较好的解决了这个问题，可以做到ftp对读写权限的每个网站独立分配
问题一：
安装了proftpd，一开始不能启动，proftpd.conf改了nogroup为nobody就可以启动了
问题二：
本来以为wwwroot目录给予nobody的权限就可以了，后来发现根本没有用
测试把/home/wwwroot/给予777权限，然后用ftp上传一个文件，看看是哪个用户上传的
原来lnmp1.1的脚本生成的账号不是虚拟账号，会产生的系统账号 blog_xg98_com 和组 blog_xg98_com
这样就简单了，给予网站目录ftp的读写权权限就可以了[code][/code]...
阅读全文…
使用lnmp1.1中的proftpd比较好的解决了这个问题，可以做到ftp对读写权限的每个网站独立分配
问题一：
安装了proftpd，一开始不能启动，proftpd.conf改了nogroup为nobody就可以启动了
问题二：
本来以为wwwroot目录给予nobody的权限就可以了，后来发现根本没有用
测试把/home/wwwroot/给予777权限，然后用ftp上传一个文件，看看是哪个用户上传的
原来lnmp1.1的脚本生成的账号不是虚拟账号，会产生的系统账号 blog_xg98_com 和组 blog_xg98_com
这样就简单了，给予网站目录ftp的读写权权限就可以了[code][/code]...
阅读全文…
