mysql --- mongodb --- nginx 知识点总结

文章目录

    ulimit -SHn 65535  # 临时设置文件描述符大小 进程最大打开文件柄数 还有socket最大连接数, 等同配置 nofileulimit -SHu 65535  # 临时设置用户最大进程数ulimit -a          # 查看/etc/security/limits.conf# 文件描述符大小  open files# lsof |wc -l   查看当前文件句柄数使用数量* soft nofile 16384         # 设置太大，进程使用过多会把机器拖死* hard nofile 32768# 用户最大进程数  max user processes# echo $((`ps uxm |wc -l`-`ps ux |wc -l`))  查看当前用户占用的进程数 [包括线程]user soft nproc 16384user hard nproc 32768# 如果/etc/security/limits.d/有配置文件，将会覆盖/etc/security/limits.conf里的配置# 即/etc/security/limits.d/的配置文件里就不要有同样的参量设置/etc/security/limits.d/90-nproc.conf    # centos6.3的默认这个文件会覆盖 limits.confuser soft nproc 16384user hard nproc 32768sysctl -p    # 修改配置文件后让系统生效}随机分配端口范围{# 本机连其它端口用的echo "10000 65535" > /proc/sys/net/ipv4/ip_local_port_range}百万长链接设置{# 内存消耗需要较大vim /root/.bash_profile# 添加如下2行,退出bash重新登陆# 一个进程不能使用超过NR_OPEN文件描述符echo 20000500 > /proc/sys/fs/nr_open# 当前用户最大文件数ulimit -n 10000000}core崩溃文件查看{gdb  core.13844bt   # 查看函数调用信息(堆栈)}libc.so故障修复{# 由于升级glibc导致libc.so不稳定,突然报错,幸好还有未退出的终端grep: error while loading shared libraries: /lib64/libc.so.6: ELF file OS ABI invalid# 看看当前系统有多少版本 libc.sols /lib64/libc-[tab]# 更改环境变量指向其他 libc.so 文件测试export LD_PRELOAD=/lib64/libc-2.7.so    # 如果不改变LD_PRELOAD变量,ln不能用,需要使用 /sbin/sln 命令做链接# 当前如果好使了，在执行下面强制替换软链接。如不好使，测试其他版本的libc.so文件ln -f -s /lib64/libc-2.7.so /lib64/libc.so.6}无法分配内存 {fork: Cannot allocate memory# 报错不一定是内存不够用，进程数或者线程数满了也会报这个错误， 可以适当增加 kernel.pid_max 的值，cat /proc/sys/kernel/pid_max  # 默认3.2w}sudo{echo myPassword | sudo -S ls /tmp  # 直接输入sudo的密码非交互,从标准输入读取密码而不是终端设备visudo                             # sudo命令权限添加  /etc/sudoers用户  别名(可用all)=NOPASSWD:命令1,命令2user  ALL=NOPASSWD:/bin/su         # 免root密码切换root身份wangming linuxfan=NOPASSWD:/sbin/apache start,/sbin/apache restartUserName ALL=(ALL) ALLUserName ALL=(ALL) NOPASSWD: ALLpeterli        ALL=(ALL)       NOPASSWD:/sbin/serviceDefaults requiretty                # sudo不允许后台运行,注释此行既允许Defaults !visiblepw                # sudo不允许远程,去掉!既允许}grub开机启动项添加{vim /etc/grub.conftitle ms-dosrootnoverify (hd0,0)chainloader +1}stty{#stty时一个用来改变并打印终端行设置的常用命令stty iuclc          # 在命令行下禁止输出大写stty -iuclc         # 恢复输出大写stty olcuc          # 在命令行下禁止输出小写stty -olcuc         # 恢复输出小写stty size           # 打印出终端的行数和列数stty eof "string"   # 改变系统默认ctrl+D来表示文件的结束stty -echo          # 禁止回显stty echo           # 打开回显stty -echo;read;stty echo;read  # 测试禁止回显stty igncr          # 忽略回车符stty -igncr         # 恢复回车符stty erase '#'      # 将#设置为退格字符stty erase '^?'     # 恢复退格字符定时输入{timeout_read(){timeout=$1old_stty_settings=`stty -g`　　# save current settingsstty -icanon min 0 time 100　　# set 10seconds,not 100secondseval read varname　　          # =read $varnamestty "$old_stty_settings"　　  # recover settings}read -t 10 varname    # 更简单的方法就是利用read命令的-t选项}检测用户按键{#!/bin/bashold_tty_settings=$(stty -g)   # 保存老的设置(为什么?).stty -icanonKeypress=$(head -c1)          # 或者使用$(dd bs=1 count=1 2> /dev/null)echo "Key pressed was \""$Keypress"\"."stty "$old_tty_settings"      # 恢复老的设置.exit 0}}iptables{内建三个表：nat mangle 和 filterfilter预设规则表，有INPUT、FORWARD 和 OUTPUT 三个规则链vi /etc/sysconfig/iptables    # 配置文件INPUT    # 进入FORWARD  # 转发OUTPUT   # 出去ACCEPT   # 将封包放行REJECT   # 拦阻该封包DROP     # 丢弃封包不予处理-A       # 在所选择的链(INPUT等)末添加一条或更多规则-D       # 删除一条-E       # 修改-p       # tcp、udp、icmp    0相当于所有all    !取反-P       # 设置缺省策略(与所有链都不匹配强制使用此策略)-s       # IP/掩码    (IP/24)    主机名、网络名和清楚的IP地址 !取反-j       # 目标跳转，立即决定包的命运的专用内建目标-i       # 进入的（网络）接口 [名称] eth0-o       # 输出接口[名称]-m       # 模块--sport  # 源端口--dport  # 目标端口iptables -F                        # 将防火墙中的规则条目清除掉  # 注意: iptables -P INPUT ACCEPTiptables-restore < 规则文件        # 导入防火墙规则/etc/init.d/iptables save          # 保存防火墙设置/etc/init.d/iptables restart       # 重启防火墙服务iptables -L -n                     # 查看规则iptables -t nat -nL                # 查看转发iptables实例{iptables -L INPUT                   # 列出某规则链中的所有规则iptables -X allowed                 # 删除某个规则链 ,不加规则链，清除所有非内建的iptables -Z INPUT                   # 将封包计数器归零iptables -N allowed                 # 定义新的规则链iptables -P INPUT DROP              # 定义过滤政策iptables -A INPUT -s 192.168.1.1    # 比对封包的来源IP   # ! 192.168.0.0/24  ! 反向对比iptables -A INPUT -d 192.168.1.1    # 比对封包的目的地IPiptables -A INPUT -i eth0           # 比对封包是从哪片网卡进入iptables -A FORWARD -o eth0         # 比对封包要从哪片网卡送出 eth+表示所有的网卡iptables -A INPUT -p tcp            # -p ! tcp 排除tcp以外的udp、icmp。-p all所有类型iptables -D INPUT 8                 # 从某个规则链中删除一条规则iptables -D INPUT --dport 80 -j DROP         # 从某个规则链中删除一条规则iptables -R INPUT 8 -s 192.168.0.1 -j DROP   # 取代现行规则iptables -I INPUT 8 --dport 80 -j ACCEPT     # 插入一条规则iptables -A INPUT -i eth0 -j DROP            # 其它情况不允许iptables -A INPUT -p tcp -s IP -j DROP       # 禁止指定IP访问iptables -A INPUT -p tcp -s IP --dport port -j DROP               # 禁止指定IP访问端口iptables -A INPUT -s IP -p tcp --dport port -j ACCEPT             # 允许在IP访问指定端口iptables -A INPUT -p tcp --dport 22 -j DROP                       # 禁止使用某端口iptables -A INPUT -i eth0 -p icmp -m icmp --icmp-type 8 -j DROP   # 禁止icmp端口iptables -A INPUT -i eth0 -p icmp -j DROP                         # 禁止icmp端口iptables -t filter -A INPUT -i eth0 -p tcp --syn -j DROP                  # 阻止所有没有经过你系统授权的TCP连接iptables -A INPUT -f -m limit --limit 100/s --limit-burst 100 -j ACCEPT   # IP包流量限制iptables -A INPUT -i eth0 -s 192.168.62.1/32 -p icmp -m icmp --icmp-type 8 -j ACCEPT  # 除192.168.62.1外，禁止其它人ping我的主机iptables -A INPUT -p tcp -m tcp --dport 80 -m state --state NEW -m recent --update --seconds 5 --hitcount 20 --rttl --name WEB --rsource -j DROP  # 可防御cc攻击(未测试)}iptables配置实例文件{# Generated by iptables-save v1.2.11 on Fri Feb  9 12:10:37 2007*filter:INPUT ACCEPT [637:58967]:FORWARD DROP [0:0]:OUTPUT ACCEPT [5091:1301533]# 允许的IP或IP段访问 建议多个-A INPUT -s 127.0.0.1 -p tcp -j ACCEPT-A INPUT -s 192.168.0.0/255.255.0.0 -p tcp -j ACCEPT# 开放对外开放端口-A INPUT -p tcp --dport 80 -j ACCEPT# 指定某端口针对IP开放-A INPUT -s 192.168.10.37 -p tcp --dport 22 -j ACCEPT# 拒绝所有协议(INPUT允许)-A INPUT -p tcp -m tcp --tcp-flags FIN,SYN,RST,PSH,URG RST -j DROP# 允许已建立的或相关连的通行-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT# 拒绝ping-A INPUT -p tcp -m tcp -j REJECT --reject-with icmp-port-unreachableCOMMIT# Completed on Fri Feb  9 12:10:37 2007}iptables配置实例{# 允许某段IP访问任何端口iptables -A INPUT -s 192.168.0.3/24 -p tcp -j ACCEPT# 设定预设规则 (拒绝所有的数据包，再允许需要的,如只做WEB服务器.还是推荐三个链都是DROP)iptables -P INPUT DROPiptables -P FORWARD DROPiptables -P OUTPUT ACCEPT# 注意: 直接设置这三条会掉线# 开启22端口iptables -A INPUT -p tcp --dport 22 -j ACCEPT# 如果OUTPUT 设置成DROP的，要写上下面一条iptables -A OUTPUT -p tcp --sport 22 -j ACCEPT# 注:不写导致无法SSH.其他的端口一样,OUTPUT设置成DROP的话,也要添加一条链# 如果开启了web服务器,OUTPUT设置成DROP的话,同样也要添加一条链iptables -A OUTPUT -p tcp --sport 80 -j ACCEPT# 做WEB服务器,开启80端口 ,其他同理iptables -A INPUT -p tcp --dport 80 -j ACCEPT# 做邮件服务器,开启25,110端口iptables -A INPUT -p tcp --dport 110 -j ACCEPTiptables -A INPUT -p tcp --dport 25 -j ACCEPT# 允许icmp包通过,允许pingiptables -A OUTPUT -p icmp -j ACCEPT (OUTPUT设置成DROP的话)iptables -A INPUT -p icmp -j ACCEPT  (INPUT设置成DROP的话)# 允许loopback!(不然会导致DNS无法正常关闭等问题)IPTABLES -A INPUT -i lo -p all -j ACCEPT (如果是INPUT DROP)IPTABLES -A OUTPUT -o lo -p all -j ACCEPT(如果是OUTPUT DROP)}centos6的iptables基本配置{*filter:INPUT ACCEPT [0:0]:FORWARD ACCEPT [0:0]:OUTPUT ACCEPT [0:0]-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT-A INPUT -p icmp -j ACCEPT-A INPUT -i lo -j ACCEPT-A INPUT -s 222.186.135.61 -p tcp -j ACCEPT-A INPUT -p tcp  --dport 80 -j ACCEPT-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT-A INPUT -j REJECT --reject-with icmp-host-prohibited-A INPUT -p tcp -m tcp --tcp-flags FIN,SYN,RST,PSH,URG RST -j DROP-A FORWARD -j REJECT --reject-with icmp-host-prohibitedCOMMIT}添加网段转发{# 例如通过vpn上网echo 1 > /proc/sys/net/ipv4/ip_forward       # 在内核里打开ip转发功能iptables -t nat -A POSTROUTING -s 10.8.0.0/24 -j MASQUERADE  # 添加网段转发iptables -t nat -A POSTROUTING -s 10.0.0.0/255.0.0.0 -o eth0 -j SNAT --to 192.168.10.158  # 原IP网段经过哪个网卡IP出去iptables -t nat -nL                # 查看转发}端口映射{# 内网通过有外网IP的机器映射端口# 内网主机添加路由route add -net 10.10.20.0 netmask 255.255.255.0 gw 10.10.20.111     # 内网需要添加默认网关，并且网关开启转发# 网关主机echo 1 > /proc/sys/net/ipv4/ip_forward       # 在内核里打开ip转发功能iptables -t nat -A PREROUTING -d 外网IP  -p tcp --dport 9999 -j DNAT --to 10.10.20.55:22    # 进入iptables -t nat -A POSTROUTING -s 10.10.20.0/24 -j SNAT --to 外网IP                         # 转发回去iptables -t nat -nL                # 查看转发}}
}4 服务{/etc/init.d/sendmail start                   # 启动服务
/etc/init.d/sendmail stop                    # 关闭服务
/etc/init.d/sendmail status                  # 查看服务当前状态
/date/mysql/bin/mysqld_safe --user=mysql &   # 启动mysql后台运行
/bin/systemctl restart  mysqld.service       # centos7启动服务
vi /etc/rc.d/rc.local                        # 开机启动执行  可用于开机启动脚本
/etc/rc.d/rc3.d/S55sshd                      # 开机启动和关机关闭服务连接    # S开机start  K关机stop  55级别 后跟服务名
ln -s -f /date/httpd/bin/apachectl /etc/rc.d/rc3.d/S15httpd   # 将启动程序脚本连接到开机启动目录
ipvsadm -ln                                  # lvs查看后端负载机并发
ipvsadm -C                                   # lvs清除规则
xm list                                      # 查看xen虚拟主机列表
virsh                                        # 虚拟化(xen\kvm)管理工具  yum groupinstall Virtual*
./bin/httpd -M                               # 查看httpd加载模块
httpd -t -D DUMP_MODULES                     # rpm包httpd查看加载模块
echo 内容| /bin/mail -s "标题" 收件箱 -f 发件人       # 发送邮件
"`echo "内容"|iconv -f utf8 -t gbk`" | /bin/mail -s "`echo "标题"|iconv -f utf8 -t gbk`" 收件箱     # 解决邮件乱码
/usr/local/nagios/bin/nagios -v /usr/local/nagios/etc/nagios.cfg   # 检测nagios配置文件chkconfig{chkconfig service on|off|set             # 设置非独立服务启状态chkconfig --level 35   httpd   off       # 让服务不自动启动chkconfig --level 35   httpd   on        # 让服务自动启动 35指的是运行级别chkconfig --list                         # 查看所有服务的启动状态chkconfig --list |grep httpd             # 查看某个服务的启动状态chkconfig –-list [service]               # 查看服务的状态}systemctl{systemctl is-active *.service      # 查看服务是否运行systemctl is-enabled *.service     # 查询服务是否开机启动systemctl mask *.service           # 注销指定服务systemctl unmask cups.service      # 取消注销cups服务systemctl enable *.service         # 开机运行服务systemctl disable *.service        # 取消开机运行systemctl start *.service          # 启动服务systemctl stop *.service           # 停止服务systemctl restart *.service        # 重启服务systemctl reload *.service         # 重新加载服务配置文件systemctl status *.service         # 查询服务运行状态systemctl --failed                 # 显示启动失败的服务systemctl poweroff                 # 系统关机systemctl reboot                   # 重新启动systemctl rescue                   # 强制进入救援模式systemctl emergency                # 强制进入紧急救援模式systemctl list-dependencies        # 查看当前运行级别target(mult-user)启动了哪些服务systemctl list-unit-files          # 查看开机启动的状态journalctl -r -u elasticsearch.service  # 查看日志 r倒序 u服务名/etc/systemd/system/falcon-agent.service[Unit]Description=This is zuiyou monitor agentAfter=network.target remote-fs.target nss-lookup.target[Service]User= rootType=simplePIDFile=/opt/falcon-agent/var/app.pidExecStartPre=/usr/bin/rm -f /opt/falcon-agent/var/app.pidExecStart=/opt/falcon-agent/control startExecReload=/bin/kill -s HUP $MAINPIDKillMode=processKillSignal=SIGQUITTimeoutStopSec=5PrivateTmp=trueRestart=alwaysLimitNOFILE=infinity[Install]WantedBy=multi-user.targetsystemctl daemon-reload           # 加载配置}nginx{yum install -y make gcc  openssl-devel pcre-devel  bzip2-devel libxml2 libxml2-devel curl-devel libmcrypt-devel libjpeg libjpeg-devel libpng libpng-devel opensslgroupadd nginxuseradd nginx -g nginx -M -s /sbin/nologinmkdir -p /opt/nginx-tmpwget http://labs.frickle.com/files/ngx_cache_purge-1.6.tar.gztar fxz ngx_cache_purge-1.6.tar.gz# ngx_cache_purge 清除指定url缓存# 假设一个URL为 http://192.168.12.133/test.txt# 通过访问      http://192.168.12.133/purge/test.txt  就可以清除该URL的缓存。tar zxvpf nginx-1.4.4.tar.gzcd nginx-1.4.4# ./configure --help# --with                 # 默认不加载 需指定编译此参数才使用# --without              # 默认加载，可用此参数禁用# --add-module=path      # 添加模块的路径# --add-module=/opt/ngx_module_upstream_check \         # nginx 代理状态页面# ngx_module_upstream_check  编译前需要打对应版本补丁 patch -p1 < /opt/nginx_upstream_check_module/check_1.2.6+.patch# --add-module=/opt/ngx_module_memc \                   # 将请求页面数据存放在 memcached中# --add-module=/opt/ngx_module_lua \                    # 支持lua脚本 yum install lua-devel lua./configure \--user=nginx \--group=nginx \--prefix=/usr/local/nginx \--with-http_ssl_module \--with-http_realip_module \--with-http_gzip_static_module \--with-http_stub_status_module \--add-module=/opt/ngx_cache_purge-1.6 \--http-client-body-temp-path=/opt/nginx-tmp/client \--http-proxy-temp-path=/opt/nginx-tmp/proxy \--http-fastcgi-temp-path=/opt/nginx-tmp/fastcgi \--http-uwsgi-temp-path=/opt/nginx-tmp/uwsgi \--http-scgi-temp-path=/opt/nginx-tmp/scgimake && make install/usr/local/nginx/sbin/nginx –t             # 检查Nginx配置文件 但并不执行/usr/local/nginx/sbin/nginx -t -c /opt/nginx/conf/nginx.conf  # 检查Nginx配置文件/usr/local/nginx/sbin/nginx                # 启动nginx/usr/local/nginx/sbin/nginx -s reload      # 重载配置/usr/local/nginx/sbin/nginx -s stop        # 关闭nginx服务}elasticsearch{vim /etc/sysctl.confvm.max_map_count = 262144vim /etc/security/limits.conf* soft memlock unlimited* hard memlock unlimitedsysctl -pcurl 'localhost:9200/_cat/health?v'                    # 健康检查curl 'localhost:9200/_cat/nodes?v'                     # 获取集群的节点列表curl 'localhost:9200/_cat/indices?v'                   # 列出所有索引curl 127.0.0.1:9200/indexname -XDELETE                 # 删除索引curl -XGET http://localhost:9200/_cat/shards           # 查看分片curl '127.0.0.1:9200/_cat/indices'                     # 查分片同步  unassigned_shards  # 没同步完成}mysql常用命令{# mysql 可视化工具 MySQL Workbenchmysqlcheck -uroot -p -S mysql.sock --optimize --databases account       # 检查、修复、优化MyISAM表mysqlbinlog slave-relay-bin.000001              # 查看二进制日志mysqladmin -h myhost -u root -p create dbname   # 创建数据库flush privileges;             # 刷新show databases;               # 显示所有数据库use dbname;                   # 打开数据库show tables;                  # 显示选中数据库中所有的表desc tables;                  # 查看表结构drop database name;           # 删除数据库drop table name;              # 删除表create database name;         # 创建数据库select column from table;     # 查询show processlist;             # 查看mysql进程show full processlist;        # 显示进程全的语句select user();                # 查看所有用户show slave status\G;          # 查看主从状态show variables;               # 查看所有参数变量show status;                  # 运行状态show table status             # 查看表的引擎状态show grants for user@'%'                                    # 查看用户权限drop table if exists user                                   # 表存在就删除create table if not exists user                             # 表不存在就创建select host,user,password from user;                        # 查询用户权限 先use mysqlcreate table ka(ka_id varchar(6),qianshu int);              # 创建表show variables like 'character_set_%';                      # 查看系统的字符集和排序方式的设定show variables like '%timeout%';                            # 查看超时相关参数delete from user where user='';                             # 删除空用户delete from user where user='sss' and host='localhost' ;    # 删除用户drop user 'sss'@'localhost';                                # 使用此方法删除用户更为靠谱ALTER TABLE mytable ENGINE = MyISAM ;                       # 改变现有的表使用的存储引擎SHOW TABLE STATUS from  dbname  where Name='tablename';     # 查询表引擎mysql -uroot -p -A -ss -h10.10.10.5 -e "show databases;"    # shell中获取数据不带表格 -ss参数CREATE TABLE innodb (id int, title char(20)) ENGINE = INNODB                     # 创建表指定存储引擎的类型(MyISAM或INNODB)grant replication slave on *.* to 'user'@'%' identified by 'pwd';                # 创建主从复制用户ALTER TABLE player ADD INDEX weekcredit_faction_index (weekcredit, faction);     # 添加索引alter table name add column accountid(column)  int(11) NOT NULL(column);         # 插入字段update host set monitor_state='Y',hostname='xuesong' where ip='192.168.1.1';     # 更新数据select * from information_schema.processlist where command!='sleep';             # 查看当前进程select * from atable where name='on' AND t<15 AND host LIKE '10%' limit 1,10;    # 多条件查询show create database ops_deploy;                                                 # 查看数据库编码show create table updatelog;                                                     # 查看数据库表编码alter database ops_deploy CHARACTER SET utf8;                                    # 修改数据库编码alter table `updatelog` default character set utf8;                              # 修改表编码alter table `updatelog` convert to character set utf8;                           # 修改一张表的所有字段的编码格式自增表{create table xuesong  (id INTEGER  PRIMARY KEY AUTO_INCREMENT, name CHAR(30) NOT NULL, age integer , sex CHAR(15) );  # 创建自增表insert into xuesong(name,age,sex) values(%s,%s,%s)  # 自增插入数据}登录mysql的命令{# 格式：mysql -h 主机地址 -u 用户名 -p 用户密码mysql -h110.110.110.110 -P3306 -uroot -pmysql -uroot -p -S /data1/mysql5/data/mysql.sock -A  --default-character-set=GBK}shell执行mysql命令{mysql -u root -p'123' xuesong < file.sql   # 针对指定库执行sql文件中的语句,好处不需要转义特殊符号,一条语句可以换行.不指定库执行时语句中需要先usemysql -u$username -p$passwd -h$dbhost -P$dbport -A -e "use $dbname;delete from data where date=('$date1');"    # 执行多条mysql命令mysql -uroot -p -S mysql.sock -e "use db;alter table gift add column accountid  int(11) NOT NULL;flush privileges;"  2>&1 |grep -v Warning    # 不登陆mysql插入字段}mysql字符集相关{show variables like '%character%';      # 查看数据库中设置字符集的参数# character_set_client、character_set_connection 以及 character_set_results 这几个参数都是客户端的设置# character_set_system、character_set_server 以及 character_set_database 是指服务器端的设置。# 而对于这三个服务器端的参数来说的优先级是:# 列级字符集 > 表级字符集 > character_set_database > character_set_server > character_set_systemshow global variables like '%char%';                                 #查看RDS实例字符集相关参数设置show global variables like 'coll%';                                  #查看当前会话字符序相关参数设置show character set;                                                  #查看实例支持的字符集show collation;                                                      #查看实例支持的字符序show create table table_name \G                                      #查看表字符集设置show create database database_name \G                                #查看数据库字符集设置show create procedure procedure_name \G                              #查看存储过程字符集设置show procedure status \G                                             #查看存储过程字符集设置alter database db_name default charset utf8;                         #修改数据库的字符集 create database db_name character set utf8;                          #创建数据库时指定字符集alter table tab_name default charset utf8 collate utf8_general_ci;   #修改表字符集和字符序# 下面三条sql 分别将库 dbsdq , 表 tt2 , 表 tt2 中的 c2 列修改为utf8mb4 字符集alter database dbsdq character set utf8mb4 collate utf8mb4_unicode_ci;use dbsdq;alter table tt2 character set utf8mb4 collate utf8mb4_unicode_ci;alter table tt2 modify c2  varchar(10) character set utf8mb4;# 修改列时,当前列中的所有行都会立即转化为新的字符集;# alter table 会对表加元数据锁}备份数据库{mysqldump -h host -u root -p --default-character-set=utf8 dbname >dbname_backup.sql               # 不包括库名，还原需先创建库，在usemysqldump -h host -u root -p --database --default-character-set=utf8 dbname >dbname_backup.sql    # 包括库名，还原不需要创建库/bin/mysqlhotcopy -u root -p    # mysqlhotcopy只能备份MyISAM引擎mysqldump -u root -p -S mysql.sock --default-character-set=utf8 dbname table1 table2  > /data/db.sql    # 备份表mysqldump -uroot -p123  -d database > database.sql    # 备份数据库结构# 最小权限备份grant select on db_name.* to dbbackup@"localhost" Identified by "passwd";# --single-transaction  InnoDB有时间戳 只备份开始那一刻的数据,备份过程中的数据不会备份mysqldump -hlocalhost -P 3306 -u dbbackup --single-transaction  -p"passwd" --database dbname >dbname.sql# xtrabackup备份需单独安装软件 优点: 速度快,压力小,可直接恢复主从复制innobackupex --user=root --password="" --defaults-file=/data/mysql5/data/my_3306.cnf --socket=/data/mysql5/data/mysql.sock --slave-info --stream=tar --tmpdir=/data/dbbackup/temp /data/dbbackup/ 2>/data/dbbackup/dbbackup.log | gzip 1>/data/dbbackup/db50.tar.gz}还原数据库{mysql -h host -u root -p dbname < dbname_backup.sqlsource 路径.sql   # 登陆mysql后还原sql文件}赋权限{# 指定IP: $IP  本机: localhost   所有IP地址: %   # 通常指定多条grant all on zabbix.* to user@"$IP";             # 对现有账号赋予权限grant select on database.* to user@"%" Identified by "passwd";     # 赋予查询权限(没有用户，直接创建)grant all privileges on database.* to user@"$IP" identified by 'passwd';         # 赋予指定IP指定用户所有权限(不允许对当前库给其他用户赋权限)grant all privileges on database.* to user@"localhost" identified by 'passwd' with grant option;   # 赋予本机指定用户所有权限(允许对当前库给其他用户赋权限)grant select, insert, update, delete on database.* to user@'ip'identified by "passwd";   # 开放管理操作指令revoke all on *.* from user@localhost;     # 回收权限GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, INDEX, ALTER, EXECUTE, CREATE ROUTINE, ALTER ROUTINE ON `storemisc_dev`.* TO 'user'@'192.168.%'}更改密码{update user set password=password('passwd') where user='root'mysqladmin -u root password 'xuesong'}mysql忘记密码后重置{cd /data/mysql5/data/mysql5/bin/mysqld_safe --user=mysql --skip-grant-tables --skip-networking &use mysql;update user set password=password('123123') where user='root';}mysql主从复制失败恢复{slave stop;reset slave;change master to master_host='10.10.10.110',master_port=3306,master_user='repl',master_password='repl',master_log_file='master-bin.000010',master_log_pos=107,master_connect_retry=60;slave start;}sql语句使用变量{use xuesong;set @a=concat('my',weekday(curdate()));    # 组合时间变量set @sql := concat('CREATE TABLE IF NOT EXISTS ',@a,'( id INT(11) NOT NULL )');   # 组合sql语句select @sql;                    # 查看语句prepare create_tb from @sql;    # 准备execute create_tb;              # 执行}检测mysql主从复制延迟{1、在从库定时执行更新主库中的一个timeout数值2、同时取出从库中的timeout值对比判断从库与主库的延迟}死锁{show OPEN TABLES where In_use > 0;                  # 查看当前锁信息show variables like 'innodb_print_all_deadlocks';   # 查看当前死锁参数set global innodb_print_all_deadlocks = 1;          # 设置死锁信息保存到错误日志innodb_print_all_deadlocks = 1                      # conf配置}mysql慢查询{select * from information_schema.processlist where command in ('Query') and time >5\G      # 查询操作大于5S的进程开启慢查询日志{# 配置文件 /etc/my.conf[mysqld]log-slow-queries=/var/lib/mysql/slowquery.log         # 指定日志文件存放位置，可以为空，系统会给一个缺省的文件host_name-slow.loglong_query_time=5                                     # 记录超过的时间，默认为10s 建议0.5Slog-queries-not-using-indexes                         # log下来没有使用索引的query,可以根据情况决定是否开启  可不加log-long-format                                       # 如果设置了，所有没有使用索引的查询也将被记录    可不加# 直接修改生效show variables like "%slow%";                         # 查看慢查询状态set global slow_query_log='ON';                       # 开启慢查询日志 变量可能不同，看上句查询出来的变量}mysqldumpslow慢查询日志查看{-s  # 是order的顺序，包括看了代码，主要有 c,t,l,r和ac,at,al,ar，分别是按照query次数，时间，lock的时间和返回的记录数来排序，前面加了a的时倒序-t  # 是top n的意思，即为返回前面多少条的数据-g  # 后边可以写一个正则匹配模式，大小写不敏感的mysqldumpslow -s c -t 20 host-slow.log                # 访问次数最多的20个sql语句mysqldumpslow -s r -t 20 host-slow.log                # 返回记录集最多的20个sqlmysqldumpslow -t 10 -s t -g "left join" host-slow.log # 按照时间返回前10条里面含有左连接的sql语句show global status like '%slow%';                     # 查看现在这个session有多少个慢查询show variables like '%slow%';                         # 查看慢查询日志是否开启，如果slow_query_log和log_slow_queries显示为on，说明服务器的慢查询日志已经开启show variables like '%long%';                         # 查看超时阀值desc select * from wei where text='xishizhaohua'\G;   # 扫描整张表 tepe:ALL  没有使用索引 key:NULLcreate index text_index on wei(text);                 # 创建索引}Percona Toolkit 慢日志分析工具}mysql操作次数查询{select * from information_schema.global_status;com_selectcom_deletecom_insertcom_update}}mongodb{# mongo可视管理工具 studio 3t  一、启动{# 不启动认证./mongod --port 27017 --fork --logpath=/opt/mongodb/mongodb.log --logappend --dbpath=/opt/mongodb/data/# 启动认证./mongod --port 27017 --fork --logpath=/opt/mongodb/mongodb.log --logappend --dbpath=/opt/mongodb/data/ --auth# 配置文件方式启动cat /opt/mongodb/mongodb.confport=27017                       # 端口号fork=true                        # 以守护进程的方式运行，创建服务器进程auth=true                        # 开启用户认证logappend=true                   # 日志采用追加方式logpath=/opt/mongodb/mongodb.log # 日志输出文件路径dbpath=/opt/mongodb/data/        # 数据库路径shardsvr=true                    # 设置是否分片maxConns=600                     # 数据库的最大连接数./mongod -f /opt/mongodb/mongodb.conf# 其他参数bind_ip         # 绑定IP  使用mongo登录需要指定对应IPjournal         # 开启日志功能,降低单机故障的恢复时间,取代dur参数syncdelay       # 系统同步刷新磁盘的时间,默认60秒directoryperdb  # 每个db单独存放目录,建议设置.与mysql独立表空间类似repairpath      # 执行repair时的临时目录.如果没开启journal,出现异常重启,必须执行repair操作# mongodb没有参数设置内存大小.使用os mmap机制缓存数据文件,在数据量不超过内存的情况下,效率非常高.数据量超过系统可用内存会影响写入性能}二、关闭{# 方法一:登录mongodb./mongouse admindb.shutdownServer()# 方法:kill传递信号  两种皆可kill -2 pidkill -15 pid}三、开启认证与用户管理{./mongo                      # 先登录use admin                    # 切换到admin库db.addUser("root","123456")                     # 创建用户db.addUser('zhansan','pass',true)               # 如果用户的readOnly为true那么这个用户只能读取数据，添加一个readOnly用户zhansan./mongo 127.0.0.1:27017/mydb -uroot -p123456    # 再次登录,只能针对用户所在库登录#虽然是超级管理员，但是admin不能直接登录其他数据库，否则报错#Fri Nov 22 15:03:21.886 Error: 18 { code: 18, ok: 0.0, errmsg: "auth fails" } at src/mongo/shell/db.js:228show collections                                # 查看链接状态 再次登录使用如下命令,显示错误未经授权db.system.users.find();                         # 查看创建用户信息db.system.users.remove({user:"zhansan"})        # 删除用户#恢复密码只需要重启mongodb 不加--auth参数}四、登录{192.168.1.5:28017      # http登录后可查看状态mongo                  # 默认登录后打开 test 库mongo 192.168.1.5:27017/databaseName      # 直接连接某个库 不存在则创建  启动认证需要指定对应库才可登录}五、查看状态{#登录后执行命令查看状态db.runCommand({"serverStatus":1})globalLock         # 表示全局写入锁占用了服务器多少时间(微秒)mem                # 包含服务器内存映射了多少数据,服务器进程的虚拟内存和常驻内存的占用情况(MB)indexCounters      # 表示B树在磁盘检索(misses)和内存检索(hits)的次数.如果这两个比值开始上升,就要考虑添加内存了backgroudFlushing  # 表示后台做了多少次fsync以及用了多少时间opcounters         # 包含每种主要擦撞的次数asserts            # 统计了断言的次数#状态信息从服务器启动开始计算,如果过大就会复位,发送复位，所有计数都会复位,asserts中的roolovers值增加#mongodb自带的命令./mongostatinsert     #每秒插入量query      #每秒查询量update     #每秒更新量delete     #每秒删除量locked     #锁定量qr|qw      #客户端查询排队长度(读|写)ar|aw      #活跃客户端量(读|写)conn       #连接数time       #当前时间mongostat -h 127.0.0.1 --port 27047 --authenticationDatabase admin -u zadmin -p Keaphh9e    # 查看mongo状态mongotop  -h 127.0.0.1 --port 27047 --authenticationDatabase admin -u zadmin -p Keaphh9e    # 查看mongo集合的统计数据}六、常用命令{db.listCommands()     # 当前MongoDB支持的所有命令（同样可通过运行命令db.runCommand({"listCommands" : `1})来查询所有命令）db.runCommand({"buildInfo" : 1})                                  # 返回MongoDB服务器的版本号和服务器OS的相关信息db.runCommand({"collStats" : tablename})                          # 返回该集合的统计信息，包括数据大小，已分配存储空间大小，索引的大小等db.runCommand({"dropDatabase" : 1})                               # 清空当前数据库的信息，包括删除所有的集合和索引db.runCommand({"isMaster" : 1})                                   # 检查本服务器是主服务器还是从服务器db.runCommand({"ping" : 1})                                       # 检查服务器链接是否正常。即便服务器上锁，该命令也会立即返回db.runCommand({"repaireDatabase" : 1})                            # 对当前数据库进行修复并压缩，如果数据库特别大，这个命令会非常耗时db.runCommand({"serverStatus" : 1})                               # 查看这台服务器的管理统计信息# 某些命令必须在admin数据库下运行，如下两个命令：db.runCommand({"renameCollection" : 集合名, "to"：集合名})          # 对集合重命名，注意两个集合名都要是完整的集合命名空间，如foo.bar, 表示数据库foo下的集合bar。db.runCommand({"listDatabases" : 1})                              # 列出服务器上所有的数据库mongo  172.20.20.1:27072/mdb --eval "db.tb.count();"              # shell执行mongo语句mongo --host  172.20.20.1 --port 27049rs.config();                                                      # 查看集群配置rs.status();                                                      # 查看集群节点的状态db.currentOp()                                                    # 获取当前正在执行的操作,可对应命令链接到ip:portdb.runCommand( { logRotate : 1 } )                                # 日志轮转rs.slaveOk()                                                      # 设置从库shell可读rs.addArb("172.16.10.199:27020");                                 # 添加仲裁节点rs.add({host: "10.2.2.2:27047", priority: 0, hidden: true})       # 添加从节点 hidden true隐藏节点[priority必须为0]  false不隐藏rs.remove("172.20.80.216:27047");                                 # 删除节点rs.stepDown(120)                                                  # 主库上执行切换为从,120秒后切换回主show dbs                                                          # 查询dbuse post                                                          # 选择dbshow tables                                                       # 查看文档列表db.tb.drop()                                                      # 删除集合 需要权限db.tb.remove({})                                                  # 删除所有数据db.tb.count()                                                     # 查询文档条数db.tb.find()                                                      # 查看文档内容db.tb.find({_id:37530555})                                        # 查询指定iddb.tb.find().sort({_id:-1}).limit(1)                              # 查询文档最后一条db.tb.find({"processed" : {"$ne" : true}}).limit(1);              # 字段不为 truedb.tb.find({"processed" : {"$eq" : true}}).limit(1);              # 字段为 truedb.tb.find({"processed" : {"$exists" : false}}).limit(1);         # 字段不存在db.tb.ensureIndex({"status":1}, {background:true})                # 后台加索引db.tb.getIndexes()                                                # 查看索引db.tb.ensureIndex({"c_type":1},{backgrounnd:true})                # 后台添加索引  1正向  -1反向db.tb.dropIndex({"c_type":1});                                    # 删除索引}七、进程控制{db.currentOp()                  # 查看活动进程db.$cmd.sys.inprog.findOne()    # 查看活动进程 与上面一样opid      # 操作进程号op        # 操作类型(查询\更新)ns        # 命名空间,指操作的是哪个对象query     # 如果操作类型是查询,这里将显示具体的查询内容lockType  # 锁的类型,指明是读锁还是写锁db.killOp(opid值)                         # 结束进程db.$cmd.sys.killop.findOne({op:opid值})   # 结束进程}八、备份还原{# mongodump 虽然能不停机备份,但是为了获取实时数据视图的能力,使用fsync命令能在运行时复制数据目录并且不会损坏数据# fsync会强制服务器将所有缓冲区的数据写入磁盘.配合lock还阻止对数据库的进一步写入,知道释放锁为止db.runCommand({"fsync":1,"lock":1})   # 执行强制更新与写入锁db.$cmd.sys.unlock.findOne()          # 解锁db.currentOp()                        # 查看解锁是否正常mongoexport -d test -c t1 -o t1.dat                 # 导出JSON格式-c         # 指明导出集合-d         # 使用库mongoexport -d test -c t1 -csv -f num -o t1.dat     # 导出csv格式-csv       # 指明导出csv格式-f         # 指明需要导出那些例mongoimport -d test -c t1 -file t1.dat                           # mongoimport还原JSON格式mongoimport -d test -c t1 -type csv --headerline -file t1.dat    # mongoimport还原csv格式数据--headerline                # 指明不导入第一行 因为第一行是列名mongodump -d test -o /bak/mongodump                # mongodump数据备份mongorestore -d test --drop /bak/mongodump/*       # mongorestore恢复--drop      # 恢复前先删除--gzip      # 压缩# 备份一个表# --excludeCollection string # 排除指定的集合 要排除多个，使用多个mongodump --host 127.0.0.1:27080 -d dbname  -c tablename  -o /data/reports/mongodump --host 127.0.0.1:27080 -d dbname  -c tablename  -o /data/reports/reports  -u root -p tAvaa5yNUE --authenticationDatabase admin# 恢复一个表mongorestore --host 127.0.0.1:27080 -d dbname  -c tablename --drop --dir=/data/reports/tablename.bson# 在线拷贝一个库db.copyDatabase(fromdb, todb, fromhost, username, password, mechanism)db.copyDatabase('mate','mate', '172.16.255.176:27047')}九、修复{# 当停电或其他故障引起不正常关闭时,会造成部分数据损坏丢失mongod --repair      # 修复操作:启动时候加上 --repair# 修复过程:将所有文档导出,然后马上导入,忽略无效文档.完成后重建索引。时间较长,会丢弃损坏文档# 修复数据还能起到压缩数据库的作用db.repairDatabase()    # 运行中的mongodb可使用 repairDatabase 修复当前使用的数据库{"repairDatabase":1}   # 通过驱动程序}十、python使用mongodb{原文: http://blog.nosqlfan.com/html/2989.htmleasy_install pymongo      # python2.7+import pymongoconnection=pymongo.Connection('localhost',27017)   # 创建连接db = connection.test_database                      # 切换数据库collection = db.test_collection                    # 获取collection# db和collection都是延时创建的，在添加Document时才真正创建文档添加, _id自动创建import datetimepost = {"author": "Mike","text": "My first blog post!","tags": ["mongodb", "python", "pymongo"],"date": datetime.datetime.utcnow()}posts = db.postsposts.insert(post)ObjectId('...')批量插入new_posts = [{"author": "Mike","text": "Another post!","tags": ["bulk", "insert"],"date": datetime.datetime(2009, 11, 12, 11, 14)},{"author": "Eliot","title": "MongoDB is fun","text": "and pretty easy too!","date": datetime.datetime(2009, 11, 10, 10, 45)}]posts.insert(new_posts)[ObjectId('...'), ObjectId('...')]获取所有collectiondb.collection_names()    # 相当于SQL的show tables获取单个文档posts.find_one()查询多个文档for post in posts.find():post加条件的查询posts.find_one({"author": "Mike"})高级查询posts.find({"date": {"$lt": "d"}}).sort("author")统计数量posts.count()加索引from pymongo import ASCENDING, DESCENDINGposts.create_index([("date", DESCENDING), ("author", ASCENDING)])查看查询语句的性能posts.find({"date": {"$lt": "d"}}).sort("author").explain()["cursor"]posts.find({"date": {"$lt": "d"}}).sort("author").explain()["nscanned"]}}JDK安装{vim /etc/profile.d/jdk.shexport JAVA_HOME=/usr/local/jdk1.8.0_151export PATH=$JAVA_HOME/bin:$PATH. /etc/profile         # 加载新的环境变量jps -ml                # 查看java进程jstat -gc 18381 1s 30  # 查看java进程gc情况
}redis动态加内存{./redis-cli -h 10.10.10.11 -p 6401save                                # 保存当前快照config get *                        # 列出所有当前配置config get maxmemory                # 查看指定配置config set maxmemory  15360000000   # 动态修改最大内存配置参数}nfs{# 依赖rpc服务通信 portmap[centos5] 或 rpcbind[centos6]yum install nfs-utils portmap    # centos5安装yum install nfs-utils rpcbind    # centos6安装vim /etc/exports                 # 配置文件# sync                           # 同步写入# async                          # 暂存并非直接写入# no_root_squash                 # 开放用户端使用root身份操作# root_squash                    # 使用者身份为root则被压缩成匿名使用,即nobody,相对安全# all_squash                     # 所有NFS的使用者身份都被压缩为匿名/data/images 10.10.10.0/24(rw,sync,no_root_squash)service  portmap restart         # 重启centos5的nfs依赖的rpc服务service  rpcbind restart         # 重启centos6的nfs依赖的rpc服务service  nfs restart             # 重启nfs服务  确保依赖 portmap 或 rpcbind 服务已启动service  nfs reload              # 重载NFS服务配置文件showmount -e                     # 服务端查看自己共享的服务showmount -a                     # 显示已经与客户端连接上的目录信息showmount -e 10.10.10.3          # 列出服务端可供使用的NFS共享  客户端测试能否访问nfs服务mount -t nfs 10.10.10.3:/data/images/  /data/img   # 挂载nfs  如果延迟影响大加参数 noac# 服务端的 portmap 或 rpcbind 被停止后，nfs仍然工作正常，但是umout财会提示：not found / mounted or server not reachable  重启服务器的portmap 或 rpcbind 也无济于事。nfs也要跟着重启，否则nfs工作仍然是不正常的。# 同时已挂载会造成NFS客户端df卡住和挂载目录无法访问。请先用 mount 查看当前挂载情况，记录挂载信息，在强制卸载挂载目录，重新挂载umount -f /data/img/             # 强制卸载挂载目录  如还不可以  umount -l /data/img/nfsstat -c                       # 客户机发送和拒绝的RPC和NFS调用数目的信息nfsstat -cn                      # 显示和打印与客户机NFS调用相关的信息nfsstat -r                       # 显示和打印客户机和服务器的与RPC调用相关的信息nfsstat –s                       # 显示关于服务器接收和拒绝的RPC和NFS调用数目的信息}hdfs{hdfs --help                  # 所有参数hdfs dfs -help               # 运行文件系统命令在Hadoop文件系统hdfs dfs -ls /logs           # 查看hdfs dfs -ls /user/          # 查看用户hdfs dfs -cathdfs dfs -dfhdfs dfs -duhdfs dfs -rmhdfs dfs -tailhdfs dfs –put localSrc dest  # 上传文件hdfs dfsadmin -help          # hdfs集群节点管理hdfs dfsadmin -report        # 基本的文件系统统计信息
}

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！