tideaways可视化性能跟踪

在 2018年11月8日2018年11月8日上张贴由 BestLove

安装 mongodb扩展

pecl install mongodb

[mongodb]
extension=mongodb.so

安装 tideaways扩展

https://github.com/tideways/php-xhprof-extension

git clone

phpize

./configure

make

make install

[tideways]
extension=tideways_xhprof.so
;不需要自动加载，在程序中控制就行
tideways.auto_prepend_library=0
;频率设置为100，在程序调用时能改
tideways.sample_rate=100

重启php

/etc/init.d/php-fpm restart

安装 mongodb

vim /etc/yum.repos.d/mongodb-org-3.2.repo

[mongodb-org-3.2]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.2.asc

yum -y install mongodb-org

/etc/init.d/mongod start

安装 xhgui

git clone https://github.com/laynefyc/xhgui-branch.git

cd xhgui-branch

composer install –prefer-dist

# 配置文件
config/config.default.php

‘extension’ => ‘tideways_xhprof’,

# 入口文件增加时区设置
date_default_timezone_set(“Asia/Shanghai”);

测试 MongoDB连接情况并优化索引

use xhprof

db.results.ensureIndex( { ‘meta.SERVER.REQUEST_TIME’ : -1 } )
db.results.ensureIndex( { ‘profile.main().wt’ : -1 } )
db.results.ensureIndex( { ‘profile.main().mu’ : -1 } )
db.results.ensureIndex( { ‘profile.main().cpu’ : -1 } )
db.results.ensureIndex( { ‘meta.url’ : 1 } )

配置nginx

# UI访问地址
server {
listen 80;
server_name x.fengfeng.com;
root /data/www/xhgui-branch/webroot;

location / {
index index.php;
if (!-e $request_filename) {
rewrite . /index.php last;
}
}

location ~ \.php$ {
fastcgi_pass unix:/tmp/php-cgi.sock;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
include fastcgi_params;
}
access_log /data/logs/x.fengfeng.com.log access;
}

# 在 fastcgi_param 中添加 auto_prepend_file
location ~ [^/]\.php(/|$)
{
fastcgi_param PHP_VALUE “auto_prepend_file=/data/www/xhgui-branch/external/header.php”;
}

Charles抓包

在 2018年8月2日2018年8月2日上张贴由 BestLove

Charles作用
Charles 通过将自己设置成系统的网络访问代理服务器，使得所有的网络访问请求都通过它来完成，从而实现了网络封包的截取和分析

Charles主要的功能包括
截取 Http 和 Https 网络封包
支持重发网络请求，方便后端调试
支持修改网络请求参数
支持网络请求的截获并动态修改
支持模拟慢速网络
授权抓取电脑的请求包
Proxy -> Mac OS X Proxy -> 输入电脑密码

默认端口
127.0.0.1:8888

设置浏览器代理(可忽略，一般只抓手机包)
在 Chrome 中设置成使用系统的代理服务器设置即可，或者直接将代理服务器设置成 127.0.0.1:8888 也可达到相同效果

界面视图
Structure 视图将网络请求按访问的域名分类
Sequence 视图将网络请求按访问的时间排序

过滤
Sequence -> Filter
Proxy -> Include -> Add
右键 -> Focus & 勾选 Focused

手机抓包
Proxy -> Proxy Settings -> 勾选 HTTP proxying

手机设置
设置->无线局域网->当前连接WIFI->详情->配置代理->手动
填入电脑的IP和端口

Charles确认
iphone请求连接，Charles点击Allow后即完成设置

https
电脑https
Help -> SSL Proxying -> Install Charles Root Certificate
选中请求地址 -> 右键 -> Enable SSL Proxying
钥匙串 -> 系统 -> 将证书设置为始终信任

手机https
Help -> SSL Proxying -> Install Charles Root Certificate On Mobile Device or Remote Browser
手机打开安装证书地址 -> http://charlesproxy.com/getssl -> 安装
设置 -> 通用 -> 描述文件能查看证书设置 -> 通用 -> 关于本机 -> 证书信任设置 -> 完全信任

模拟慢网络
Proxy -> Throttle Setting -> Enable Throttling

模拟并发
右键 -> Repeat Advanced

修改网络请求内容
右键 -> Breakpoints
右键 -> Repeat 重新发起请求 -> Edit Request -> 修改参数 -> Execute

参考
https://blog.csdn.net/lmmilove/article/details/50244537

MySQL5.7参数优化

在 2018年5月21日上张贴由 BestLove

innodb_buffer_pool_size 约物理内存的50%-70%

innodb_data_file_path 初始化大小至1G

innodb_log_file_size 1G以上

innodb_flush_log_at_trx_commit 0:最快数据最不完全 1:最慢最安全 2:折中

innodb_max_dirty_pages_pct 25%-50%为宜

innodb_io_capacity 普通机械键盘:1000左右 SSD:10000左右 PCIE-SSD:20000以上

key_buffer_size 32M以下

sync_binlog 0:最快数据最不完全,系统自己决定刷新binlog的频率 1:最慢最安全,每个event刷新一次 N:每N个事务刷新一次

long_query_time 建议设置小于0.5秒

open_files_limit & innodb_open_files 建议65535

max_connections 突发最大连接数的80%为宜,过大容易导致全部卡死

thread_handling = “pool-of-thread” 启动线程池

query_cache_size & query_cache_type 绝大多数情况下是鸡肋,最好关闭 QC锁是全局锁,每次更新QC的内存块锁代价高,很容易出现 waiting for query cache lock状态

ibdata1文件都存储了些什么内容
Data dictionary
Double write buffer
Insert buffer
Rollback segments
UNDO space
Foreign key constraint system tables

ibdata1文件暴增的原因
大量事务,产生大量的undo log
有旧事务长时间未提交,产生大量旧undo log
file i/o性能差,purge进度慢
32bit系统下有bug

ibdata1文件暴增解决
设置独立undo表空间
增加purge线程数,innodb_purge_threads
提高file i/o能力
事务及时提交,不要积压
默认打开autocommit = 1
检查开发框架,确认autocommit=0的地方,事务结束后都有提交和回滚

连接数过高 too many connections
常规的做法:想办法杀掉多余的连接,加大连接数
其实应该是这样:限制连接数,设定max_user_connections 设定额外端口extra-port(便于DBA在数据库最大连接数占满后仍然能连接数据库进行操作)
建议:定时检查,干掉慢查询,避免阻塞,自我保护

MySQL5.7 sys系统数据库

在 2018年5月21日2018年5月21日上张贴由 BestLove

查看是否安装 (5.7+默认安装)
select * from sys.version;

便于人类阅读结果集类似：background | 2143 | 266.48 ms
select * from host_summary_by_file_io;

便于工具处理加上”x$” 结果集类似：background | 2148 | 266558291670
如果需要使用”order by”之类的操作的话不能显示如：266.48 ms
select * from x$host_summary_by_file_io;

谁使用了最多的资源
select * from user_summary;

大部分连接来自哪里
select * from host_summary;

在哪个文件产生了最多的IO
select * from io_global_by_file_by_bytes

哪张表被访问的最多
select * from sys.schema_table_statistics;

哪些语句延迟较大，这些延迟较大的语句有哪些特征
select * from statement_analysis

哪些SQL语句使用了磁盘临时表
select * from statements_with_temp_tables

哪张表占用了最多的buffer pool空间
select * from innodb_buffer_stats_by_table

索引的好处
通过索引过滤，减少需要扫􏰁的记录数量
索引可以帮助服务器避免排序和临时表
索引可以将随机IO变为顺序IO
通过索引覆盖，加快查询

索引的坏处
占用磁盘空间
增加了记录的修改(插入、删除、修改)代价

快速查看每张表的索引情况
select * from schema_index_statistics;

索引的使用需要恰到好处，充分利用索引的优势，避免无用索引、冗余索引等

查看重复索引
select * from schema_redundant_indexes;

查看无用索引
SELECT * FROM schema_unused_indexes;

案例
a字段无索引全表扫描
select a from t1 where a = 1;

给a字段添加索引
alter table t1 add index idx_a(a);

存在综合排序不能命中索引
SELECT a,b FROM t1 WHERE a > 666 ORDER BY a, b;

添加组合索引
alter table t1 add index idx_a_b(a, b);

a索引重复删除a索引
ALTER TABLE t1 DROP INDEX idx_a;

面向对象与调试

在 2017年7月7日上张贴由 BestLove

# 面向对象 object:表示该类是从哪个类继承下来的
class Student(object):
    class_name = '类属性,实例和类都能访问'
    __slots__ = ('name', 'age') # 定义允许绑定的属性名称，只对当前类有效，对子类无效
    def __init__(self, name, score):
        self.__name = name    # 加上两个__就变成私有变量了 注意:__变量名__是特殊变量，这样取名不会变成私有变量
        self.score = score

    def print_info(self):
        print('%s: %s' % (self.__name, self.score))

tang = Student('tang', 100)
tang.age = 666
tang.print_info()
print(tang.class_name)
print(Student.class_name)
print(tang.age)
print(isinstance(tang, Student))    #True
print(isinstance(tang, object))     #True
print(type(tang) == Student)        #True
print(type(tang) == object)         #False
dir(tang)                           #获得一个对象的所有属性和方法
hasattr(tang, 'score')              #True
hasattr(tang, 'print_info')         #True
setattr(tang, 'score', 66)
getattr(tang, 'score')

# 给对象动态绑定方法
def set_age(self, age):
    self.age = age
from types import MethodType
tang.set_age = MethodType(set_age, tang)

# 给类动态绑定方法
Student.set_age = set_age

# 类装饰器
class Student(object):
    @property
    def score(self):
        return self.__score

    @score.setter
    def score(self, value):
        if not isinstance(value, int):
            raise ValueError('score must be an integer!')
        if value < 0 or value > 100:
            raise ValueError('score must between 0 ~ 100!')
        self.__score = value

test = Student()
test.score = 100
print(test.score)

# 多继承
# 通常，主线都是单一继承下来的，需要混入额外的功能，可以使用多继承
# 这种设计通常称之为MixIn(约定俗成)
class Bird(Anmial, FlyableMixIn)

# 定制类
# __str__、__repr__、__iter__、__next__、__getitem__、__call__等

# 枚举类
from enum import Enum
Month = Enum('Month', ('Jan', 'Feb', 'Mar', 'Apr', 'May', 'Jun', 'Jul', 'Aug', 'Sep', 'Oct', 'Nov', 'Dec'))
for name, member in Month.__members__.items():
    print(name, '=>', member, ',', member.value)

# 枚举类
from enum import Enum, unique
@unique
class Weekday(Enum):
    Sun = 7
    Mon = 1
    Tue = 2
    Wed = 3
    Thu = 4
    Fri = 5
    Sat = 6

for name, member in Weekday.__members__.items():
    print(name, '=>', member, "星期", member.value)

# 元类:metaclass 从type类型派生 通常用不到 不展开

# 异常处理
# https://docs.python.org/3/library/exceptions.html#exception-hierarchy
def test(num):
    try:
        10 / num
        print('ok')
    except Exception as e:
        print('not ok')
    finally:
        print('over')
test(1)
test(0)

# 断言 -O参数能关闭断言 python -O test.py
def foo(s):
    n = int(s)
    assert n != 0, 'n is zero!'
    return 10 / n

def main():
    foo('0')
main()

# 日志 debug info warning error
import logging
logging.basicConfig(level=logging.INFO)
s = '0'
n = int(s)
logging.info('n = %d' % n)
print(10 / n)

# pdb python3 -m pdb test.py
# l 查看代码
# n 单步执行
# p 变量名 查看变量
# q 结束调试
# c 继续运行
s = '0'
n = int(s)
print(10 / n)

# 手动设置断点
import pdb
s = '0'
n = int(s)
pdb.set_trace()    # 运行到这里会自动暂停
print(10 / n)

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

# 面向对象 object:表示该类是从哪个类继承下来的

class Student(object):

class_name = '类属性,实例和类都能访问'

__slots__ = ('name', 'age') # 定义允许绑定的属性名称，只对当前类有效，对子类无效

def __init__(self, name, score):

self.__name = name # 加上两个__就变成私有变量了注意:__变量名__是特殊变量，这样取名不会变成私有变量

self.score = score

def print_info(self):

print('%s: %s' % (self.__name, self.score))

tang = Student('tang', 100)

tang.age = 666

tang.print_info()

print(tang.class_name)

print(Student.class_name)

print(tang.age)

print(isinstance(tang, Student)) #True

print(isinstance(tang, object)) #True

print(type(tang) == Student) #True

print(type(tang) == object) #False

dir(tang) #获得一个对象的所有属性和方法

hasattr(tang, 'score') #True

hasattr(tang, 'print_info') #True

setattr(tang, 'score', 66)

getattr(tang, 'score')

# 给对象动态绑定方法

def set_age(self, age):

self.age = age

from types import MethodType

tang.set_age = MethodType(set_age, tang)

# 给类动态绑定方法

Student.set_age = set_age

# 类装饰器

class Student(object):

@property

def score(self):

return self.__score

@score.setter

def score(self, value):

if not isinstance(value, int):

raise ValueError('score must be an integer!')

if value < 0 or value > 100:

raise ValueError('score must between 0 ~ 100!')

self.__score = value

test = Student()

test.score = 100

print(test.score)

# 多继承

# 通常，主线都是单一继承下来的，需要混入额外的功能，可以使用多继承

# 这种设计通常称之为MixIn(约定俗成)

class Bird(Anmial, FlyableMixIn)

# 定制类

# __str__、__repr__、__iter__、__next__、__getitem__、__call__等

# 枚举类

from enum import Enum

Month = Enum('Month', ('Jan', 'Feb', 'Mar', 'Apr', 'May', 'Jun', 'Jul', 'Aug', 'Sep', 'Oct', 'Nov', 'Dec'))

for name, member in Month.__members__.items():

print(name, '=>', member, ',', member.value)

# 枚举类

from enum import Enum, unique

@unique

class Weekday(Enum):

Sun = 7

Mon = 1

Tue = 2

Wed = 3

Thu = 4

Fri = 5

Sat = 6

for name, member in Weekday.__members__.items():

print(name, '=>', member, "星期", member.value)

# 元类:metaclass 从type类型派生通常用不到不展开

# 异常处理

# https://docs.python.org/3/library/exceptions.html#exception-hierarchy

def test(num):

try:

10 / num

print('ok')

except Exception as e:

print('not ok')

finally:

print('over')

test(1)

test(0)

# 断言 -O参数能关闭断言 python -O test.py

def foo(s):

n = int(s)

assert n != 0, 'n is zero!'

return 10 / n

def main():

foo('0')

main()

# 日志 debug info warning error

import logging

logging.basicConfig(level=logging.INFO)

s = '0'

n = int(s)

logging.info('n = %d' % n)

print(10 / n)

# pdb python3 -m pdb test.py

# l 查看代码

# n 单步执行

# p 变量名查看变量

# q 结束调试

# c 继续运行

s = '0'

n = int(s)

print(10 / n)

# 手动设置断点

import pdb

s = '0'

n = int(s)

pdb.set_trace() # 运行到这里会自动暂停

print(10 / n)

函数与模块

在 2017年6月14日上张贴由 BestLove

# map [1+4, 2+5, 3+6] -> [5, 7, 9]
def f(x, y):
    return x + y
res = map(f, [1, 2, 3], [4, 5, 6])
print(list(res))
# reduce f(f(f(1,6),2),3) -> 1+6+2+3 = 12
from functools import reduce
res = reduce(f, [1, 2, 3], 6)
print(res)
# filter 返回 true | false 过滤
def f(x):
    return x > 0
print(list(filter(f, [1, 0, -1, 2])))
# sorted(data [,key=func] [,reverse=True])
list = ['Zoo', 'about', 'kiss', 'Fuck']
print(sorted(list))    #['Fuck', 'Zoo', 'about', 'kiss']
print(sorted(list, key=str.lower))     #['about', 'Fuck', 'kiss', 'Zoo']
print(sorted(list, key=str.lower, reverse=True))     #['Zoo', 'kiss', 'Fuck', 'about']
# 返回函数
def my_sum(*args):
    def do_sum():
        x = 0
        for v in args:
            x = x + v
        return x
    return do_sum
f = my_sum(1, 2, 3, 4, 5, 6)
print(f())
# 匿名函数 关键字:lambda
print(list(map(lambda x : x * x, [1,2,3])))
# 装饰器 decorator
def log(func):
    def wrapper(*args, **kw):
        print('call %s():' % func.__name__)
        return func(*args, **kw)
    return wrapper
# @log相当于 now=log() (*args, **kw)表示传任意参数
@log
def now(date, time):
    print(date, time)
now('2017-06-14', '12:12:12')
print(now.__name__)         # wrapper
# 3层嵌套的decorator、使用包装器
import functools
def log(text):
    def decorator(func):
        @functools.wraps(func)   # wrapper.__name__ = func.__name__ python自带的包装器，完成了类似的赋值功能
        def wrapper(*args, **kw):
            print(text, func.__name__)
            return func(*args, **kw)
        return wrapper
    return decorator

@log('execute')
def now(date):
    print(date)
now('2017-06-14 13:13:13')
print(now.__name__)         # now
# 偏函数,只是把默认值改了,还是可以显示传入的
import functools
def hello(data, language='ENGLISH'):
    if language == '中文':
        print('你好', data)
    else:
        print('hello', data)
helloChinese = functools.partial(hello, language = '中文')
helloChinese('世界')
hello('world')
helloChinese('world', language = 'ENGLISH')
hello('世界', language = '中文')
# 模块(Module)、包(Package)
# 一个python文件就是一个模块，外层的目录就是包
# 每一个包目录下面都会有一个__init__.py的文件,否则，Python就把这个目录当成普通目录
# __init__.py可以是空文件,也可以有Python代码
# 因为__init__.py本身就是一个模块，而它的模块名就是目录名
# 一个包中可以放另外的包
# 约定属性 abc(PUBLIC) _abc __abc(PRIVATE) __name__(特殊变量)
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
' a test module '
__author__ = 'BestLove'
import sys
def test():
    args = sys.argv
    if len(args)==1:
        print('Hello, world!')
    elif len(args)==2:
        print('Hello, %s!' % args[1])
    else:
        print('Too many arguments!')
# 命令行执行时，会调试test()方法
if __name__=='__main__':
    test()
# 第三方库地址 https://pypi.python.org/pypi
# MySQL的驱动：mysql-connector-python
# 科学计算的NumPy库：numpy
# 生成文本的模板工具Jinja2等等
# 安装图片处理工具库 pip install Pillow
from PIL import Image
im = Image.open('1.jpg')
print(im.format, im.size, im.mode)
# JPEG (75, 95) RGB
# 保存缩略图
im.thumbnail((50, 50))
im.save('thumb.jpg', 'JPEG')
# 默认情况下，Python解释器会搜索当前目录、所有已安装的内置模块和第三方模块
import sys
print(sys.path)
# 运行时修改，运行结束失效
sys.path.append('/data/wwwroot/test')
# 设置环境变量PYTHONPATH Python自己本身的搜索路径不受影响

100

101

102

103

104

105

106

107

108

109

110

111

# map [1+4, 2+5, 3+6] -> [5, 7, 9]

def f(x, y):

return x + y

res = map(f, [1, 2, 3], [4, 5, 6])

print(list(res))

# reduce f(f(f(1,6),2),3) -> 1+6+2+3 = 12

from functools import reduce

res = reduce(f, [1, 2, 3], 6)

print(res)

# filter 返回 true | false 过滤

def f(x):

return x > 0

print(list(filter(f, [1, 0, -1, 2])))

# sorted(data [,key=func] [,reverse=True])

list = ['Zoo', 'about', 'kiss', 'Fuck']

print(sorted(list)) #['Fuck', 'Zoo', 'about', 'kiss']

print(sorted(list, key=str.lower)) #['about', 'Fuck', 'kiss', 'Zoo']

print(sorted(list, key=str.lower, reverse=True)) #['Zoo', 'kiss', 'Fuck', 'about']

# 返回函数

def my_sum(*args):

def do_sum():

x = 0

for v in args:

x = x + v

return x

return do_sum

f = my_sum(1, 2, 3, 4, 5, 6)

print(f())

# 匿名函数关键字:lambda

print(list(map(lambda x : x * x, [1,2,3])))

# 装饰器 decorator

def log(func):

def wrapper(*args, **kw):

print('call %s():' % func.__name__)

return func(*args, **kw)

return wrapper

# @log相当于 now=log() (*args, **kw)表示传任意参数

@log

def now(date, time):

print(date, time)

now('2017-06-14', '12:12:12')

print(now.__name__) # wrapper

# 3层嵌套的decorator、使用包装器

import functools

def log(text):

def decorator(func):

@functools.wraps(func) # wrapper.__name__ = func.__name__ python自带的包装器，完成了类似的赋值功能

def wrapper(*args, **kw):

print(text, func.__name__)

return func(*args, **kw)

return wrapper

return decorator

@log('execute')

def now(date):

print(date)

now('2017-06-14 13:13:13')

print(now.__name__) # now

# 偏函数,只是把默认值改了,还是可以显示传入的

import functools

def hello(data, language='ENGLISH'):

if language == '中文':

print('你好', data)

else:

print('hello', data)

helloChinese = functools.partial(hello, language = '中文')

helloChinese('世界')

hello('world')

helloChinese('world', language = 'ENGLISH')

hello('世界', language = '中文')

# 模块(Module)、包(Package)

# 一个python文件就是一个模块，外层的目录就是包

# 每一个包目录下面都会有一个__init__.py的文件,否则，Python就把这个目录当成普通目录

# __init__.py可以是空文件,也可以有Python代码

# 因为__init__.py本身就是一个模块，而它的模块名就是目录名

# 一个包中可以放另外的包

# 约定属性 abc(PUBLIC) _abc __abc(PRIVATE) __name__(特殊变量)

#!/usr/bin/env python3

# -*- coding: utf-8 -*-

' a test module '

__author__ = 'BestLove'

import sys

def test():

args = sys.argv

if len(args)==1:

print('Hello, world!')

elif len(args)==2:

print('Hello, %s!' % args[1])

else:

print('Too many arguments!')

# 命令行执行时，会调试test()方法

if __name__=='__main__':

test()

# 第三方库地址 https://pypi.python.org/pypi

# MySQL的驱动：mysql-connector-python

# 科学计算的NumPy库：numpy

# 生成文本的模板工具Jinja2等等

# 安装图片处理工具库 pip install Pillow

from PIL import Image

im = Image.open('1.jpg')

print(im.format, im.size, im.mode)

# JPEG (75, 95) RGB

# 保存缩略图

im.thumbnail((50, 50))

im.save('thumb.jpg', 'JPEG')

# 默认情况下，Python解释器会搜索当前目录、所有已安装的内置模块和第三方模块

import sys

print(sys.path)

# 运行时修改，运行结束失效

sys.path.append('/data/wwwroot/test')

# 设置环境变量PYTHONPATH Python自己本身的搜索路径不受影响

唐晓锋–BLOG

This is just a personal note.

tideaways可视化性能跟踪

Charles抓包

MySQL5.7参数优化

MySQL5.7 sys系统数据库

面向对象与调试

函数与模块