13号凌晨,公司线上项目出了一个问题,从00:17之后的数据就一直入表失败,早上到公司之后发现几千封报错邮件,根据报警邮件和错误日志,分析到问题和解决方案如下。

问题现象:

SQL执行时间超长,耗时几十秒才返回错误提示,后台日志中出现Lock wait timeout exceeded; try restarting transaction的错误

Laravel5框架记录的异常错误日志内容:

时间:2019-03-13 10:41:21

异常: Illuminate\Database\QueryException

错误码: [err_code: HY000] err_msg: SQLSTATE[HY000]: General error: 1205 Lock wait timeout exceeded; try restarting transaction


mysql> SELECT * FROM information_schema.INNODB_TRX\G

*************************** 1. row ***************************

trx_id: 27458213

trx_state: RUNNING

trx_started: 2019-03-13 00:17:18

trx_requested_lock_id: NULL

trx_wait_started: NULL

trx_weight: 120267

trx_mysql_thread_id: 9950436

trx_query: NULL

trx_operation_state: NULL

trx_tables_in_use: 0

trx_tables_locked: 0

trx_lock_structs: 1720

trx_lock_memory_bytes: 194088

trx_rows_locked: 83926

trx_rows_modified: 118547

trx_concurrency_tickets: 0

trx_isolation_level: READ COMMITTED

trx_unique_checks: 1

trx_foreign_key_checks: 1

trx_last_foreign_key_error: NULL

trx_adaptive_hash_latched: 0

trx_adaptive_hash_timeout: 10000

trx_is_read_only: 0

trx_autocommit_non_locking: 0

1 row in set (0.00 sec)


解决方案:

kill 9950436

注意:进程号是上面trx_mysql_thread_id的值


问题定位:

2019-03-13 10:41:21时候的报错信息,有一个MySQL事务从2019-03-13 00:17:18到当前时间一直是RUNNING状态,出现了死锁,导致正常的事务进程无法执行。


问题场景:

1、在同一事务内先后对同一条数据进行插入和更新操作;

2、多台服务器操作同一数据库;

3、瞬时出现高并发现象;

4、代码逻辑中,有未闭合的事务提交。


问题原因:

1、在高并发的情况下,Spring事物造成数据库死锁,后续操作超时抛出异常。

2、Mysql数据库采用InnoDB模式,默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s,一旦数据库锁超过这个时间就会报错


相关SQL命令:

正在执行的慢SQL记录线程

mysql> show  processlist;

当前运行的所有事务

mysql> SELECT * FROM information_schema.INNODB_TRX;

当前出现的锁

mysql> SELECT * FROM information_schema.INNODB_LOCKs;

锁等待的对应关系

mysql> SELECT * FROM information_schema.INNODB_LOCK_waits;


旁门左道方案:

查看MySQL的autocommit配置:

mysql> select @@autocommit;


修改为自动提交:

mysql> set global autocommit=1;

这个方法个人不是很建议使用,事务的提交或者回滚还是要在业务代码中控制,最好不要设置自动提交。


参考文档:https://cloud.tencent.com/developer/article/1356959

本文为 陈华 原创,欢迎转载,但请注明出处:http://www.ichenhua.cn/blog/post/10