Linux

MySQL 在 INSERT … SELECT 上消耗所有系統記憶體

  • October 25, 2013

由於 Linux 記憶體不足,mysql 守護程序被殺死:

Oct 24 07:41:23 <hostname> kernel: [82297.673701] Out of memory: kill process 13816 (mysqld) score 1839626 or a child

有一些解決方法的連結。

這只發生在執行查詢 INSERT … SELECT 並具有非常大的結果集時。

MySQLTuner 腳本顯示最大理論記憶體小於 8GB,但 top 和 munim 顯示超出所有 RAM 和可用交換:

[--] Total buffers: 560.0M global + 72.2M per thread (100 max threads)
[OK] Maximum possible memory usage: 7.6G (43% of installed RAM)

我試圖調整一些沒有結果的選項,有相關的:

skip-locking
max_connections         = 100
key_buffer_size         = 512M
max_allowed_packet      = 32M
table_open_cache        = 2000
open_files_limit        = 3000
sort_buffer_size        = 16M
read_buffer_size        = 16M
read_rnd_buffer_size    = 8M
myisam_sort_buffer_size = 64M
thread_cache_size       = 4
query_cache_size        = 16M
query_cache_limit       = 2M
thread_concurrency      = 4
join_buffer_size        = 32M
tmp_table_size          = 32M
max_heap_table_size     = 32M
query_cache_limit       = 8M
bulk_insert_buffer_size = 64M
myisam_max_sort_file_size = 50GB
myisam_mmap_size        = 10GB

還有一個系統簡歷:

  • 作業系統:Linux Debian“Squeeze”6.0.8(昨天升級)
  • 記憶體:18GB
  • 交換:18GB
  • MySQL:5.1.72-2(Debain 官方發布)

目前,更新或更改作業系統或 MySQL 版本是不可能的,有什麼可以幫助的選項,我錯過了?

對不起,我的英語,提前謝謝你!

編輯:我只使用 MyISAM 表,不能更改為 InnoDB。

最後我意識到問題在於加入聯合表(對不起,這是一個非常複雜的查詢,我在分析 SQL 時發現了這一點)。

聯邦表只有大約 7000 行,但使用具有相同數據的本機 MyISAM 表執行相同的查詢,執行速度更快,並且消耗正常數量的 RAM。似乎 MySQL 在遠端伺服器中為每個連接的本地表行執行 SELECT * ,並且用於記憶體的記憶體在完成之前不會釋放。

至少我了解到應該謹慎使用聯合表,避免在復雜查詢或大型結果集上使用它們。

感謝所有回复的人,我希望這對任何有同樣問題的人有用!

如果沒有可用的升級,請添加更多交換 :)

引用自:https://serverfault.com/questions/548273