建站
咨詢
售后
建站咨詢
新聞中心
PHP+mysql插入上千萬條數(shù)據(jù),導(dǎo)致內(nèi)存不足,尋求釋放內(nèi)存方法
我給你個(gè)思路，利用游覽器的刷新機(jī)制，每執(zhí)行10秒刷新一下自動更新下一串?dāng)?shù)據(jù)，一串多少數(shù)據(jù)，看你的SQL效率而定。就這樣一直刷新更新，到結(jié)束為止。
創(chuàng)新互聯(lián)成立于2013年，先為郎溪等服務(wù)建站，郎溪等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為郎溪企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
優(yōu)化數(shù)據(jù)結(jié)構(gòu)，每張數(shù)據(jù)表字段4-5個(gè)，加上索引。還可以將不同的種類的數(shù)據(jù)存入不同的數(shù)據(jù)庫。減少單個(gè)數(shù)據(jù)庫的壓力。寫入數(shù)據(jù)只是存的問題，問題在于讀取數(shù)據(jù)會變慢。建議使用緩存memcache，redis在向你招收哦。
檢查一下 MySQL 設(shè)置，有助于確定內(nèi)存使用情況，從而為 MySQL 分配合適的值。一個(gè)近似的公式：當(dāng)網(wǎng)站受到攻擊時(shí)，有可能在短時(shí)間內(nèi)建立異常高的連接數(shù)量。MySQL 中的 PROCESSLIST 可用于檢測頂級用戶并阻止對濫用連接的訪問。
我知道你為什么會停下來，因?yàn)閙ysql插入大量數(shù)據(jù)（1000W）的情況下，執(zhí)行時(shí)間需要的很長，而你八成設(shè)定執(zhí)行時(shí)間不限制，如果時(shí)間默認(rèn)超過30秒，那么程序就會自動停下來。
php寫個(gè)循環(huán)往mysql數(shù)據(jù)庫插入100w條數(shù)據(jù),每次插入幾萬條就自動停止了...
1、我知道你為什么會停下來，因?yàn)閙ysql插入大量數(shù)據(jù)（1000W）的情況下，執(zhí)行時(shí)間需要的很長，而你八成設(shè)定執(zhí)行時(shí)間不限制，如果時(shí)間默認(rèn)超過30秒，那么程序就會自動停下來。
2、請你估計(jì)一下，現(xiàn)在執(zhí)行100多個(gè)txt文件就停止了，到停止為止執(zhí)行多長時(shí)間？一般PHP文件執(zhí)行有時(shí)間限制，超過時(shí)間就停止了，可以用下面的語句增加：set_time_limit(300)；例子設(shè)定顯示300秒，你可以設(shè)置為0表示無限長。
3、如果是用mysql數(shù)據(jù)庫的話，一條語句可以插入幾千條語句。類似以下語句：insert into table_name (field1，field2) values (1，2)，(2，3)，(3，5)，(5，6)請查看mysql手冊。其他數(shù)據(jù)庫請查閱相應(yīng)手冊。
4、2在新建臨時(shí)表時(shí)，如果一次性插入數(shù)據(jù)量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果數(shù)據(jù)量不大，為了緩和系統(tǒng)表的資源，應(yīng)先create table，然后insert。
php如何導(dǎo)入幾十萬數(shù)據(jù)
打開config.inc.php文件，查找$cfg[UploadDir]，這個(gè)參數(shù)就是設(shè)定導(dǎo)入文件存放的目錄，這里把值設(shè)定為：ImportSQLFile。
拼接sql語句，每條sql執(zhí)行20個(gè)插入語句。
13M并不是太大，先全部存入數(shù)組（內(nèi)存），然后使用SQL一次性導(dǎo)入（最好使用事務(wù)處理，數(shù)據(jù)庫底層會自動優(yōu)化）；必要時(shí)可在導(dǎo)入前檢查數(shù)據(jù)完備性，反正要點(diǎn)是盡量減少磁盤操作（太耗時(shí)）。
現(xiàn)在一些web程序的備份功能其實(shí)真的是擺設(shè)，讀取數(shù)據(jù)，拼裝寫文件，要是數(shù)據(jù)多點(diǎn)的話就死悄悄了，這個(gè)工作還是要用專門的dump工具做。
新聞名稱：php插入幾百萬的數(shù)據(jù)_ php處理10萬級數(shù)據(jù)
文章起源：http://fisionsoft.com.cn/article/dcijhdg.html
