Java使用JDBC向MySQL数据库批次插入10W条数据(测试效率)
使用JDBC连接MySQL数据库进行数据插入的时候，特别是大批量数据连续插入（100000），如何提高效率呢？
在JDBC编程接口中Statement有两个方法特别值得注意：
通过使用addBatch（）和executeBatch（）这一对方法可以实现批量处理数据。
不过值得注意的是，首先需要在数据库链接中设置手动提交，connection.setAutoCommit(false)，然后在执行Statement之后执行connection.commit()。
importjava.io.BufferedReader;
importjava.io.IOException;
importjava.sql.DriverManager;
importjava.sql.PreparedStatement;
importjava.sql.SQLException;
importjava.util.Date;
importcom.mysql.jdbc.Connection;
publicclassMysqlBatchUtil{
privateStringsql="INSERTINTOdb_test(param1,param2,param3,param4,param5)VALUES(?,?,?,?,?)";
privateStringcharset="utf-8";
privateStringconnectStr="jdbc:mysql://localhost:3306/test";
privateStringusername="root";
privateStringpassword="123456";
privatevoiddoStore()throwsClassNotFoundException,SQLException,IOException{
Class.forName("com.mysql.jdbc.Driver");
connectStr+="?useServerPrepStmts=false&rewriteBatchedStatements=true";//此处是测试高效批次插入，去掉之后执行时普通批次插入
Connectionconn=(Connection)DriverManager.getConnection(connectStr,username,password);
conn.setAutoCommit(false);//设置手动提交
intcount=0;
PreparedStatementpsts=conn.prepareStatement(sql);
Stringline=null;
Datebegin=newDate();
for(inti=0;i<=100000;i++){
psts.setString(1,i+"param1");
psts.setString(2,i+"param2");
psts.setString(3,i+"param3");
psts.setString(4,i+"param4");
psts.setString(5,i+"param5");
psts.addBatch();//加入批量处理
count++;
}
psts.executeBatch();//执行批量处理
conn.commit();//提交
Dateend=newDate();
System.out.println("数量="+count);
System.out.println("运行时间="+(end.getTime()-begin.getTime()));
conn.close();
}
publicstaticvoidmain(String[]args){
try{
newMysqlBatchUtil().doStore();
}catch(ClassNotFoundExceptione){
e.printStackTrace();
}catch(SQLExceptione){
e.printStackTrace();
}catch(IOExceptione){
e.printStackTrace();
}
}
}
测试结果：
数量=100001
运行时间=4725
一共10W，执行时间一共花费47秒.
这个效率仍然不高，似乎没有达到想要的效果，需要进一步改进。
在MySQLJDBC连接字符串中还可以加入参数，
rewriteBatchedStatements=true
mysql默认关闭了batch处理，通过此参数进行打开，这个参数可以重写向数据库提交的SQL语句
useServerPrepStmts=false
如果不开启(useServerPrepStmts=false)，使用com.mysql.jdbc.PreparedStatement进行本地SQL拼装，最后送到db上就是已经替换了?后的最终SQL.
在此稍加改进，连接字符串中加入下面语句（代码构造方法中去掉注释）：
connectStr+="?useServerPrepStmts=false&rewriteBatchedStatements=true";
再次测试结果如下：
数量=100001
运行时间=1213
同样的数据量，这次执行只花费了12秒，由此可见处理效率大大提高，呵呵
以上所述是小编给大家介绍的Java使用JDBC向MySQL数据库批次插入10W条数据测试效率，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对毛票票网站的支持！