大容量csv快速内导入sqlserver的解决方法(推荐)
前言
在论坛中回答了一个问题，导入csv数据，并对导入的数据增加一个新的列datedatetime。要求在10s内完成，200w行数据的导入.分享下解决问题的思路和方法
分析
通常来讲Bulkinsert比BCP更快一点，我们选择Bulkinsert的方式。提出的解决方案：先把数据导入到sqlserver的临时表，然后再插入目标表。具体语句如下：
bulkinserttest07232from'D:\2017-7-22.csv'WITH(FIELDTERMINATOR=',',ROWTERMINATOR='/n') SELECT*,GETDATE()ASDateINTOtttFROMtest07232
但是他提供的的csv进行导入时，提示如下错误
消息4866，级别16，状态1，第1行大容量加载失败。数据文件中第1行的第2列太长。请验证是否正确指定了字段终止符和行终止符。消息7399，级别16，状态1，第1行链接服务器"(null)"的OLEDB访问接口"BULK"报错。提供程序未给出有关错误的任何信息。
消息7330，级别16，状态2，第1行无法从链接服务器"(null)"的OLEDB访问接口"BULK"提取行。
这是由于行终止符无法识别导致的。使用notepad++打开csv文件，在视图中选择显示行尾号。
可以看到文件的换行符是LF
而对于正常的csv问题默认是用CRLF作为换行符的
因此上面的bulkinsert语句无法正常执行。
解决
1.首先想到的是修改数据源头，让源头产生正常的数据，但是源头数据不好修改2.用程序，写c#处理，，太费时间3.最后终于找到了正确的办法
bulkinserttest07232from'D:\2017-7-22.csv'WITH(FIELDTERMINATOR=',',ROWTERMINATOR='0x0a') SELECT*,GETDATE()ASDateINTOtttFROMtest07232
最后全部都在SSD上，导入用时2s。生产正式表1s。整个过程3s完成。
总结
解决问题要从各个问题入手，找到原因才更好的解决问题
总结
以上所述是小编给大家介绍的大容量csv快速内导入sqlserver的解决方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对毛票票网站的支持！