×

用DataSet.ReadXml读取无Scheme的XML提速方法

Kalet Kalet 发表于2009-03-20 12:00:13 浏览344 评论0

抢沙发发表评论



单纯用DataSet的ReadXml方法读取XML对于小数据量来说效率很高,但是对大数据量的XML来说就有些力不从心了。比如,让DataSet读取一个16M的XML,能让你等到地老天荒。如果你的机器配置不高,那肯定死的很难看、很窝囊。咱不能见死不救不是,请往下看。 用DataSet.ReadXml读取无Scheme的XML提速方法


(声明:魏滔序原创,转贴请注明出处。)
单纯用DataSet的ReadXml方法读取XML对于小数据量来说效率很高,但是对大数据量的XML来说就有些力不从心了。
比如,让DataSet读取一个16M的XML,能让你等到地老天荒。如果你的机器配置不高,那肯定死的很难看、很窝囊。
咱不能见死不救不是,请往下看。

题外话:如果XML来自DataSet,那么你是幸运的。你可以DataSet把架构信息带上,别因膨胀那么几k的数据就舍不得了。

ReadXML缺省使用XmlReadMode.Auto方式读取,这就给大数据量留下了低效率的伏笔。
因为如果XML没有Scheme,DataSet就会自己推算XML的结构,然后再加载,这就是低效的主要原因。
让DataSet推算不让我们帮他算,因为DataSet已经提供了一个ReadXmlSchema方法。
如下:

Dim XMLText As String '保存了XML的文本
Dim MyDs As New DataSet
Dim MyTab As DataTable

'加载架构
MyDs.ReadXmlSchema(New IO.StringReader(XMLText))用DataSet.ReadXml读取无Scheme的XML提速方法
For Each MyTab In MyDs.Tables
MyTab.BeginLoadData()
Next


然后再让DataSet加载数据。
注意:因为前面我们一个帮他加载架构信息了,这里就可以让DataSet加载数据时忽略Schema。
'加载数据
MyDs.ReadXml(New IO.StringReader(XMLText), XmlReadMode.IgnoreSchema)
For Each MyTab In MyDs.Tables
MyTab.EndLoadData()
Next

Ok,这样就把数据快速的加载到DataSet了。经过实际测试,数据量越大效率比就越高。


通常获得DataSet的XML的方法是用GetXml,确实方便。但是返回的结果已经把DataSet的架构信息抹掉了,剩下的是单纯的数据。
DataSet还给我们留了一个WriteXml方法(感动ing,勿扰....),这个方法可以把DataSet的数据写到文件或流中。
比如:
Dim MS As New IO.MemoryStream
DataSet.WriteXml(MS, XmlWriteMode.WriteSchema) '后面参数是关键,指明要带上架构信息。用DataSet.ReadXml读取无Scheme的XML提速方法
这样在MS这个流中就保存了带DataSet架构信息的全部数据。



群贤毕至

访客