我对大小接近500行的xml文件执行了以下解决方案：
使用xslt将大xml文件转换为包含必需元素的小xml文件
转换格式
而不是在java代码中使用saxonxml解析器来解析这些新生成的文件
而不是使用jaxbi的概念将xml解组到java对象和sqlserver。
但是现在我有了新的xml文件，它们非常大，将近15000行或更多行，而且非常非结构化。因此，使用上述解决方案来获取数据库中的数据将是非常低效的。我试图找出什么可能是最好的解决方案来处理这些大文件。我做了一些研究，发现了一个叫做“AltovaXMLSpy”的工具，我可以用它来降低我的非结构化xml文件的复杂性，我试着用这个工具来处理一个大文件，但效果不太好。我还想在hadoop集群中转储这些大文件，并使用hive/pig来获取数据。
所以我的问题是，有人能提出任何新的解决方案或程序吗。我可以使用任何工具将大的xml文件转换成不那么复杂的文件。
希望这些信息足够了。如果还需要什么，请告诉我。
先谢谢你。