我正在研究内容解决方案集成的技术架构.解决方案提供商提供的数据运行到数百万行,并标准化为3NF.它定期更新(每天最有可能)并且其数据被分解为非常精细的原子级.

我需要搜索和查询这些数据,我目前的倾向是单独保留规范化数据,并从其数据(OLAP到OLTP)创建非规范化数据库. “传输”可以是自定义构建的程序,除了原始复制功能外,还可以包含必要的业务逻辑,并根据需要以设定的时间表运行.然后,非规范化数据库将降低原子性并允许关键字搜索和查询有效运行.我在使用Lucene .NET来查看非规范化数据库上的关键字工作.

因此,在我从山上大声唱出这是前进之路之前,我想要一些专家意见,以及所谓的“最佳实践”.考虑到我将提供的数据,我建议的方法是最好的方法吗？有人建议我也许可以使用“搜索引擎”来搜索规范化数据.这吓坏了我,但提出了问题;什么搜索引擎和如何？

意见,火焰,坏语言和帮助赞赏:)

最佳答案 我已经根据以规范化形式存储的数据构建了报告数据库和数据仓库.转移计划(ETL)涉及相当多的工作.鉴于您对数据Feed的描述,可能已经由馈线为您完成了一些工作.

如今,数百万行并不是很多.您可以在现有数据库中使用面向报表的视图.试试看吧.

构建面向OLAP的数据库的最大好处不是速度.这是灵活性. “我们喜欢这份报告,但现在我们想要每周和每季度而不是每月看一次.Bam！完成！” “你可以通过营销类别而不是制造类别来分解它吗？Bam！完成！”等等.