丢失数据 SQL SERVER,商业智能,BI,DBA - 微软BI开拓者

sandy 个人空间组别:新手上路性别: 来自: 积分:1 帖子:7 注册: 2007-05-30	2007-05-30 15:45 \| 只看楼主树型\| 收藏\| 小中大 1 丢失数据不知道大家有没有遇到这样的问题，用SSIS导数据的时候，经常会有正常数据丢失的问题，不知大家都这个问题有什么看法，有什么方法可以避免数据的丢是呢？

Administrator Administrator 个人空间组别:管理员性别: 来自: 积分:104 帖子:290 注册: 2007-05-22	2007-05-30 15:50 \| 树型\| 收藏\| 小中大 2 回复: 丢失数据正常数据丢失...? 我没遇到过. 能用一个具体的例子详细描述一下你的问题吗? IS这个版本目前是有一些不如意的地方.

个人空间
组别:新手上路
性别:
来自:
积分:1
帖子:7
注册: 2007-05-30

2007-05-30 16:38 | 只看楼主

树型| 收藏| 小中大 3

回复: 丢失数据

有两种情况：
1 记录数少，源表中有1000条数据，而导过来的只有900条数据
2 数据不正确，字段在源表中是有数据非零，可到过来后发现数据居然为零

上述两种情况，出现的让人摸不着头脑，并不是所有的数据都不对，总有个别数据与源表中数据不一致，实在是很郁闷人。

Administrator Administrator 个人空间组别:管理员性别: 来自: 积分:104 帖子:290 注册: 2007-05-22	2007-05-30 17:09 \| 树型\| 收藏\| 小中大 4 回复: 丢失数据可以提供你的原始工程和后台数据库否?

suntt 地主宝宝个人空间组别:版主性别: 来自: 积分:100 帖子:245 注册: 2007-05-23	2007-05-31 12:02 \| 树型\| 收藏\| 小中大 5 回复: 丢失数据不知道是不是因为你在Error Output项中对错误的处理不是选择的Fail Component

个人空间
组别:管理员
性别:
来自:
积分:-2979
帖子:113
注册: 2007-05-22

2007-05-31 21:26 |

树型| 收藏| 小中大 6

回复: 丢失数据

你是如何发现数据丢失的呢？建议循着丢失数据的特点来查找原因。

如地主宝宝所说，如果转换出错，而选择了Ingore，出错行肯定是到不了最后的。

我甚至会根据丢失行的特点在可能的转换前把它们先引出正常流程，看看问题出在哪里，总的感觉排错是比较琐碎的~

个人空间
组别:新手上路
性别:
来自:
积分:0
帖子:2
注册: 2007-06-08

2007-06-08 15:10 |

树型| 收藏| 小中大 7

回复: 丢失数据

在用某些Transformation，比如说Aggregate的时候，我曾经碰到过Output的结果中有重复。
比如说我按照A列Group by ，结果中A列竟然会有重复值的情况。特别是对大数据量的操作。

但这种情况可能是因为没有对流入的数据做排序，加上服务器性能不好的原因导致的。

也就是说，流入的数据在某个Transformation进行处理的时候，由于SSIS本身设计的问题（不能正确处理大量数据），导致处理结果出现异常。

Administrator Administrator 个人空间组别:管理员性别: 来自: 积分:104 帖子:290 注册: 2007-05-22	2007-06-08 17:09 \| 树型\| 收藏\| 小中大 8 回复: 丢失数据把这个问题到SQL SERVER 2008上试试..?

chenjing957 流浪的牙膏皮个人空间组别:版主性别: 生日:1983-2-15 来自: 积分:154 帖子:162 注册: 2007-05-25	2007-06-11 08:57 \| 树型\| 收藏\| 小中大 9 回复: 丢失数据汗…………2008 SQL Server技术交流群：71791281（有些问题在线解决或许会更快) 本群将从即日起严厉打击：刷屏、打广告、粘贴各种垃圾信息的ID，一经发现，马上删除。希望通过我们的努力，能为大家打造一个健康有序的交流平台。

Performance Point

个人空间
组别:版主
性别:
来自:Beijing
积分:122
帖子:163
注册: 2007-06-29

2007-06-29 19:08 |

树型| 收藏| 小中大 10

回复: 丢失数据

第一种情况我以前用 DTS 的时候遇到过一次,是因为通过 ODBC 连接远程数据源，而我的脚本里用游标循环的次数太多了，所以导致没有将数据全部导过来而且执行过程不报错.后来换成 OLEDB 就没事了。

第二种情况可以查查是不是因为有默认值造成的。或者原来是小数类型的 0.1 目标字段是 int 直接取整了。

个人感觉要是SQL Server 经常出现这种低级的问题的话也就不用卖了。

引用:

原帖由 sandy 于 2007-5-30 16:38:00 发表
有两种情况：
1 记录数少，源表中有1000条数据，而导过来的只有900条数据
2 数据不正确，字段在源表中是有数据非零，可到过来后发现数据居然为零

上述两种情况，出现的让人摸不着头脑，并不是所有的数据都不对......

个人主页：http://blog.csdn.net/jadeite
QQ 群：42228478
MSN 群：group123398@xiaoi.com

微软BI开拓者数据仓库专区SSIS使用与管理 丢失数据

丢失数据

丢失数据

回复: 丢失数据

回复: 丢失数据

回复: 丢失数据

回复: 丢失数据

回复: 丢失数据

回复: 丢失数据

回复: 丢失数据

回复: 丢失数据

回复: 丢失数据

微软BI开拓者数据仓库专区 SSIS使用与管理丢失数据