Spark 高级分析:第二章第2，3节

问题导读

1.写一个Spark程序包括哪几点？
2.文中称之为“记录链接”的是什么？
3.记录链接难点在哪儿？





上一篇：Spark 高级分析:第二章第1节Scala和数据科学家
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22770&extra=

第2节 Spark编程模型

      Spark程序可基于小数据量数据集或者类似于分布式文件存储系统HDFS这样的持久化存储。写一个Spark程序包括以下几点：

• 定义一个关于输入数据集的转换。
• 调用将转换后的数据集输出到持久存储或将结果返回到驱动程序本地内存的操作
• 以分布式的方式运行本地计算得到结果。这些操作可决定下一步哪些转换或者动作会被触发。
• 理解Spark意味着理解框架提供的两组抽象之间的交集：存储和执行。Spark以一种优雅的方式将这些抽象成对，本质上允许数据处理管道中的任何中间步骤被缓存在内存中以供以后使用。
  

第3节 记录链接

      问题的一般结构是这样的：我们从一个或多个源系统收集了大量的记录，很可能有些记录是指同一个底层实体，例如客户、患者或业务或事件的位置。每个实体都有许多属性，如名称、地址或生日，我们需要使用这些属性来查找指向同一实体的记录。不幸的是，这些属性值并不完美：值可能有不同的格式，或错别字，或丢失信息，这意味着对属性值进行简单的等值判断将使我们错过一些重要的重复记录。例如，让我们比较下面的业务列表：

表2-1 记录链接的挑战

Name	Address	City	State	Phone
Josh’s Coffee Shop	1234 Sunset Boulevard	West Holly wood	CA	(213)-555-1212
Josh Cofee	1234 Sunset Blvd West	Hollywood	CA	555-1212
Coffee Chain #1234	1400 Sunset Blvd #2	Hollywood	CA	206-555-1212
Coffee Chain Region al Office	1400 Sunset Blvd Suite 2	Hollywood	Califor nia	206-555-1212

      该表前两个实体指向相同的小咖啡店，即便数据实体错误导致他们好像是位于不同的城市（西好莱坞 vs 好莱坞）。另一方面，后两个实体实际上指的是不同的地址，同一连锁咖啡店的商业地点正好有一个共同的地址：一个是指一个实际的咖啡店，另一个是指当地的公司办公地点。这两个实体都提供公司总部在西雅图的官方电话号码。

      这个例子展示了使记录链接变得如此困难的所有内容：即使这两对实体看起来彼此相似，但我们做出重复/不重复的判定的标准不同，对每对实体来说结果不同。这是一种很容易被人类理解和识别的区别，但对于计算机来说是很难获知的。

感谢分享

那如果碰到这样的情况，该如何区间解决呢？

来过！！！