机器学习数据采集入门个人经验总结

问题导读

1.数据采集保持属性一致性是指什么？
2.如何避免序列化和二进制？
3.为什么使用队列服务？

在新的一年里，很多人都在思考如何利用机器学习（ML）算法来提高产品或服务的质量。

PredictionIO公司与许多公司合作，部署他们的第一个ML系统和大数据基础设施。PredictionIO总结了数据收集任务中的一些好的实践，并愿意与你分享这些经验。

如果你正在考虑采用ML，以正确的格式收集正确的数据，将会降低你的数据清理工作以及数据浪费。

要收集所有数据

收集所有数据是非常重要的。除非你真正训练一个预测模型，否则你将很难知道哪个属性哪些信息具有预测价值，并提供最好的结果。如果一条信息没有收集到，我们就没有办法获取它，并永远地失去它了。存储成本的低廉，也使得你可以收集一切与你的应用程序、产品或服务相关的数据。

这里有两个例子：

在产品推荐中，收集用户标识符、物品（即产品）标识和行为数据包括评分是非常重要的。其他相关属性，如类别、描述、价格等数据，对于推荐模型的提升也是有用的。隐含的行为，如意见，可能比显性评分更加有用。
在预测泰坦尼克号乘客的生存上，我们凭直觉知道，乘客的年龄、性别等属性和结果是有关联的。其他属性如船上儿童的数目、车费和客舱可能是也可能不是有用的信息。在你开始建立预测模型之前，你很难知道哪些方面将会对预测最有价值。

存储日志是一种常见的解决方案;他们以后可以提取、转换和加载来训练你的机器学习模型。

每个事件的时间戳

每个事件的时间戳都是很重要的，尤其是对于用户的动作或行为数据来说。时间戳能够阻止我们在构建机器学习模型时出现先窥偏差(Look-ahead Bias)。

PredictionIO提供支持最佳实践的Event Server或“基于事件的风格”收集数据。这意味着一切被视为有时间戳的事件而收集，不管他是一个用户（例如“Sarah Connor”），一件物品（例如“终结者”），或者一个用户对物品的操作（“Sarah Connor查看终结者“）。

举个例子，创建用户Sarah Connor：

{
  "event" : "new_user",
  "entityType" : "user"
  "entityId" : "de305d54-75b4-431b-adb2-eb6b9e546013",
  "properties" : {
    "name" : "Sarah Connor",
    "age" : 19,
    "email" : "sarah.connor@sky.net",
    "gender" : "Female"
   }
  "eventTime" : "1984-10-26T21:39:45.618-07:00"
}
复制代码

注意，entityId我们使用了通用唯一标识符（UUID），而eventTime我们使用ISO 8601的格式。

保持属性一致性

使用一致的属性值。如果性别使用了“Female”，最好往后保持使用相同的符号，而不是以“F”或“female”或“girl”来替代。当你删除了一项特征，你应该将之从训练集之中排除。你可以清理与该特征相关联的数据并重新导入。当您添加一个新的特征，回填字段的默认值是重要的。

避免序列化和二进制

在Event Server 中，“属性”区域允许任何形式自由的JSON对象。为了方便，我们可以存储一个转义JSON字符串作为该区域之一。然而，序列化可能会混淆数据，使之变成一个不可用的点。举例如下：

错误的代码:

{
  "event" : "new_user",
  "entityType" : "user"
  "entityId" : "de305d54-75b4-431b-adb2-eb6b9e546013",
  "properties" : {
    "name" : "Sarah Connor",
    "age" : 19,
    "email" : "sarah.connor@sky.net",
    "gender" : "Female",
    "car": "{\r\n "make": "Honda",\r\n "model": "Fit",\r\n "trim": "Sport",\r\n "year": 2015\r\n}"
  }
  "eventTime" : "1984-10-26T21:39:45.618-07:00"
}
复制代码

正确的代码 :

{
  "event" : "new_user",
  "entityType" : "user"
  "entityId" : "de305d54-75b4-431b-adb2-eb6b9e546013",
  "properties" : {
    "name" : "Sarah Connor",
    "age" : 19,
    "email" : "sarah.connor@sky.net",
    "gender" : "Female",
    "car": {
      "make": "Honda",
      "model": "Fit",
      "trim": "Sport",
      "year": 2015
    }
  }
  "eventTime" : "1984-10-26T21:39:45.618-07:00"
}
复制代码

可能的例外是当序列化大幅降低存储空间时。例如，你可能希望使用Protocol Buffer来存储数据，并把它们作为二进制字符串序列化。这样做可以节省5倍的存储空间，但它会使你的数据不可解析。更糟糕的是，如果你失去了你的消息定义文件，数据将会永久丢失。除非你的数据大小有谷歌或亚马逊那样的规模，不然这可能不值得。

查询时间

大型数据集的查询是耗时的工作。PredictionIO Event Server 通过（entityId，entityType）索引数据。如果你想有效地查询，根据你的需要选择“entityId”和“entityType”。

使用队列服务

建议使用消息队列机制将事件数据传递到Event Store。如果Event Store暂时不可用，消息将驻留在队列中，直到它被处理。数据不会丢失。

我们希望这篇文章对你有用。如果你有其他的技巧或者其他的问题，请在评论中与我们分享！

原文：http://news.cecb2b.com/info/20150402/3092584.shtml