·ÖÏí

dz̸һվʽ»úÆ÷ѧϰƽ̨ÔÚÃÀÍÅÅäËÍÖеÄʵ¼ùÓ¦ÓÃ

ÎÊÌâµ¼¶Á
1.Ϊʲô½¨Éèһվʽ»úÆ÷ѧϰƽ̨£¿
2.ÃÀÍÅÅäËÍ»úÆ÷ѧϰƽ̨ÊÇÈçºÎÑݽøµÄ£¿
3.Ϊʲô½¨Éèһվʽ»úÆ÷ѧϰƽ̨£¿


0. дÔÚÇ°Ãæ
AIÊÇÄ¿Ç°»¥ÁªÍøÐÐÒµÖËÊÖ¿ÉÈȵġ°Ã÷ÐÇ¡±£¬ÎÞÂÛÊÇÀÏÅƾÞÍ·£¬»¹ÊÇÁ÷Á¿Ð¹󣬶¼ÔÚ´óÁ¦Ñз¢AI¼¼Êõ£¬Îª×Ô¼ÒµÄÒµÎñ¸³ÄÜ¡£ÅäËÍ×÷ΪÍâÂôƽ̨±Õ»·Á´ÌõÉÏÖØÒªµÄÒ»»·£¬ÅäËÍЧÂʺÍÓû§ÌåÑéÊÇÅäËÍÒµÎñµÄºËÐľºÕùÁ¦¡£Ëæ×ŵ¥Á¿ÉÏÕÇ¡¢ÆïÊÖÔö¶à¡¢ÅäËͳ¡¾°¸´ÔÓ»¯£¬ÅäËͳ¡¾°µÄ¸÷ÖÖËã·¨ÔÚ¸ü¿ì£¨Ëã·¨ÐèÒª¿ìËÙµü´ú¡¢¿ìËÙÉÏÏߣ©¡¢¸üºÃ£¨ÒµÎñÔ½À´Ô½ÒÀÀµ»úÆ÷ѧϰËã·¨²úÉúÕýÏòµÄЧ¹û£©¡¢¸ü×¼£¨Ëã·¨µÄ¸÷ÖÖÔ¤²âÈçÔ¤¼ÆËÍ´ïʱ¼äµÈ£¬ÐèҪ׼ȷ±Æ½üÕæʵֵ£©µÄÄ¿±êÏÂÒ²ÃæÁÙÈÕÒæÔö´óµÄÌôÕ½¡£Ëã·¨´Óµ÷Ñе½×îÖÕÉÏÏß·¢»Ó×÷Óã¬ÐèÒªÓÐһϵÁеŤ³Ì¿ª·¢ºÍ¶Ô½Ó£¬ÓÉ´ËÒý·¢ÁËеÄÎÊÌ⣺ÈçºÎ½ç¶¨Ëã·¨ºÍ¹¤³ÌµÄ±ß½ç£¬¸÷˾ÆäÖ°£¬¸÷ÉÆÆ䳤£¿ÈçºÎÌáÉýËã·¨µü´úÉÏÏßµÄËٶȺÍЧÂÊ£¿ÈçºÎ¿ìËÙ׼ȷÆÀ¹ÀËã·¨µÄЧ¹û£¿±¾ÎĽ«Îª´ó¼Ò·ÖÏíÃÀÍÅÅäËͼ¼ÊõÍŶÓÔÚ½¨Éèһվʽ»úÆ÷ѧϰƽ̨¹ý³ÌÖеÄһЩ¾­ÑéºÍ̽Ë÷£¬Ï£Íû¶Ô´ó¼ÒÄÜÓÐËù°ïÖú»òÕßÆô·¢¡£
1. ÒµÎñ±³¾°
2019Äê7Ô·ݣ¬ÃÀÍÅÍâÂôµÄÈÕ¶©µ¥Á¿ÒѾ­Í»ÆÆ3000Íòµ¥£¬Õ¼ÓÐÁËÏà¶ÔÁìÏȵÄÊг¡·Ý¶î¡£Î§ÈÆ×ÅÓû§¡¢ÉÌ»§¡¢ÆïÊÖ£¬ÃÀÍÅÅäË͹¹½¨ÁËÈ«ÇòÁìÏȵļ´Ê±ÅäËÍÍøÂ磬½¨ÉèÁËÐÐÒµÁìÏȵÄÃÀÍÅÖÇÄÜÅäËÍϵͳ£¬ÐγÉÁËÈ«Çò¹æÄ£×î´óµÄÍâÂôÅäËÍƽ̨¡£
1.png

ÈçºÎÈÃÅäËÍÍøÂçÔËÐÐЧÂʸü¸ß£¬Óû§ÌåÑé¸üºÃ£¬ÊÇÒ»Ïî·Ç³£ÓÐÄѶȵÄÌôÕ½¡£ÎÒÃÇÐèÒª½â¾ö´óÁ¿¸´ÔӵĻúÆ÷ѧϰºÍÔ˳ïÓÅ»¯µÈÎÊÌ⣬°üÀ¨ETAÔ¤²â¡¢ÖÇÄܵ÷¶È¡¢µØͼÓÅ»¯¡¢¶¯Ì¬¶¨¼Û¡¢Çé¾°¸ÐÖª¡¢ÖÇÄÜÔËÓªµÈ¶à¸öÁìÓò¡£Í¬Ê±£¬ÎÒÃÇ»¹ÐèÒªÔÚÌåÑ顢ЧÂʺͳɱ¾Ö®¼ä´ïµ½Æ½ºâ¡£
2.png

2. ÃÀÍÅÅäËÍ»úÆ÷ѧϰƽ̨Ñݽø¹ý³Ì
2.1 Ϊʲô½¨Éèһվʽ»úÆ÷ѧϰƽ̨
Èç¹ûÒª½â¾öÉÏÊöµÄ»úÆ÷ѧϰÎÊÌ⣬¾ÍÐèÒªÓÐÒ»¸ö¹¦ÄÜÇ¿´óÇÒÒ×ÓõĻúÆ÷ѧϰƽ̨À´¸¨ÖúËã·¨Ñз¢ÈËÔ±£¬°ïÖú´ó¼ÒÍÑÀë·±ËöµÄ¹¤³Ì»¯¿ª·¢£¬°ÑÓÐÏ޵ľ«Á¦¾Û½¹ÓÚËã·¨²ßÂԵĵü´úÉÏÃæ¡£
Ä¿Ç°Òµ½ç±È½ÏÓÅÐãµÄ»úÆ÷ѧϰƽ̨Óкܶ࣬¼ÈÓдó¹«Ë¾Ñз¢µÄÉÌÓòúÆ·£¬Èç΢ÈíµÄAzure¡¢ÑÇÂíÑ·µÄSageMaker¡¢°¢ÀïµÄPAIƽ̨¡¢°Ù¶ÈµÄPaddlePaddleÒÔ¼°ÌÚѶµÄTIƽ̨£¬Ò²Óкܶ࿪ԴµÄ²úÆ·£¬Èç¼ÓÖÝ´óѧ²®¿ËÀû·ÖУµÄCaffe¡¢GoogleµÄTensorFlow¡¢FacebookµÄPyTorchÒÔ¼°ApacheµÄSpark MLlibµÈ¡£¶ø¿ªÔ´Æ½Ì¨´ó¶¼ÊÇ»úÆ÷ѧϰ»òÕßÉî¶Èѧϰ»ù´¡¼ÆËã¿ò¼Ü£¬¾Û½¹ÓÚѵÁ·»úÆ÷ѧϰ»òÉî¶ÈѧϰģÐÍ£»¹«Ë¾µÄÉÌÓòúÆ·ÔòÊÇ»ùÓÚ»ù´¡µÄ»úÆ÷ѧϰºÍÉî¶Èѧϰ¼ÆËã¿ò¼Ü½øÐжþ´Î¿ª·¢£¬ÌṩһվʽµÄÉú̬»¯µÄ·þÎñ£¬ÎªÓû§Ìṩ´ÓÊý¾ÝÔ¤´¦Àí¡¢Ä£ÐÍѵÁ·¡¢Ä£ÐÍÆÀ¹À¡¢Ä£ÐÍÔÚÏßÔ¤²âµÄÈ«Á÷³Ì¿ª·¢ºÍ²¿ÊðÖ§³Ö£¬ÒÔÆÚ½µµÍË㷨ͬѧµÄʹÓÃÃż÷¡£
¹«Ë¾¼¶µÄһվʽ»úÆ÷ѧϰƽ̨µÄÄ¿±êºÍ¶¨Î»£¬ÓëÎÒÃǶԻúÆ÷ѧϰƽ̨µÄÐèÇó²»Ä±¶øºÏ£ºÎªÓû§Ìṩ¶Ëµ½¶ËµÄһվʽµÄ·þÎñ£¬°ïÖúËûÃÇÍÑÀë·±ËöµÄ¹¤³Ì»¯¿ª·¢£¬°ÑÓÐÏ޵ľ«Á¦¾Û½¹ÓÚËã·¨²ßÂԵĵü´úÉÏÃæ¡£¼øÓÚ´Ë£¬ÃÀÍÅÅäË͵Äһվʽ»úÆ÷ѧϰƽ̨ӦÔ˶øÉú¡£ÃÀÍÅÅäËÍ»úÆ÷ѧϰƽ̨µÄÑݽø¹ý³Ì¿ÉÒÔ·ÖΪÁ½¸ö½×¶Î£º
MVP½×¶Î£ºÁé»î£¬¿ìËÙÊÔ´í£¬¾ß±¸¿ìËÙµü´úÄÜÁ¦¡£
ƽ̨»¯½×¶Î£ºÒµÎñ³ÉÖ¸Êý¼¶Ôö³¤£¬ÐèÒª»úÆ÷ѧϰËã·¨µÄ³¡¾°Ô½À´Ô½¶à£¬ÈçºÎ¼È±£Ö¤ÒµÎñ·¢Õ¹£¬ÓÖÄܽâ¾öϵͳ¿ÉÓÃÐÔ¡¢À©Õ¹ÐÔ¡¢Ñз¢Ð§ÂʵÈÎÊÌâ¡£

2.2 MVP½×¶Î
³õʼ½×¶Î£¬´ó¼Ò¶Ô»úÆ÷ѧϰƽ̨Ҫ·¢Õ¹³ÉʲôÑù×Ó²¢²»Ã÷È·£¬ºÜ¶àÊÂÇéÒ²Ïë²»Çå³þ¡£µ«ÊÇΪÁËÖ§³ÅÒµÎñµÄ·¢Õ¹£¬±ØÐë¿ìËÙÉÏÏß¡¢¿ìËÙÊÔ´í¡£Òò´Ë£¬Ôڴ˽׶Σ¬¸÷¸öÒµÎñÏ߶À×Ô½¨Éè×Ô¼ºµÄ»úÆ÷ѧϰ¹¤¾ß¼¯£¬°´ÕÕ¸÷×ÔÒµÎñµÄÌØÊâÐèÇó½øÐи÷×Ôµü´ú£¬¿ìËÙÖ§³Ö»úÆ÷ѧϰËã·¨ÉÏÏßÂäµØÓ¦Óõ½¾ßÌåµÄÒµÎñ³¡¾°£¬Ò²¾ÍÊÇÎÒÃÇËùÊìÖªµÄ¡°ÑÌ´Ñģʽ¡±¡£´ËÖÖģʽ¸÷×ÔΪս£¬·Ç³£Áé»î£¬Äܹ»¿ìËÙÖ§³ÖÒµÎñµÄ¸öÐÔ»¯ÐèÇó£¬ÎªÒµÎñÇÀÕ¼Êг¡Ó®µÃÁËÏÈ»ú¡£µ«Ëæ×ÅÒµÎñ¹æÄ£µÄÖð½¥À©´ó£¬ÕâÖÖ¡°ÑÌ´Ñģʽ¡±µÄȱµã¾Í͹ÏÔÁ˳öÀ´£¬Ö÷Òª±íÏÖÔÚÒÔÏÂÁ½¸ö·½Ã棺
  • Öظ´ÔìÂÖ×Ó£ºÌØÕ÷¹¤³Ì¡¢Ä£ÐÍѵÁ·¡¢Ä£ÐÍÔÚÏßÔ¤²â¶¼ÊǸ÷×ÔÑз¢£¬´ÓÁã×öÆð£¬Ëã·¨µÄµü´úЧÂʵÍÏ¡£
  • ÌØÕ÷¿Ú¾¶»ìÂÒ£º¸÷¸öÒµÎñ·½Öظ´¿ª·¢ÌØÕ÷£¬ÏàͬÌØÕ÷µÄͳ¼Æ¿Ú¾¶Ò²²»Ò»Ö£¬µ¼ÖÂËã·¨Ö®¼äÄÑÒÔЭͬ¹¤×÷¡£
3.png

2.3 ƽ̨»¯½×¶Î
ΪÁ˱ÜÃâ¸÷²¿ÃÅÖظ´ÔìÂÖ×Ó£¬ÌáÉýÑз¢µÄЧÂÊ£¬Í¬Ê±Í³Ò»ÒµÎñÖ¸±êºÍÌØÕ÷µÄ¼ÆËã¿Ú¾¶£¬±ê×¼»¯ÅäËͲàµÄÊý¾ÝÌåϵ£¬ÃÀÍÅÅäË͵ÄÑз¢ÍŶÓ×齨ÁËÒ»¸öËã·¨¹¤³ÌС×飬רÃŹæÕû¸÷ÒµÎñÏߵĻúÆ÷ѧϰ¹¤¾ß¼¯£¬Ï£Íû½¨ÉèÒ»¸öͳһµÄ»úÆ÷ѧϰƽ̨£¬ÆäÐèÇóÖ÷Òª°üÀ¨ÒÔϼ¸¸ö·½Ã棺
4.png

¸Ãƽ̨µ×²ãÒÀÍÐÓÚHadoop/Yarn½øÐÐ×ÊÔ´µ÷¶È¹ÜÀí£¬¼¯³ÉÁËSpark ML¡¢XGBoost¡¢TensorFlowÈýÖÖ»úÆ÷ѧϰ¿ò¼Ü£¬²¢±£ÁôÁËÀ©Õ¹ÐÔ£¬·½±ã½ÓÈëÆäËü»úÆ÷ѧϰ¿ò¼Ü£¬ÈçÃÀÍÅ×ÔÑеÄMLX£¨³¬´ó¹æÄ£»úÆ÷ѧϰƽ̨£¬×¨ÎªËÑË÷¡¢ÍƼö¡¢¹ã¸æµÈÅÅÐòÎÊÌⶨÖÆ£¬Ö§³Ö°ÙÒÚ¼¶ÌØÕ÷ºÍÁ÷ʽ¸üУ©¡£
ͨ¹ý¶ÔSpark ML¡¢XGBoost¡¢TensorFlow»úÆ÷ѧϰ¿ò¼ÜµÄ·â×°£¬ÎÒÃÇʵÏÖÁË¿ÉÊÓ»¯ÀëÏßѵÁ·Æ½Ì¨£¬Í¨¹ýÍÏÀ­×§µÄ·½Ê½Éú³ÉDAGͼ£¬ÆÁ±Î¶à¸öѵÁ·¿ò¼ÜµÄ²îÒ죬ͳһģÐÍѵÁ·ºÍ×ÊÔ´·ÖÅ䣬½µµÍÁËËã·¨RDµÄ½ÓÈëÃż÷¡£
Ä£Ð͹ÜÀíƽ̨£¬ÌṩͳһµÄÄ£ÐÍ×¢²á¡¢·¢ÏÖ¡¢²¿Êð¡¢Çл»¡¢½µ¼¶µÈ½â¾ö·½°¸£¬²¢Îª»úÆ÷ѧϰºÍÉî¶ÈѧϰģÐÍʵʱ¼ÆËãÌṩ¸ß¿ÉÓÃÔÚÏßÔ¤²â·þÎñ¡£
ÀëÏßÌØÕ÷ƽ̨£¬ÊÕ¼¯·Ö¼ðÏßÏÂÈÕÖ¾£¬¼ÆËãÌáÁ¶³ÉËã·¨ËùÐèÒªµÄÌØÕ÷£¬²¢½«ÏßϵÄÌØÕ÷Ó¦Óõ½ÏßÉÏ¡£
ʵʱÌØÕ÷ƽ̨£¬ÊµÊ±ÊÕ¼¯ÏßÉÏÊý¾Ý£¬¼ÆËãÌáÁ¶³ÉËã·¨ËùÐèÒªµÄÌØÕ÷£¬²¢ÊµÊ±ÍÆËÍÓ¦Óõ½ÏßÉÏ¡£
°æ±¾¹ÜÀíƽ̨£¬¹ÜÀíËã·¨µÄ°æ±¾ÒÔ¼°Ëã·¨°æ±¾ËùÓõÄÄ£ÐÍ¡¢ÌØÕ÷ºÍ²ÎÊý¡£
ABʵÑéƽ̨£¬Í¨¹ý¿ÆѧµÄ·ÖÁ÷ºÍÆÀ¹À·½·¨£¬¸ü¿ì¸üºÃµØÑéÖ¤Ëã·¨µÄЧ¹û¡£

3. ͼÁéƽ̨
ƽ̨»¯½×¶Î£¬ÎÒÃǶÔÃÀÍÅÅäËÍ»úÆ÷ѧϰƽ̨µÄÄ¿±ê¶¨Î»ÊÇ£ºÒ»Õ¾Ê½»úÆ÷ѧϰƽ̨£¬¸øË㷨ͬѧÌṩһվʽ·þÎñ£¬¸²¸ÇË㷨ͬѧµ÷ÑС¢¿ª·¢¡¢ÉÏÏß¡¢ÆÀ¹ÀË㷨Ч¹ûµÄÈ«Á÷³Ì£¬°üÀ¨£ºÊý¾Ý´¦Àí¡¢ÌØÕ÷Éú²ú¡¢Ñù±¾Éú³É¡¢Ä£ÐÍѵÁ·¡¢Ä£ÐÍÆÀ¹À¡¢Ä£ÐÍ·¢²¼¡¢ÔÚÏßÔ¤²âºÍЧ¹ûÆÀ¹À¡£ÎªÁËÏìÓ¦Õâ¸öÄ¿±ê£¬´ó¼Ò»¹¸øƽ̨ȡÁ˸ö´óµ¨µÄÃû×Ö¡ª¡ªTuring£¬ÖÐÎÄÃû³ÆΪͼÁéƽ̨£¬ËäÈ»Óе㡰µ¨´ó°üÌ족£¬µ«ÊÇÒ²ËãÊǶÔÎÒÃÇÍŶӵÄÒ»Öֱ޲ߡ£
1£©Ê×ÏÈÔÚ»ñÈ¡Êý¾Ý½×¶Î£¬Ö§³ÖÔÚÏߺÍÀëÏßÁ½¸ö²ãÃæµÄ´¦Àí£¬·Ö±ðͨ¹ý²ÉÑù¡¢¹ýÂË¡¢¹éÒ»»¯¡¢±ê×¼»¯µÈÊÖ¶ÎÉú²úʵʱºÍÀëÏßÌØÕ÷£¬²¢ÍÆË͵½ÔÚÏßµÄÌØÕ÷¿â£¬¹©ÏßÉÏ·þÎñʹÓá£
2£©Ä£ÐÍѵÁ·½×¶Î£¬Ö§³Ö·ÖÀà¡¢»Ø¹é¡¢¾ÛÀà¡¢Éî¶ÈѧϰµÈ¶àÖÖÄ£ÐÍ£¬²¢Ö§³Ö×Ô¶¨ÒåLossËðʧº¯Êý¡£
3£©Ä£ÐÍÆÀ¹À½×¶Î£¬Ö§³Ö¶àÖÖÆÀ¹ÀÖ¸±ê£¬ÈçAUC¡¢MSE¡¢MAE¡¢F1µÈ¡£
4£©Ä£ÐÍ·¢²¼½×¶Î£¬Ìṩһ¼ü²¿Êð¹¦ÄÜ£¬Ö§³Ö±¾µØºÍÔ¶³ÌÁ½ÖÖģʽ£¬·Ö±ð¶ÔÓ¦½«Ä£ÐͲ¿ÊðÔÚÒµÎñ·þÎñ±¾µØºÍ²¿ÊðÔÚרÓõÄÔÚÏßÔ¤²â¼¯Èº¡£
5£©ÔÚÏßÔ¤²â½×¶Î£¬Ö§³ÖABʵÑ飬Áé»îµÄ»Ò¶È·¢²¼·ÅÁ¿£¬²¢Í¨¹ýͳһÂñµãÈÕ־ʵÏÖABʵÑéЧ¹ûÆÀ¹À¡£
5.png

3.1 ÀëÏßѵÁ·Æ½Ì¨
ÀëÏßѵÁ·Æ½Ì¨µÄÄ¿±êÊÇ£º´î½¨¿ÉÊÓ»¯ÑµÁ·Æ½Ì¨£¬ÆÁ±Î¶à¸öѵÁ·¿ò¼ÜµÄ²îÒ죬½µµÍËã·¨RDµÄ½ÓÈëÃż÷¡£
ΪÁ˽µµÍËã·¨RD½øÈë»úÆ÷ѧϰÁìÓòµÄÃż÷£¬ÎÒÃÇ¿ª·¢ÁË´øÓпÉÊÓ»¯½çÃæµÄÀëÏßѵÁ·Æ½Ì¨£¬Í¨¹ý¸÷ÖÖ×é¼þµÄÍÏÀ­×§×éºÏ³ÉDAGͼ£¬´Ó¶øÉú³ÉÒ»¸öÍêÕûµÄ»úÆ÷ѧϰѵÁ·ÈÎÎñ¡£
Ä¿Ç°Ö§³ÖµÄ×é¼þ´óÖ·ÖΪ£ºÊäÈë¡¢Êä³ö¡¢ÌØÕ÷Ô¤´¦Àí¡¢Êý¾Ý¼¯¼Ó¹¤¡¢»úÆ÷ѧϰģÐÍ¡¢Éî¶ÈѧϰģÐ͵ȼ¸´óÀ࣬ÿÖÖÀà±ð¶¼¿ª·¢Á˶à¸ö²»Í¬µÄ×é¼þ£¬·Ö±ðÖ§³Ö²»Í¬µÄÓ¦Óó¡¾°¡£Í¬Ê±ÎªÁ˲»Ê§È¥Áé»îÐÔ£¬ÎÒÃÇÒ²»¨·ÑÁËÒ»·¬ÐÄ˼£¬ÌṩÁ˶àÖÖÖîÈç×Ô¶¨Òå²ÎÊý¡¢×Ô¶¯µ÷²Î¡¢×Ô¶¨ÒåLossº¯ÊýµÈ¹¦ÄÜ£¬¾¡Á¿Âú×ã¸÷¸ö²»Í¬ÒµÎñ·½ÏòË㷨ͬѧ¸÷ÖÖÁé»îÐÔµÄÐèÇó¡£
6.png
ÎÒÃǵÄÀëÏßѵÁ·Æ½Ì¨ÔÚ²ú³öÄ£ÐÍʱ£¬³ýÁ˲ú³öÄ£ÐÍÎļþÖ®Í⣬»¹²ú³öÁËÒ»¸öMLDL£¨Machine Learning Definition Language£©Îļþ£¬½«¸÷Ä£Ð͵ÄËùÓÐÔ¤´¦ÀíÄ£¿éÐÅϢдÈëMLDLÎļþÖУ¬ÓëÄ£Ðͱ£´æÔÚͬһĿ¼ÖС£µ±Ä£ÐÍ·¢²¼Ê±£¬Ä£ÐÍÎļþÁ¬´øMLDLÎļþ×÷Ϊһ¸öÕûÌ干ͬ·¢²¼µ½ÏßÉÏ¡£ÔÚÏß¼ÆËãʱ£¬ÏÈ×Ô¶¯Ö´ÐÐMLDLÖеÄÔ¤´¦ÀíÂß¼­£¬È»ºóÔÙÖ´ÐÐÄ£ÐͼÆËãÂß¼­¡£Í¨¹ýMLDL´òͨÁËÀëÏßѵÁ·ºÍÔÚÏßÔ¤²â£¬¹á´©Õû¸ö»úÆ÷ѧϰƽ̨£¬Ê¹µÃÏßϺÍÏßÉÏʹÓÃͬһÌ×ÌØÕ÷Ô¤´¦Àí¿ò¼Ü´úÂ룬±£Ö¤ÁËÏßϺÍÏßÉÏ´¦ÀíµÄÒ»ÖÂÐÔ¡£
7.png
ÔÚ·¢²¼Ä£ÐÍʱ£¬ÎÒÃÇ»¹ÌṩÁËÄ£ÐÍ°ó¶¨ÌØÕ÷¹¦ÄÜ£¬Ö§³ÖÓû§°ÑÌØÕ÷ºÍÄ£Ð͵ÄÈë²Î¹ØÁªÆðÀ´£¬·½±ãÔÚÏßÔ¤²âʱģÐÍ×Ô¶¯»ñÈ¡ÌØÕ÷£¬¼«´óµØ¼ò»¯ÁËËã·¨RD¹¹ÔìÄ£ÐÍÊäÈëʱ»ñÈ¡ÌØÕ÷µÄ¹¤×÷Á¿¡£
8.png

3.2 Ä£Ð͹ÜÀíƽ̨
Ç°Ãæ½éÉÜÁË£¬ÎÒÃǵÄͼÁéƽ̨¼¯³ÉÁËSpark ML¡¢XGBoost¡¢TensorFlowÈýÖֵײãѵÁ·¿ò¼Ü£¬»ùÓÚ´Ë£¬ÎÒÃǵÄѵÁ·Æ½Ì¨²ú³öµÄ»úÆ÷ѧϰģÐÍÖÖÀàÒ²·Ç³£¶à£¬¼òµ¥µÄÓÐLR¡¢SVM£¬Ê÷Ä£ÐÍÓÐGBDT¡¢RF¡¢XGBµÈ£¬Éî¶ÈѧϰģÐÍÓÐRNN¡¢DNN¡¢LSTM¡¢DeepFMµÈµÈ¡£¶øÎÒÃǵÄÄ£Ð͹ÜÀíƽ̨µÄÄ¿±ê¾ÍÊÇÌṩͳһµÄÄ£ÐÍ×¢²á¡¢·¢ÏÖ¡¢²¿Êð¡¢Çл»¡¢½µ¼¶µÈ½â¾ö·½°¸£¬²¢Îª»úÆ÷ѧϰºÍÉî¶ÈѧϰģÐÍÌṩ¸ß¿ÉÓõÄÏßÉÏÔ¤²â·þÎñ¡£
9.png
Ä£Ð͹ÜÀíƽ̨֧³Ö±¾µØºÍÔ¶³ÌÁ½ÖÖ²¿Êðģʽ£º
  • ±¾µØ£ºÄ£ÐͺÍMLDLͳһÍÆË͵½ÒµÎñ·½·þÎñ½ÚµãÉÏ£¬Í¬Ê±Í¼Áéƽ̨Ìṩһ¸öJavaµÄLib°ü£¬Ç¶Èëµ½ÒµÎñ·½Ó¦ÓÃÖУ¬ÒµÎñ·½Í¨¹ý±¾µØ½Ó¿ÚµÄ·½Ê½µ÷ÓÃÄ£ÐͼÆËã¡£

  • Ô¶³Ì£ºÍ¼Áéƽ̨ά»¤ÁËÒ»¸öרÓõÄÔÚÏß¼ÆË㼯Ⱥ£¬Ä£ÐͺÍMLDLͳһ²¿Êðµ½ÔÚÏß¼ÆË㼯ȺÖУ¬ÒµÎñ·½Ó¦ÓÃͨ¹ýRPC½Ó¿Úµ÷ÓÃÔÚÏß¼ÆËã·þÎñ½øÐÐÄ£ÐͼÆËã¡£
10.png

¶ÔÓÚ³¬´ó¹æģģÐÍ£¬µ¥»úÎÞ·¨×°ÔØ£¬ÐèÒª¶ÔÄ£ÐͽøÐÐSharding¡£¼øÓÚÃÀÍÅÅäË͵ÄÒµÎñÌØÐÔ£¬¿ÉÒÔ°´ÕÕÅäËͳÇÊÐ/ÇøÓò½øÐзÖÇøѵÁ·£¬Ã¿¸ö³ÇÊлòÇøÓò²ú³öÒ»¸öСģÐÍ£¬¶à¸ö·ÖÇøÄ£ÐÍ·ÖÉ¢²¿Ê𵽶à¸ö½ÚµãÉÏ£¬½â¾öµ¥½ÚµãÎÞ·¨×°ÔØ´óÄ£Ð͵ÄÎÊÌâ¡£·ÖÇøÄ£ÐÍÒªÇóÎÒÃDZØÐëÌṩģÐ͵Ä·Óɹ¦ÄÜ£¬ÒÔ±ãÒµÎñ·½¾«×¼µØÕÒµ½²¿ÊðÏàÓ¦·ÖÇøÄ£Ð͵Ľڵ㡣
ͬʱ£¬Ä£Ð͹ÜÀíƽ̨»¹ÊÕ¼¯¸÷¸ö·þÎñ½ÚµãµÄÐÄÌøÉϱ¨ÐÅÏ¢£¬Î¬»¤Ä£Ð͵Ä״̬ºÍ°æ±¾Çл»£¬È·±£ËùÓнڵãÉÏÄ£ÐÍ°æ±¾Ò»Ö¡£
11.png

3.3 ÀëÏßÌØÕ÷ƽ̨
ÅäËÍÏßÉÏÒµÎñÿÌì»á¼Ç¼Ðí¶àÆïÊÖ¡¢É̼ҡ¢Óû§µÈά¶ÈµÄÊý¾Ý£¬ÕâЩÊý¾Ý¾­¹ýETL´¦ÀíµÃµ½ËùνµÄÀëÏßÌØÕ÷£¬Ë㷨ͬѧÀûÓÃÕâЩÀëÏßÌØÕ÷ѵÁ·Ä£ÐÍ£¬²¢ÔÚÏßÉÏÀûÓÃÕâЩÌØÕ÷½øÐÐÄ£ÐÍÔÚÏßÔ¤²â¡£ÀëÏßÌØÕ÷ƽ̨¾ÍÊǽ«´æ·ÅÔÚHive±íÖеÄÀëÏßÌØÕ÷Êý¾ÝÉú²úµ½ÏßÉÏ£¬¶ÔÍâÌṩÔÚÏß»ñÈ¡ÀëÏßÌØÕ÷µÄ·þÎñÄÜÁ¦£¬Ö§³ÅÅäË͸÷¸öÒµÎñ¸ß²¢·¢¼°Ëã·¨¿ìËÙµü´ú¡£
12.png
×î¼òµ¥µÄ·½°¸£¬Ö±½Ó°ÑÀëÏßÌØÕ÷´æ´¢µ½DBÖУ¬ÏßÉÏ·þÎñÖ±½Ó¶ÁÈ¡DB»ñÈ¡ÌØÕ÷Value¡£¶ÁÈ¡DBÊǸöºÜÖصIJÙ×÷£¬ÕâÖÖ·½°¸Ã÷ÏÔ²»ÄÜÂú×㻥ÁªÍø´ó²¢·¢µÄ³¡¾°£¬Ö±½Ó±»Passµô¡£
µÚ¶þÖÖ·½°¸£¬°Ñ¸÷¸öÀëÏßÌØÕ÷×÷ΪK-V½á¹¹´æ´¢µ½RedisÖУ¬ÏßÉÏ·þÎñÖ±½Ó¸ù¾ÝÌØÕ÷Key¶ÁÈ¡Redis»ñÈ¡ÌØÕ÷Value¡£´Ë·½°¸ÀûÓÃÁËRedisÄÚ´æK-VÊý¾Ý¿âµÄ¸ßÐÔÄÜ£¬Õ§Ò»¿´È¥£¬ºÃÏñ¿ÉÒÔÂú×ãÒµÎñµÄÐèÇ󣬵«Êµ¼ÊʹÓÃʱ£¬Ò²´æÔÚ×ÅÑÏÖصÄÐÔÄÜÎÊÌâ¡£
µäÐ͵ÄÒµÎñ³¡¾°£º±ÈÈçÎÒÃÇÒªÔ¤²â20¸öÉ̼ҵÄÅäËÍʱ³¤£¬¼ÙÉèÿ¸öÉ̼ÒÐèÒª100¸öÌØÕ÷£¬ÔòÎÒÃǾÍÐèÒª20*100=2000¸öÌØÕ÷½øÐÐÄ£ÐͼÆË㣬2000¸öKV¡£Èç¹ûÖ±½Óµ¥¸ö»ñÈ¡£¬Âú×ã²»ÁËÒµÎñ·½µÄÐÔÄÜÐèÇó£»Èç¹ûʹÓÃRedisÌṩµÄÅúÁ¿½Ó¿ÚMget£¬Èç¹ûÿ´Î»ñÈ¡100¸öKV£¬ÔòÐèÒª20´ÎMget¡£»º´æmgetµÄºÄʱTP99Ô¼5ms£¬20´ÎMget£¬TP99½Ó½ü100ms£¬Ò²ÎÞ·¨Âú×ãÒµÎñ·½µÄÐÔÄÜÐèÇó£¨ÉÏÓηþÎñ³¬Ê±Ê±¼äÔ¼50ms£©¡£
Òò´Ë£¬ÎÒÃÇÐèÒª¶ÔÀëÏßÌØÕ÷´Ó´æ´¢ºÍ»ñÈ¡½øÐÐÓÅ»¯¡£ÎÒÃÇÌá³öÁËÌØÕ÷×éµÄ¸ÅÄͬһά¶ÈµÄÌØÕ÷£¬°´ÕÕÌØÕ÷×éµÄ½á¹¹½øÐоۺϳÉÒ»¸öKV£¬´ó´ó¼õÉÙÁËKeyµÄÊýÄ¿£»²¢ÇÒÌṩÁËÏà¶ÔÍêÉƵĹÜÀí¹¦ÄÜ£¬Ö§³Ö¶ÔÌØÕ÷×éµÄ¶¯Ì¬µ÷Õû£¨×é×°¡¢²ð·ÖµÈ£©¡£
13.png

3.4 ʵʱÌØÕ÷ƽ̨
Ïà±ÈÓÚ´«Í³ÅäËÍ£¬¼´Ê±ÅäËÍÎÞÂÛÊÇÔÚλÖÃÐÅÏ¢¡¢ÆïÊÖ¸ºÔØ£¬»¹ÊÇÔÚµ±Ç°Â·ÍøÇé¿ö£¬ÒÔ¼°É̼ҳö²ÍÇé¿öµÈ·½Ã涼ÊÇ˲Ϣ±ä»¯µÄ£¬ÊµÊ±ÐÔÒªÇó·Ç³£¸ß¡£ÎªÁËÈûúÆ÷ѧϰËã·¨Äܹ»¼´Ê±µÄÔÚÏßÉÏÉúЧ£¬ÎÒÃÇÐèҪʵʱµØÊÕ¼¯ÏßÉϸ÷ÖÖÒµÎñÊý¾Ý£¬½øÐмÆË㣬ÌáÁ¶³ÉËã·¨ËùÐèÒªµÄÌØÕ÷£¬²¢ÊµÊ±¸üС£
14.png

3.5 ABʵÑéƽ̨
ABʵÑé²¢²»ÊǸöÐÂÐ˵ĸÅÄ×Ô2000Äê¹È¸è¹¤³Ìʦ½«ÕâÒ»·½·¨Ó¦ÓÃÔÚ»¥ÁªÍø²úÆ·ÒÔÀ´£¬ABʵÑéÔÚ¹úÄÚÍâÔ½À´Ô½ÆÕ¼°£¬ÒѳÉΪ»¥ÁªÍø²úÆ·ÔËÓª¾«Ï¸¶ÈµÄÖØÒªÌåÏÖ¡£¼òµ¥À´Ëµ£¬ABʵÑéÔÚ²úÆ·ÓÅ»¯ÖеÄÓ¦Ó÷½·¨ÊÇ£ºÔÚ²úÆ·Õýʽµü´ú·¢°æ֮ǰ£¬ÎªÍ¬Ò»¸öÄ¿±êÖƶ¨Á½¸ö£¨»òÒÔÉÏ£©·½°¸£¬½«Óû§Á÷Á¿¶ÔÓ¦·Ö³É¼¸×飬ÔÚ±£Ö¤Ã¿×éÓû§ÌØÕ÷ÏàͬµÄÇ°ÌáÏ£¬ÈÃÓû§·Ö±ð¿´µ½²»Í¬µÄ·½°¸Éè¼Æ£¬¸ù¾Ý¼¸×éÓû§µÄÕæʵÊý¾Ý·´À¡£¬¿ÆѧµÄ°ïÖú²úÆ·½øÐоö²ß¡£
»¥ÁªÍøÁìÓò³£¼ûµÄABʵÑ飬´ó¶àÊÇÃæÏòC¶ËÓû§½øÐÐÁ÷Á¿Ñ¡Ôñ£¬±ÈÈç»ùÓÚ×¢²áÓû§µÄUID»òÕßÓû§µÄÉ豸±êʶ£¨Òƶ¯Óû§IMEIºÅ/PCÓû§Cookie£©½øÐÐËæ»ú»òÕß¹þÏ£¼ÆËãºó·ÖÁ÷¡£´ËÀà·½°¸¹ã·ºÓ¦ÓÃÓÚËÑË÷¡¢ÍƼö¡¢¹ã¸æµÈÁìÓò£¬ÌåÏÖ³öǧÈËǧÃæ¸öÐÔ»¯µÄÌص㡣´ËÀà·½°¸µÄÌصãÊÇʵÏÖ¼òµ¥£¬¼ÙÉèÇëÇó¶ÀÁ¢Í¬·Ö²¼£¬Á÷Á¿Ö®¼ä¶ÀÁ¢¾ö²ß£¬»¥²»¸ÉÈÅ¡£´ËÀàABʵÑéÖ®ËùÒÔÄܹ»ÕâÑù×öÊÇÒòΪ£ºC¶ËÁ÷Á¿±È½Ï´ó£¬Ñù±¾×ã¹»¶à£¬¶øÇÒ²»Í¬Óû§Ö®¼äûÓÐÏ໥¸ÉÈÅ£¬Ö»Òª·ÖÁ÷ʱ×ã¹»Ëæ»ú£¬¼´»ù±¾¿ÉÒÔ±£Ö¤ÇëÇó¶ÀÁ¢Í¬·Ö²¼¡£
¼´Ê±ÅäËÍÁìÓòµÄABʵÑéÊÇΧÈÆÓû§¡¢ÉÌ»§¡¢ÆïÊÖÈýÕß½øÐУ¬Óû§/ÉÌ»§/ÆïÊÖÖ®¼ä²»ÔÙÊÇÏ໥¶ÀÁ¢µÄ£¬¶øÊÇÏ໥ӰÏìÏ໥ÖÆÔ¼µÄ¡£Õë¶Ô´ËÀೡ¾°£¬ÏÖÓеķÖÁ÷·½°¸»áÔì³É²»Í¬²ßÂԵĻ¥Ïà¸ÉÈÅ£¬ÎÞ·¨ÓÐЧµØÆÀ¹À¸÷¸öÁ÷Á¿¸÷¸ö²ßÂÔµÄÓÅÁÓ¡£
15.png
¼øÓÚÉÏÊöµÄÎÊÌ⣬ÎÒÃǽ«ÅäËͲàµÄABʵÑé·ÖΪÈý¸ö½×¶Î£ºÊÂÇ°µÄAA·Ö×飬ÊÂÖеÄAB·ÖÁ÷£¬ÊºóµÄЧ¹ûÆÀ¹À¡£
  • AA·Ö×飺½«ºòÑ¡Á÷Á¿°´Õռȶ¨µÄ¹æÔòÔ¤ÏÈ·ÖΪ¶ÔÕÕ×éºÍʵÑé×飬»ùÓÚÊýÀíͳ¼ÆµÄÀíÂÛÈ·±£¶ÔÕÕ×éºÍʵÑé×éÔÚËù¹Ø×¢µÄÒµÎñÖ¸±êÉÏûÓÐÏÔÖø²îÒì¡£
  • AB·ÖÁ÷£º½«ÏßÉÏÇëÇóʵʱ·Öµ½¶ÔÕÕ»òÕßʵÑé°æ±¾¡£
  • Ч¹ûÆÀ¹À£º¸ù¾Ý¶ÔÕÕ×éºÍʵÑé×éµÄÊý¾Ý¶Ô±ÈÆÀ¹ÀABʵÑéµÄЧ¹û¡£

16.png
ÓÉÓÚ¼´Ê±ÅäË͵ij¡¾°½ÏΪÌØÊ⣬±ÈÈç°´ÕÕÅäËÍÇøÓò»ò³ÇÊнøÐÐABʵÑéʱ£¬ÓÉÓÚÑù±¾¿Õ¼äÓÐÏÞ£¬ºÜÄÑÕÒµ½Ã»ÓвîÒìµÄ¶ÔÕÕ×éºÍʵÑé×飬Òò´ËÎÒÃÇÉè¼ÆÁËÒ»ÖÖ·Öʱ¼äƬAB¶ÔÕյķÖÁ÷·½·¨£ºÖ§³Ö°´Ì졢Сʱ¡¢·ÖÖÓ½øÐзÖƬ£¬¶à¸öʱ¼äƬ½øÐÐÂÖתÇл»£¬ÔÚ²»Í¬ÇøÓò¡¢²»Í¬Ê±¼äƬ֮¼ä£¬¶Ô²»Í¬µÄ²ßÂÔ½øÐн»ÌæÇл»½øÐÐAB·ÖÁ÷£¬×î´óÏ޶ȼõÉÙÏßÏÂÒòËصÄÓ°Ï죬ȷ±£ÊµÑé¿Æѧ¹«Õý¡£
17.png

4 ×ܽáÓëÕ¹Íû
ĿǰͼÁéƽ̨֧³ÅÁËÃÀÍÅÅäËÍ¡¢Ð¡Ïó¡¢LBSƽ̨µÈBUµÄËã·¨ÀëÏßѵÁ·¡¢ÔÚÏßÔ¤²â¡¢ABʵÑéµÈ£¬Ê¹Ëã·¨RD¸ü¼Ó¹Ø×¢Ëã·¨²ßÂÔ±¾ÉíµÄµü´úÓÅ»¯£¬ÏÔÖøÌá¸ßÁËËã·¨RDµÄЧÂÊ¡£Î´À´ÎÒÃÇ»áÔÚÒÔÏ·½Ãæ¼ÌÐøÉîÈë̽Ë÷£º
1£©¼ÓÇ¿Éî¶ÈѧϰµÄ½¨Éè¡£
  • ¼ÓÇ¿Éî¶ÈѧϰµÄ½¨É裬ȫÃæÖ§³ÖÉî¶Èѧϰ£¬ÊµÏÖÉî¶ÈѧϰÏà¹Ø×é¼þÓë»úÆ÷ѧϰ×é¼þÒ»Ñù£¬ÔÚ¿ÉÊÓ»¯½çÃæ¿ÉÒÔºÍÈÎÒâ×é¼þ×éºÏʹÓá£
  • ÀëÏßѵÁ·Ö§³Ö¸ü¶à³£ÓÃÉî¶ÈѧϰģÐÍ¡£
  • Ö§³ÖÖ±½ÓдPython´úÂë×Ô¶¨ÒåÉî¶ÈѧϰģÐÍ¡£

2£©ÔÚÏßÔ¤²âƽ̨»¯£¬½øÒ»²½½âñîËã·¨ºÍ¹¤³Ì¡£
  • ¼ò»¯Í¼Áéƽ̨SDK£¬°þÀëÖ÷Ìå¼ÆËãÂß¼­£¬½¨ÉèÔÚÏßÔ¤²âƽ̨¡£
  • ÔÚÏßÔ¤²âƽ̨¶¯Ì¬¼ÓÔØËã·¨°ü£¬ÊµÏÖËã·¨¡¢ÒµÎñ¹¤³Ì·½¡¢Í¼Áéƽ̨µÄ½âñî¡£

Ô­ÎÄÁ´½Ó
https://mp.weixin.qq.com/s/ZDRD0vAxkSqe4UeXi9avKQ




ûÕÒµ½ÈκÎÆÀÂÛ£¬ÆÚ´ýÄã´òÆƳÁ¼Å

ÄúÐèÒªµÇ¼ºó²Å¿ÉÒÔ»ØÌû µÇ¼ | Á¢¼´×¢²á

±¾°æ»ý·Ö¹æÔò

¹Ø±Õ

ÍƼöÉÏÒ»Ìõ /2 ÏÂÒ»Ìõ