这段时间思考了很多数据资产化理论层面的问题，差不多有一些思考层面的概念了。
要想创造伟大的产品，需要把五千多个问题装进脑子里，必须仔细梳理，尝试各种组合，每天都会发现新问题，每天也会产生新的灵感。
实现想法的过程让想法本身面目全非，因为会不断发现新东西，思考更加深入，不得不一次次权衡，调整，妥协，但绝不能让步。
让你感到痛苦的事情往往把你带到一个新的高度，并准备了一个全新的世界。
同时问题在于优秀的创意与产品之间隔着巨大的鸿沟，实现创意的过程中，工程化的过程会发自己动手能力是如此的不足。
并且想法随时会变化甚至变的面目全非，因为你会发现新的东西，思考也会更加的深入，你不得不一次次权衡，让步调整，重构。
为了实现大数据的商业场景应用，我在寻找大数据工程化的工具。
而这些事情其实早在很多年前就有程序员们在思考，在行动，并且形成半自助式的产品输出。
名气最大的有八爪鱼，但符合我脾气的是神箭手云。
两都从分布式爬虫架构起步，支持爬虫模板与自定义爬虫。
八爪鱼的更简单粗暴，直接在客户端上一步步图形化定义爬虫规则
但八爪鱼很尴尬的是只支持客户端使用不说，还只有windows客户端，这对我们全公司装逼使用mac的团队来说。没办法体现他的NO1了。
然后俩又不约而同向大数据的纵深延伸。当前来说，纵深延伸都还在刚刚开始。
八爪鱼网站介绍纵深主要是NLP，自然语言处理，而对清洗自助化的处理还未开始。估计是从哪弄了几个NLP的人才。
而神箭手云按标准大数据流程，也按标准工程化的要求在一步步提供纵深，先是提供模板化与自定义爬虫
可市场购买，可自行创建，提供开发结构也比较科学
然后在爬虫抓取到数据基础上提供清洗自定义，仅仅提供自定义，因为市场模板还没有。
有完整数据后，然后提供API接口输出，直接可以对前端交互应用提供后端数据支持
神箭手云在完成标准的数据业务应用逻辑外，还在准备提供数据挖掘，机器学习的工程工具。比如快速构建基于TensorFlow的训练模型并实时调用。
这相对只是一个简单的机器学习的尝试。相信接下来有时间会开始NLP，知识图谱关联之类的模板应用。
当前这些服务以线下定制服务形式在提供。等有足够的工程经验了，我相信也会以自助式工具形式提供出来。
本文来自管理员投稿，不代表资源分享网立场，如若转载，请注明出处：https://www.duduzhe.cn/fb26eAgQ8UQhcDFJQ.html
微信扫一扫 
支付宝扫一扫 
发表回复
评论列表（0条）