Scrapy框架-----爬虫

bigdataway 提交于 周三, 07/18/2018 - 19:10

说明:文章是本人读了崔庆才的Python3---网络爬虫开发实战,做的简单整理,希望能帮助正在学习的小伙伴~~

1. 准备工作:

安装Scrapy框架、MongoDB和PyMongo库,如果没有安装,google了解一下~~

2. 创建项目:

使用命令创建Scrapy项目,命令如下:

从数据计算到数据交换:10年数据从业者,看区块链在云计算、大数据行业的机遇

bigdataway 提交于 周三, 07/18/2018 - 16:17

我想从自身的数据工作历程,讲述对我数据和平台的看法。总结一些经验,并且分析在新的热潮下,数据时代基础平台的展望。主要体现传统大数据领域为何探索数据交换,遇到的核心问题,以及在区块链中如何解决这些问题。

极光大数据:补贴停止后 美团打车日活下跌41%

bigdataway 提交于 周三, 07/18/2018 - 16:17

美团进军网约车市场已经一年有余,但美团6月25日向港交所提交的招股书中,关于其网约车业务的内容仅寥寥数笔。美团去年宣布进入打车业务时表示,在美团点评日活跃用户中有30%出行要求,这是美团杀入打车业务的一个根本原因。据美团点评公布的2017年的业绩显示,其线上日订单量峰值超过2700万,额外的还有线下超过700万单的交易。

AAAChain:成为全球最大用户规模和最大数据规模的公有链数据开放平台

bigdataway 提交于 周三, 07/18/2018 - 16:17

九个亿财经消息——在互联网盛行的当下,数据的重要性愈发显现,但大数据都集中在行业巨头之中,数据安全无法得到保障,个人对自己的数据未有掌控权,亦无法得知自己的数据被如何使用,数月之前,Facebook的数据泄漏事件,就为数据安全敲起了警钟

致电商从业者:你不需要机器学习和人工智能,需要的是 SQL

bigdataway 提交于 周三, 07/18/2018 - 16:17

编者按:随着时间的推移,像机器学习、区块链、人工智能、虚拟现实和增强现实等一些有趣的新技术和概念不断地涌现出来,而与此同时一些现有的技术只能退居二线。在这种形势下,许多人在推出产品或者融资时都喜欢与这些新技术拉上关系。