数据获取
2018-02-09 software data 23 mins 23 图 8366 字
大数据时代，用数据做出理性分析显然更为有力。做数据分析前，能够找到合适的的数据源是一件非常重要的事情，获取数据的方式有很多种，不必局限。下面将从公开的数据集、爬虫、数据采集工具、付费API等等介绍。给大家推荐一些能够用得上的数据获取方式，后续也会不断补充、更新。
一、公开数据库
1. 常用数据公开网站
UCI：经典的机器学习、数据挖掘数据集，包含分类、聚类、回归等问题下的多个数据集。很经典也比较古老，但依然活跃在科研学者的视线中。
国家数据：数据来源中华人民共和国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，全面又权威。
CEIC：最完整的一套超过128个国家的经济数据，能够精确查找GDP、CPI、进口、出口、外资直接投资、零售、销售以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据.
万得：简要介绍：被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。
搜数网：已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。
中国统计信息网：国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。
亚马逊：来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。
figshare：研究成果共享平台，在这里可以找到来自世界的大牛们的研究成果分享，获取其中的研究数据。
github：一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，适合做研究和数据分析的人员。
2. 政府开放数据
北京市政务数据资源网：包含竞技、交通、医疗、天气等数据。
深圳市政府数据开放平台：交通、文娱、就业、基础设施等数据。
上海市政务数据服务网：覆盖经济建设、文化科技、信用服务、交通出行等12个重点领域数据。
贵州省政府数据开放平台：贵州省在政务数据开放方面做的确实不错。
Data.gov：美国政府开放数据，包含气候、教育、能源金融等各领域数据。
3. 数据竞赛网站
竞赛的数据集通常干净且科研究性非常高。
DataCastle：专业的数据科学竞赛平台。
Kaggle：全球最大的数据竞赛平台。
天池：阿里旗下数据科学竞赛平台。
Datafountain：CCF制定大数据竞赛平台。
二、利用爬虫可以获得有价值数据
这里给出了一些网站平台，我们可以使用爬虫爬取网站上的数据，某些网站上也给出获取数据的API接口，但需要付费。
1.财经数据
（1）新浪财经：免费提供接口，这篇博客教授了如何在新浪财经上获取获取历史和实时股票数据。
（2）东方财富网：可以查看财务指标或者根据财务指标选股。
（3）中财网：提供各类财经数据。
（4）黄金头条：各种财经资讯。
（5）StockQ：国际股市指数行情。
（6）Quandl：金融数据界的维基百科。
（7）Investing：投资数据。
（8）整合的96个股票API合集。
（9）Market Data Feed and API：提供大量数据，付费，有试用期。
2.网贷数据
（1）网贷之家：包含各大网贷平台不同时间段的放贷数据。
（2）零壹数据：各大平台的放贷数据。
（4）网贷天眼：网贷平台、行业数据。
（5）76676互联网金融门户：网贷、P2P、理财等互金数据。
3.公司年报
（1）巨潮资讯：各种股市咨询，公司股票、财务信息。
（2）SEC.gov：美国证券交易数据
（3）HKEx news披露易：年度业绩报告和年报。
4.创投数据
（1）36氪：最新的投资资讯。
（2）投资潮：投资资讯、上市公司信息。
（3）IT桔子：各种创投数据。
5.社交平台
（1）新浪微博：评论、舆情数据，社交关系数据。
（2）Twitter：舆情数据，社交关系数据。
（3）知乎：优质问答、用户数据。
（4）微信公众号：公众号运营数据。
（5）百度贴吧：舆情数据
（6）Tumblr：各种福利图片、视频。
6.就业招聘
（1）拉勾：互联网行业人才需求数据。
（2）中华英才网：招聘信息数据。
（3）智联招聘：招聘信息数据。
（4）猎聘网：高端职位招聘数据。
7.餐饮食品
（1）美团外卖：区域商家、销量、评论数据。
（2）百度外卖：区域商家、销量、评论数据。
（3）饿了么：区域商家、销量、评论数据。
（4）大众点评：点评、舆情数据。
8.交通旅游
（1）12306：铁路运行数据。
（2）携程：景点、路线、机票、酒店等数据。
（3）去哪儿：景点、路线、机票、酒店等数据。
（4）途牛：景点、路线、机票、酒店等数据。
（5）猫途鹰：世界各地旅游景点数据，来自全球旅行者的真实点评。
类似的还有同程、驴妈妈、途家等
9.电商平台
（1）亚马逊：商品、销量、折扣、点评等数据
（2）淘宝：商品、销量、折扣、点评等数据
（3）天猫：商品、销量、折扣、点评等数据
（4）京东：3C产品为主的商品信息、销量、折扣、点评等数据
（5）当当：图书信息、销量、点评数据。
类似的唯品会、聚美优品、1号店等。
10.影音数据
（1）豆瓣电影：国内最受欢迎的电影信息、评分、评论数据。
（2）时光网：最全的影视资料库，评分、影评数据。
（3）猫眼电影专业版：实时票房数据，电影票房排行。
（4）网易云音乐：音乐歌单、歌手信息、音乐评论数据。
11.房屋信息
（1）58同城房产：二手房数据。
（2）安居客：新房和二手房数据。
（3）Q房网：新房信息、销售数据。
（4）房天下：新房、二手房、租房数据。
（5）小猪短租：短租房源数据。
12.购车租车
（1）网易汽车：汽车资讯、汽车数据。
（2）人人车：二手车信息、交易数据。
（3）中国汽车工业协会：汽车制造商产量、销量数据。
13.新媒体数据
新榜：新媒体平台运营数据。
清博大数据：微信公众号运营榜单及舆情数据。
微问数据：一个针对微信的数据网站。
知微传播分析：微博传播数据。
14.分类信息
（1）58同城：丰富的同城分类信息。
（2）赶集网：丰富的同城分类信息。
三、数据交易平台
由于现在数据的需求很大，也催生了很多做数据交易的平台，当然，出去付费购买的数据，在这些平台，也有很多免费的数据可以获取。
优易数据：由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。
数据堂：专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。
四、网络指数
百度指数：指数查询平台，可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外，还有需求分析、人群画像等精准分析的工具，对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品，都可以作为参考
阿里指数：国内权威的商品交易分析工具，可以按地域、按行业查看商品搜索和交易数据，基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况，对于趋势分析、行业观察意义不小
友盟指数：友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。
爱奇艺指数：爱奇艺指数是专门针对视频的播放行为、趋势的分析平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数，该指数基本可以说明实际情况。
微指数：微指数是新浪微博的数据分析工具，微指数通过关键词的热议度，以及行业/类别的平均影响力，来反映微博舆情或账号的发展走势。分为热词指数和影响力指数两大模块，此外，还可以查看热议人群及各类账号的地域分布情况。
除了以上指数外，还有谷歌趋势、搜狗指数、360趋势、艾漫指数等等。
五、网络采集器
网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。
造数：新一代智能云爬虫。爬虫工具中最快的，比其他同类产品快9倍。拥有千万IP，可以轻松发起无数请求，数据保存在云端，安全方便、简单快捷
火车采集器：一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息。
八爪鱼：简单实用的采集器，功能齐全，操作简单，不用写规则。特有的云采集，关机也可以在云服务器上运行采集任务。
答案二
一、移动端数据
l 微信数据（营销老是要分析一些KOL和自媒体）
- 微榜 爱微帮新媒体榜 Beta
- 可查90数据-易赞 （部分数据配合数据透视，有更多惊喜）
l 微博数据（宝强过后微博又开始红了一段时间）
l APP数据（帮几家金融机构的APP，做过推广和优化，所以收藏了一些网站）
-
热门苹果应用搜索 只查IOS
-
APP排名查询-易观千帆（数据比较详细，可惜只能免费查三天）
-
安卓&IOS APP数据-酷传 - 添加应用 安卓和IOS都可以查
二、网站权重和数据（网站SEO和SEM不太懂，但是有一家很牛的供应商，主要做中间商，整理方案）营销的时候，SEO和舆情更配
三、综合指数（写传播结案和分析客户传播节奏的时候用）
-
淘宝指数 - 淘宝消费者数据研究平台（已经没有了，以前很好用）
-
阿里指数 - 社会化大数据分析平台（必须要开过淘宝店的账号，更可气的是只能查询单一行业）
-
阿里指数_最权威专业的行业价格、供应、采购趋势分析（这个就能完美解决上面的问题）
四、票房和电视收视率（额……为什么有这些网站，才不会告诉别人，是因为我喜欢看电影）
五、视频指数（近期想切入视频IP市场的推广，也就是想想）
六、内容排行（这个网站偶尔看一下热点吧，用的比较少）
一、经济数据
二、企业数据（有时候接到一些Brief，大部分客户不靠谱，可能会问候一下他企业背景）
-
全国企业信用信息公示系统 (官方出品)
-
企业信息—天眼查-最专业的企业工商信息查询（这个比官方的好用）
三、金融数据
l 网贷数据（去年P2P，不，是互联网金融很火的）
l 上市公司年报（竟然为了分析社媒趋势去看BAT的年报，表示看不懂呀）
l 信托（信托切入互联网金融相对较慢，今年刚开始接触的几个客户）
l 其他
四、汽车数据（有一个汽车配件的客户，讲真，汽车客户真的比金融客户前期好搞，不过后期服务就呵呵了）
五、建筑数据（我也不知道为什么有这个网站）
六、医疗数据
七、服装数据（才不会告诉你，我是学国际经济与贸易出身的，后来才做了互联网营销策划，其中有一万只羊驼在奔跑）
八、工业指数
其他数据
l 原始数据-数据淘（这个网站听说可以买到原始数据，不过没有试过）
答案三
不得不说这真是一个获取数据的好地方，
主要包含：国内宏观、区域数据、世界经济、价格数据、工业行业、区域数据、国内宏观、区域数据、世界经济、价格数据、工业行业、区域数据。
是否免费：否（花费论坛金币）
（2）、
海量数据免费下载
此网站数据就比较多涉及的方面也比较多了，合适各种行业各种朋友。
主要包括数据：语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别、统计年鉴、研发数据等领域。
是否免费：否（论坛金币，部分免费，部分花费少量金币）
（3）、
国云数据市场
主要包含数据：生活服务、教育、能源、建筑、交通运输、政府、金融、农业、医疗、卫生
是否免费：否（大部分免费，根据自己选择）
（4）、
数据包下载列表
主要数据包括：社交网络、电子商务、企业名录、 金融数据、生活服务、科研数据、知识库
是否免费：否（不全免费，部分需要rmb）
（5）、
微盛投资：沪深市场5分钟数据 wdz格式 转 txt、通达信，大智慧dad，飞狐dad，钱龙，同花顺等
（此网站界面有点low，不截图解释请自行访问查看）
（6）、国家地球系统科学数据共享平台全球变化研究出版数据直接下载 （有部分数据） （7）、中华人民共和国国家统计局»统计数据
听名字就知道是什么数据了吧，而且所有数据都是免费，当然这个网站还有彩蛋。在文末的友情链接里面有很多地方的数据以及国外各国的数据。所以不要简单的认为只有本网站那么点数据喔。网站最后的友情链接请仔细查看，不要说我没告诉你。
（8）、
分类: 地球物理相关资源
这一位博主的博客，maybe出于研究目的，他整理了一些 地球物理相关的资，如果有人需要研究这方面的东西可以这里去下载你想要的资源，当然全部是免费的资源了。
（9）、
国家数据
同样包含了国家的各种数据，点进去你可能会发现新世界的大门，而且所有数据均是免费！果然党是不会骗你钱的，好好跟党混没错。
（10）、产业数据_统计数据
数据主要包括：能源、电力、冶金、化工、机电、电子、汽车、物流、房产、建材、农林、安防、包装、环保、食品、烟酒、医药、保健品、IT、通信、数码、家电、家居、家具、文化、传媒、办公、文教、服务、金融、培训、旅游、服装、玩具、礼品、工艺品
是否免费：全部免费
（11）、
百度数据开放平台
不喷不喷不喷！重要的事情说三次。这点数据还是有用的！
答案四
我不是搞经济学的，但是最近做实习，要找N多千奇百怪的data，其中有些变态的数据，找来找去都找不到。
但是在某个一霎那，你会突然发现某个report/paper 里刚好有我们想要的数据。就像这样：
来源：
http://www.colliers.com/-/media/files/marketresearch/apac/china/northchina-research/bj-residential-q1-2015.pdf
但是然并卵… 你去email colliers 要data 他并不会理你啊。
这时候就轮到神器登场了，Ankit Rohatgi 开发的 WebPlotDigitizer。
上传我们想要的图片：
描好坐标轴和点：
导出数据，大功告成！
当然还有其他的，比如
Welcome to DataThief
http://digitizer.sourceforge.net/
Digitize graphs and plots
或者你也可以自己写matlab code啥的识别
反正我是懒得下载软件/自己写code。
－－－－－－－－－
其他可以解锁的技能：
- NO1.使用 WebPlotDigitizer 自动识别曲线。
- NO2.使用 WebPlotDigitizer 处理数据后使用Plotly直接画出曲线。
- NO3.使用 WebPlotDigitizer 识别对数坐标轴