咨询QQ：2083503238、1684129674、480934277（请勿重复咨询） 咨询微信：qiangfans
大数据测试之hadoop单机环境搭建(超级详细版) 置顶
点击链接加入QQ群：https://jq.qq.com/?_wv=1027&k=5C08ATe友情提示：本文超级长，请备好瓜子
Hadoop的运行模式
单机模式是Hadoop的默认模式，在该模式下无需任何守护进程，所有程序都在单个JVM上运行，该模式主要用于开发和调试mapreduce的应用逻辑；
伪分布式模式下，Hadoop守护进程运行在一台机器上，模拟一个小规模的集群。该模式在单机模式...
2018/02/09
大管家
3084
小白学习大数据测试之hadoop hdfs和MapReduce小实战
大数据测试之hadoop单机环境搭建(超级详细版)这个基础上，我们来运行一个官网的MapReduce demo程序来看看效果和处理过程。
大致步骤如下：
新建一个文件test.txt，内容为
Hello Hadoop
Hello xiaoqiang
Hello testingbang
Hello http://xqtesting.sxl.cn
将test.txt上传到hdfs的根目录
/u...
2018/02/09
大管家
1603
小白学习大数据测试之ETL
之前发布过一篇关于ETL的文章，无奈被人说太简单。。。。唉，小编也是刚接触啊，自然不能那么高深，所以只是对学习的过程做了记录转换为文章分享给大家，如果对你有帮助，不要吝啬点赞+转发，如果对你没有帮助，那就请转身离开。。。。或者你写一篇更详细的给我，我申请红包给你（邪恶的笑~）
好啦，回归正题，这次作为补充在详细介绍下。ETL是什么？其实ta指的是一个过程，就是大数据中对数据处理的过程（抓取&g...
2018/02/09
大管家
1968
小白学习大数据测试之hadoop再次探索
引子
虽然通过《小白学习大数据测试之hadoop初探》以及把hadoop的基本核心说明白了，但是似乎对于小白来说还是会有点懵逼。。。。那么这次我们就在来看看
大数据粗暴理解
大数据甭管什么，简单粗暴的理解为大！大！大！对，你没看错，不管什么都是大就对了，哈哈哈哈
大数据应用的功能抽象出来基本就是：数据采集、数据存储、数据处理（过滤、拆分、聚合）、数据分析、数据应用。说白了就是对从各处采集的数据经过...
2018/02/09
大管家
1739
小白学习大数据测试之hadoop初探
Hadoop的历史
这里就不多说了，网上很多资料，总而言之对于hadoop谷歌和雅虎对于ta的贡献功不可没。更多介绍请自行查看这里：https://baike.baidu.com/item/Hadoop/3526507?fr=aladdin
Hadoop的应用场景
数据分析，如日志系统、推荐系统
离线计算
海量数据存储
Hadoop的核心
Hadoop的框架最核心的设计就是：HDFS和Ma...
2018/02/09
大管家
1469
小白学习大数据测试之主流程和关键步骤
万变不离其宗，不论是什么测试ta的主流程基本都是一样的，就是我们刚开始学习测试的那一套流程。也许你会觉得简单，但你要明白，无规不成方圆，有时候没有推行好或者结果不好不一定是因为技术不行，也许是没有好的流程。就好像，一辆汽车的生产，如果没有好的流程你觉得最终出来的汽车质量会好吗？
明白这个道理之后，我们就先来看看大数据测试的主流程是个神马样子的。
需求分析。这步考虑的越全面那么后续问题就会越少。...
2018/02/09
大管家
1412
小白学习大数据测试 VS 传统数据库测试
在进一步学习大数据测试相关知识之前，我们一定要了解ta和传统数据库测试的差异，这有助于我们更好的认识大数据测试。
下表只是粗略的对比，很多点还需要在以后的学习中慢慢来完善，欲速则不达，慢慢来吧！
对比项
大数据测试
传统数据库测试
量
太TMD多
多
存储
结构化+非结构化存储
结构化存储
算法
要求更高
还可以
环境
对环境要求高（HDFS）
无太特殊的要求
...
2018/02/09
大管家
1284
小白学习大数据测试之揭秘大数据的背景与发展
大数据是个神马鬼
根据麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
简单点说就是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。
大数据市场前景
阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data...
2018/02/09
大管家
1344
Hadoop测试常见问题和测试方法
随着分布式计算技术的推广，越来越多的大数据计算任务迁移到hadoop平台上进行，模型类的hadoop应用也越来越多。经过这一段时间在hadoop上的测试项目，在此简单分享下hadoop上项目测试的经验。本文主要介绍项目测试过程中一些常见的现象以及问题的说明和一些常见的测试方法
一、测试常见问题
1、reduce输出文件，上传文件，下载文件等操作的目的文件的删除。
【现象】程序第一次运行还是成功...
2018/02/09
大管家
1557
