一、项目介绍
本次实训，要求使用Hadoop及其生态圈相关的组件来是实现企业级大数据开发的整套流程，即数据的采集部分会介绍两种方式，一种介绍网络爬虫及其Java代码实现步骤，另外一种是利用学生所掌握的spring MVC技术来构建一个简易的电商平台，采取压测的方式模拟海量日志的产生，通过使用Nginx和Tomcat实现动静资源分开部署的方式，采取flume日志采集组件来实现日志的采集。
相比网络爬虫，这部分是实训所推荐的一种数据采集方式，数据的存储部分，将采用mysql和hdfs来分别存储关系型数据和非关系型数据，其中将会使用到sqoop组件作为mysql和hdfs之间的数据的转换桥梁和通道，数据分析处理部分采用MapReduce程序实现数据的清洗和分析，数据可视化部分，采用echarts图表来展现。
最终的效果是 通过压测产生电商系统日志、sqoop将分析后的结果导入到mysql中，spring MVC项目前端对分析结果进行可视化，既展现商品的topN信息。
二、项目流程
项目工作准备
1、虚拟机安装
实训的项目主要是进行大数据的实训，所以需要安装linux，使用VMware Workstation作为虚拟机安装Linux系统，
下载虚拟机
连接
密码
创建虚拟机
2、远程登录
Linux一般作为服务器使用，而服务器一般放在机房，你不可能在机房操作你的Linux服务器。这时我们就需要远程登录到Linux服务器来管理维护系统。
Linux系统是通过SSH服务实现的远程登录功能，默认ssh服务端口号为22。
「艾尔登法环」梅琳娜手办开订 立体手办▪
万代「艾尔登法环」白狼战鬼手办开订 立体手办▪
「夏目友人帐」猫咪老师粘土人开订 立体手办▪
「五等分的新娘∬」中野三玖·白无垢版手办开订 立体手办▪
「海贼王」乌索普Q版手办开订 立体手办▪
良笑社「初音未来」新手办开订 立体手办▪
「黑岩射手DAWN FALL」死亡主宰手办开订 立体手办▪
「盾之勇者成名录」菲洛手办登场 立体手办▪
「魔法少女小圆」美树沙耶香手办开订 立体手办▪
「咒术回战」七海建人粘土人登场 立体手办▪
「五等分的新娘」中野二乃白无垢手办开订 立体手办▪
「为美好的世界献上祝福！」芸芸粘土人开订 立体手办▪
「公主连结 与你重逢」六星可可萝手办开订 立体手办▪
「女神异闻录5」Joker雨宫莲手办开订 立体手办▪
「间谍过家家」约尔・福杰粘土人登场 立体手办▪
「街角魔族 2丁目」吉田优子手办开订 立体手办▪
「火影忍者 疾风传」旗木卡卡西·暗部版粘土人登场 立体手办▪
「佐佐木与宫野」宫野由美粘土人开订 立体手办▪
「盾之勇者成名录」第2季拉芙塔莉雅手办开订 立体手办▪
「咒术回战」两面宿傩Q版坐姿手办开订 立体手办▪
「DATE·A·BULLET」时崎狂三手办开订 立体手办▪
「狂赌之渊××」早乙女芽亚里粘土人开订 立体手办▪
「魔道祖师」魏无羨粘土人开订 立体手办▪
「新·奥特曼」奥特曼手办现已开订 立体手办▪
扫码关注我们