-
logminer挖掘
所属栏目：[大数据] 日期：2020-12-31 热度：99
1.???? Logminer介绍 LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具，使用该工具可以轻松获得Oracle 重做日志文件（归档日志文件）中的具体内容，LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图组成，它作为Oracle数据库的一[详细]
-
[bigdata-005] 用docker搭建oracle 11g并提供python3 开发
所属栏目：[大数据] 日期：2020-12-31 热度：82
参考资料 http://www.bubuko.com/infodetail-401514.html 1. docker上的oracle 11g https://hub.docker.com/r/alexeiled/docker-oracle-xe-11g/ 安装和启动命令： 1.1 docker pull alexeiled/docker-oracle-xe-11g 1.2 docker run --name dck-oracle-11g -d[详细]
-
[bigdata-006] 工作流 tez和oozie
所属栏目：[大数据] 日期：2020-12-31 热度：87
1.? 基本状况 Tez是Hortonworks开发的。 董西成的分析 http://dongxicheng.org/mapreduce-nextgen/apache-tez/ http://zh.hortonworks.com/blog/introducing-tez-faster-hadoop-processing/ tez运行在Yarn上的，DAG工作流，底层设计，对Map和Reduce进一步拆[详细]
-
HDoj1047Integer Inquiry(大数连续相加)
所属栏目：[大数据] 日期：2020-12-31 热度：90
Integer Inquiry Time Limit: 2000/1000 MS (Java/Others)????Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 19438????Accepted Submission(s): 5087 Problem Description One of the first users of BIT's new supercomputer was Chip D[详细]
-
读取csv数据并保存成图像
所属栏目：[大数据] 日期：2020-12-31 热度：124
int main(int argc,char* argv[]){ifstream file("******.csv");string value;int i = 0;int j = 0;while (file.good()){getline(file,value,'n');//cout string(value,value.length()) endl;if (i 0){value.erase(0,2);value.erase(value.length() - 9);//[详细]
-
几种大数阶乘算法效率比较（Java）
所属栏目：[大数据] 日期：2020-12-31 热度：91
完整代码： package bigdatamul; import java.math.BigInteger; /** * 大数阶乘 * * @Description : TODO(大数阶乘) * * @author yzy * @date 2016-12-20 上午9:31:14 * */ public class Test { public static void main (String[] args) { //单位：ms //fun[详细]
-
[bigdata-029] 在centos 7上安装maria
所属栏目：[大数据] 日期：2020-12-31 热度：196
centos 7以上版本支持mysql的另一个分支maria 安装方式如下 正确安装mariadb http://blog.csdn.net/default7/article/details/39138139 http://blog.csdn.net/default7/article/details/41973887 yum install mariadb* service mariadb.service start system[详细]
-
27、Power Query-日期与时间数据处理实例（图书室借书统计）
所属栏目：[大数据] 日期：2020-12-31 热度：192
本节要点：Power Query-日期与时间数据处理实例（图书室借书统计） 承接上一节的需求，我们引入切片器的功能，对图书室的借书以及归还情况进行查询和筛选，效果图如下： 对“借书状态”和“归还状态”进行筛选，亦可同时筛[详细]
-
25、Power Query-日期与时间数据处理
所属栏目：[大数据] 日期：2020-12-31 热度：74
本节知识点：Power Query-日期与时间数据处理 日期与时间数据处理功能位置（同样在“转换”和“添加列”菜单中都存在）： 这里重点讲解一下某些知识点。 比如年限：意思是当前系统日期减去选中列的日期，结果以“天时分秒毫秒”方式显示。 月份下面的“一个[详细]
-
媒体|郑宇：用大数据预测雾霾是如何做到的？
所属栏目：[大数据] 日期：2020-12-31 热度：193
（本文由澎湃新闻授权转载。） ? 全球范围里，有超过半数的人类居住在城市之中，城市化的进程也从未停止过。面对越来越庞大的城市，许多事情已经超出了控制：拥堵的交通，严重的空气污染，让人烦躁的噪音等等。 ? 没有人真正了解城市中到底发生了什么，也没[详细]
-
（26进制大数相加）hdu 2100 Lovekey
所属栏目：[大数据] 日期：2020-12-31 热度：117
Lovekey Problem Description XYZ-26进制数是一个每位都是大写字母的数字。 A、B、C、…、X、Y、Z 分别依次代表一个0 ~ 25 的数字，一个 n 位的26进制数转化成是10进制的规则如下A0A1A2A3…An-1 的每一位代表的数字为a0a1a2a3…an-1 ，则该XYZ-26进制数的10[详细]
-
如何利用图像识别、语音识别、文本挖掘做好鉴黄？
所属栏目：[大数据] 日期：2020-12-31 热度：168
人工智能鉴黄市场竞争愈发激烈，目前图普科技、阿里绿网、腾讯万象优图等团队已占据大量市场份额，在此环境下，不少公司试图通过提供更全面的服务从这片红海中分一杯羹。 那么更全面的定制服务体现在哪些地方？雷锋网(公众号：雷锋网)特地采访了极限元 CEO[详细]
-
打包带走！史上最全的大数据分析和制作工具
所属栏目：[大数据] 日期：2020-12-31 热度：54
来源： 数之联大数据（ID：unionbigdata） 工欲善其事，必先利其器。 作为在大数据领域摸爬滚打叱咤风云的伙计们，也应当有一些实用工具来辅助工作日常。下面是小编精心整理的一些经检测非常实用的工具及网站，呈给大家~~ 数据可视化工具 说到数据呈现，必然[详细]
-
[bigdata-027] 最好用的 python+mysql的包：pymysql
所属栏目：[大数据] 日期：2020-12-31 热度：63
pip3 install pymysql import? pymysqlconn = pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='tiger88',db='spider_phone',charset='utf8')c = conn.cursor()c.execute('select * from phone_info limit 1;')r = c.fetchone()print(r)prin[详细]
-
数据可视化：手把手打造BI
所属栏目：[大数据] 日期：2020-12-31 热度：122
本文是 如何七周成为数据分析师 的第六篇教程，如果想要了解写作初衷，可以先行阅读七周指南。温馨提示：如果您已经熟悉BI，大可不必再看这篇文章，或只挑选部分。 我们上一篇 数据可视化：教你打造升职加薪的报表 教大家如何制作清晰美观的报表以及相应技巧[详细]
-
下一代大数据处理平台Apache Beam成为Apache顶级项目
所属栏目：[大数据] 日期：2020-12-31 热度：73
Apache软件基金会在2017年01月10正式宣布Apache Beam从孵化项目毕业，成为Apache的顶级项目 Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目，被认为是继MapReduce，GFS和BigQuery等之后，Google在大数据处理领域[详细]
-
26、Power Query-日期与时间数据处理实例（统计出某年各月各周的
所属栏目：[大数据] 日期：2020-12-31 热度：115
本节重点：Power Query-日期与时间数据处理实例（统计出某年各月各周的借书人数） 需求如下： 上图所示，根据左侧的数据源，统计出2016年各月各周的借书人数（效果如右侧所示）。 分析：很明显，这个需求是对日期的一个操作，其实仅需要用到左侧的第一列即可[详细]
-
[bigdata-028]apache nifi 从mysql导出数据到hbase
所属栏目：[大数据] 日期：2020-12-31 热度：92
0.在hbase节点，启动thrift服务 hbase-daemon.sh start thrift 1. 在本机启动nif ./bin/nifi.sh start 2. 在浏览器输入http://localhost:8080/nifi，看到nifi的界面 3. 拖一个processor ExecuteSQL到界面 ??? 3.1 在processor上点击右键，选择configure，点[详细]
-
pyhive 连接 Hive 时错误
所属栏目：[大数据] 日期：2020-12-26 热度：175
一、User: xx is not allowed to impersonate xxx' 解决办法：修改 core-site.xml 文件，加入下面的内容后重启 hadoop 。 property namehadoop.proxyuser.xx.hosts/name value*/value/propertyproperty namehadoop.proxyuser.xx.groups/name value*/value/pr[详细]
-
分布式基础通信协议：paxos、totem 和 gossip（转载）
所属栏目：[大数据] 日期：2020-12-26 热度：109
背景： 在分布式中，最难解决的一个问题就是多个节点间数据同步问题。为了解决这样的问题，涌现出了各种奇思妙想。只有在解决了如何进行信息同步的基础之上才衍生出形形色色的应用。这里开始介绍几种分布式通信协议。 简单即有效——totem协议: totem协议也[详细]
-
Hive 导入 parquet 格式数据
所属栏目：[大数据] 日期：2020-12-26 热度：102
Hive 导入 parquet 数据步骤如下： 查看 parquet 文件的格式 构造建表语句 倒入数据 一、查看 parquet 内容和结构 下载地址 社区工具 GitHub 地址 命令 查看结构： java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d activity.201711171437.0.parque[详细]
-
Presto 常用配置及操作
所属栏目：[大数据] 日期：2020-12-26 热度：169
一、介绍 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。 推荐阅读 Presto实现原理和美团的使用实践 二、安装 2.1[详细]
-
大数据的技术生态概述（转载）
所属栏目：[大数据] 日期：2020-12-26 热度：137
如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？ 大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各[详细]
-
九种常见的数据分析模型
所属栏目：[大数据] 日期：2020-12-26 热度：165
1. 漏斗分析模型 漏斗分析是一套流程式数据分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。 运营人员可以通过观察不同属性的用户群体（如新注册用户与老客户、不同渠道来源的客户）各环节转化率，各流程步骤转化率的[详细]
-
大数据领域常用技术栈
所属栏目：[大数据] 日期：2020-12-26 热度：63
提起大数据，不得不提由IBM提出的关于大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发[详细]
