菜单 学习猿地 - LMONKEY

大数据文摘出品记者：高延6月18-21日，O’ReillyAIConference在北京召开。大会上，来自荷兰的金融公司ING的IT主管BasGeerdink带来了《关于数字驱动企业》的主题分享。进入互联网大数据时代后，ING目标明确的要把自己打造成一家数据驱动型企业，将分析技能作为首要战

为什么基于Docker搭建？ 资源有限 虚拟机搭建对机器配置有要求，并且安装mysql步骤繁琐 一台机器上可以运行多个Docker容器 Docker容器之间相互独立，有独立ip，互不冲突 Docker使用步骤简便，启动容器在秒级别 利用Docker搭建主从服务器 首先拉取docker镜

写在开头的话Q: 军哥，你们运营商行业的大规模集群，都有啥特点啊？A: 我们集群主要是承载B域、信令和互联网日志等去标识化数据，简单的说，有三个特点：1）集群规模较大：数千节点规模，近百PB数据量，日新增处理数据百TB以上；2）组织干系人多：数据平台开发运维过程涉及到数百人以上的不同团队组

最近正式开始学习了Redis的使用，于是就在思考mysql的数据要怎么样导入到redis中呢？于是查询资料：资料链接如下： https://www.cnblogs.com/tommy-huang/p/4703... https://blog.csdn.net/songzhiren5560

01背景闲鱼目前实际生产部署环境越来越复杂，横向依赖各种服务盘宗错节，纵向依赖的运行环境也越来越复杂。当服务出现问题的时候，能否及时在海量的数据中定位到问题根因，成为考验闲鱼服务能力的一个严峻挑战。线上出现问题时常常需要十多分钟，甚至更长时间才能找到问题原因，因此一个能够快速进行自动诊断的

作者：柳遵梁依据Verizon数据泄露报告中对客观现状、数据分布和数据流动等方面综合分析，医疗行业数据安全的主要风险包括如下几个方面：　　一、人的安全风险和对策　　1．人的安全风险是医疗数据安全的最大风险　　从Verizon报告可以看出医疗行业数据安全的特殊性：医疗行业是所有行业中唯一一个

今天大早，刚来完一套煎饼果子的小张打算开车去滨海新区拜访客户作为天津的市辖区滨海新区早在2005年就被写入“十一五”规划成为国家重点支持开发的国家级新区在快速稳健的发展中，整个新区一片方兴未艾的繁荣景象这是进入5月份以来，小张第一次来滨海新区他的目的地叫“中新天津生态城”是中国、新加坡两国

假设有如下两张表： A： id age 1 11 2 12 3 13 4 14 B: id name 2 aaa 3 bbb 4 ccc 5 ddd 内连接(innerjoin) 只有一种应用场景，innerjoin或join，等同于innerjoin selecta.*,b.* 

本文转自 |携程技术中心 作者 |蔡岳毅作者简介蔡岳毅，携程酒店大数据高级研发经理，负责酒店数据智能平台研发，大数据技术创新工作。喜欢探索研究大数据的开源技术框架。一、背景1）携程酒店每天有上千表，累计十多亿数据更新，如何保证数据更新过程中生产应用高可用；2）每天有将近百万次数据查询请求，

1、事务四大特性 原子性（Atomicity）：事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。 一致性（Consistency）：事务开始前和结束后，数据库的完整性约束没有被破坏。 隔离性（I

Mysql查询中保留IN中的顺序 今天碰到一个自己之前挖的坑，数据库设计不合理，导致排序不好搞。 需求：员工入职步骤中每一步的人员将未分配（未移交给下一步）员工置顶展示； 表结构如下： 需求实例：current『当前步骤』都为2『培训部』的所有员工，将还没有分配给3『设备分发部』的

数据是国家基础性战略资源，是21世纪的“钻石矿”与“新石油”，是几乎所有企业的必争之地，大数据的发展使越来越多的企业看到数据的价值。然而中国企业数据底子薄弱，基础软件发展落后，需要更多的企业和人才去建设，星环科技是众多投身其中的公司之一，从最初的Hadoop到自主研发，六载路不寻常。如今在

MYSQL分区 分区的优点 存储更多数据 优化查询，只扫描必要的一个或者多个分区，针对count()和sum()只要对分区统计再汇总 对于过期或不需要保存的数据，操作分区更快 跨多个磁盘来分散数据查询，以获得更大的查询吞吐量 分区概述 分区键的引入。 查询是否支持分区 mysql>sh

1.因为近日在做一个不重复记录统计需求，自然就想到了distinct，count。于是发现这两个家伙是可以一起使用的。 查询无重复记录数 selectcount(distinct列名)from表名; 2.在上述的基础上，会延伸出不同条件的统计。如列数据大于0，或者某个界定值。此时可以在su

电影制作是一个非常复杂的过程，从开始确定成本到制定有针对性的营销活动，涵盖多个流程。在这之中，数据科学几乎可以涉及到每一个步骤，带来创新的改变。而且从另一个角度上讲，从事数据科学工作的专业人员，也可以从电影行业中学到很多东西。流媒体服务可以说处于数据科学领域的最前沿。很多视频制作公司会分析

本文记录了HBase中Safepoint导致长时间STW此问题的解决思路及办法。过程记录现象：小米有一个比较大的公共离线HBase集群，用户很多，每天有大量的MapReduce或Spark离线分析任务在进行访问，同时有很多其他在线集群Replication过来的数据写入，集群因为读写压力较

​一、什么是基准测试 定义：     基准测试是一种测量和评估软件性能指标的活动，用于建立某个时刻的性能基准，以便当系统发生软硬件变化时，重新进行基准测试以评估变化对性能的影响。 区别： 基准测试是针对系统设置的一种压力测试。（简化的压力测试：直接、简单、易于比较，用于评估服务器的处理能力

关于mysql索引 索引(index),又叫键(key),它是存储引擎用于快速找到数据的一种数据结构。在数据量越大的表中，索引是查询优化最有效的手段，所以说索引对查询性能影响是非常关键的。另外mysql的索引实在存储引擎层实现的，而不是在服务器层。 索引的工作原理 当我们去图书馆看书时，

最近，小吴在追一部古装剧—-《长安十二时辰》。故事讲得是在上元节前夕，长安城混入可疑人员，身陷囹圄的张小敬临危受命，与少年天才李必携手在十二时辰内破除隐患。该剧的一大亮点就在于 时间很紧迫，需要在二十四小时内捉拿蓄谋已久的“恐怖分子”。而之所以张小敬与李必能及时破除隐患，依赖的是正确的使用

本文转自|过往记忆大数据Hadoop我先从一个悲观的观点说起：Hadoop正在迅速失去市场，我们可以从Google趋势走向看出这个现象：如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop下面的炒作生命周期表也上面的趋势很类似：如

大数据文摘出品记者：高延6月18-21日，O’ReillyAIConference在北京召开。大会上，来自荷兰的金融公司ING的IT主管BasGeerdink带来了《关于数字驱动企业》的主题分享。进入互联网大数据时代后，ING目标明确的要把自己打造成一家数据驱动型企业，将分析技能作为首要战

为什么基于Docker搭建？ 资源有限 虚拟机搭建对机器配置有要求，并且安装mysql步骤繁琐 一台机器上可以运行多个Docker容器 Docker容器之间相互独立，有独立ip，互不冲突 Docker使用步骤简便，启动容器在秒级别 利用Docker搭建主从服务器 首先拉取docker镜

写在开头的话Q: 军哥，你们运营商行业的大规模集群，都有啥特点啊？A: 我们集群主要是承载B域、信令和互联网日志等去标识化数据，简单的说，有三个特点：1）集群规模较大：数千节点规模，近百PB数据量，日新增处理数据百TB以上；2）组织干系人多：数据平台开发运维过程涉及到数百人以上的不同团队组

最近正式开始学习了Redis的使用，于是就在思考mysql的数据要怎么样导入到redis中呢？于是查询资料：资料链接如下： https://www.cnblogs.com/tommy-huang/p/4703... https://blog.csdn.net/songzhiren5560

01背景闲鱼目前实际生产部署环境越来越复杂，横向依赖各种服务盘宗错节，纵向依赖的运行环境也越来越复杂。当服务出现问题的时候，能否及时在海量的数据中定位到问题根因，成为考验闲鱼服务能力的一个严峻挑战。线上出现问题时常常需要十多分钟，甚至更长时间才能找到问题原因，因此一个能够快速进行自动诊断的

作者：柳遵梁依据Verizon数据泄露报告中对客观现状、数据分布和数据流动等方面综合分析，医疗行业数据安全的主要风险包括如下几个方面：　　一、人的安全风险和对策　　1．人的安全风险是医疗数据安全的最大风险　　从Verizon报告可以看出医疗行业数据安全的特殊性：医疗行业是所有行业中唯一一个

今天大早，刚来完一套煎饼果子的小张打算开车去滨海新区拜访客户作为天津的市辖区滨海新区早在2005年就被写入“十一五”规划成为国家重点支持开发的国家级新区在快速稳健的发展中，整个新区一片方兴未艾的繁荣景象这是进入5月份以来，小张第一次来滨海新区他的目的地叫“中新天津生态城”是中国、新加坡两国

假设有如下两张表： A： id age 1 11 2 12 3 13 4 14 B: id name 2 aaa 3 bbb 4 ccc 5 ddd 内连接(innerjoin) 只有一种应用场景，innerjoin或join，等同于innerjoin selecta.*,b.* 

本文转自 |携程技术中心 作者 |蔡岳毅作者简介蔡岳毅，携程酒店大数据高级研发经理，负责酒店数据智能平台研发，大数据技术创新工作。喜欢探索研究大数据的开源技术框架。一、背景1）携程酒店每天有上千表，累计十多亿数据更新，如何保证数据更新过程中生产应用高可用；2）每天有将近百万次数据查询请求，

1、事务四大特性 原子性（Atomicity）：事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。 一致性（Consistency）：事务开始前和结束后，数据库的完整性约束没有被破坏。 隔离性（I

Mysql查询中保留IN中的顺序 今天碰到一个自己之前挖的坑，数据库设计不合理，导致排序不好搞。 需求：员工入职步骤中每一步的人员将未分配（未移交给下一步）员工置顶展示； 表结构如下： 需求实例：current『当前步骤』都为2『培训部』的所有员工，将还没有分配给3『设备分发部』的

数据是国家基础性战略资源，是21世纪的“钻石矿”与“新石油”，是几乎所有企业的必争之地，大数据的发展使越来越多的企业看到数据的价值。然而中国企业数据底子薄弱，基础软件发展落后，需要更多的企业和人才去建设，星环科技是众多投身其中的公司之一，从最初的Hadoop到自主研发，六载路不寻常。如今在

MYSQL分区 分区的优点 存储更多数据 优化查询，只扫描必要的一个或者多个分区，针对count()和sum()只要对分区统计再汇总 对于过期或不需要保存的数据，操作分区更快 跨多个磁盘来分散数据查询，以获得更大的查询吞吐量 分区概述 分区键的引入。 查询是否支持分区 mysql>sh

1.因为近日在做一个不重复记录统计需求，自然就想到了distinct，count。于是发现这两个家伙是可以一起使用的。 查询无重复记录数 selectcount(distinct列名)from表名; 2.在上述的基础上，会延伸出不同条件的统计。如列数据大于0，或者某个界定值。此时可以在su

电影制作是一个非常复杂的过程，从开始确定成本到制定有针对性的营销活动，涵盖多个流程。在这之中，数据科学几乎可以涉及到每一个步骤，带来创新的改变。而且从另一个角度上讲，从事数据科学工作的专业人员，也可以从电影行业中学到很多东西。流媒体服务可以说处于数据科学领域的最前沿。很多视频制作公司会分析

本文记录了HBase中Safepoint导致长时间STW此问题的解决思路及办法。过程记录现象：小米有一个比较大的公共离线HBase集群，用户很多，每天有大量的MapReduce或Spark离线分析任务在进行访问，同时有很多其他在线集群Replication过来的数据写入，集群因为读写压力较

​一、什么是基准测试 定义：     基准测试是一种测量和评估软件性能指标的活动，用于建立某个时刻的性能基准，以便当系统发生软硬件变化时，重新进行基准测试以评估变化对性能的影响。 区别： 基准测试是针对系统设置的一种压力测试。（简化的压力测试：直接、简单、易于比较，用于评估服务器的处理能力

关于mysql索引 索引(index),又叫键(key),它是存储引擎用于快速找到数据的一种数据结构。在数据量越大的表中，索引是查询优化最有效的手段，所以说索引对查询性能影响是非常关键的。另外mysql的索引实在存储引擎层实现的，而不是在服务器层。 索引的工作原理 当我们去图书馆看书时，

最近，小吴在追一部古装剧—-《长安十二时辰》。故事讲得是在上元节前夕，长安城混入可疑人员，身陷囹圄的张小敬临危受命，与少年天才李必携手在十二时辰内破除隐患。该剧的一大亮点就在于 时间很紧迫，需要在二十四小时内捉拿蓄谋已久的“恐怖分子”。而之所以张小敬与李必能及时破除隐患，依赖的是正确的使用

本文转自|过往记忆大数据Hadoop我先从一个悲观的观点说起：Hadoop正在迅速失去市场，我们可以从Google趋势走向看出这个现象：如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop下面的炒作生命周期表也上面的趋势很类似：如