菜单 学习猿地 - LMONKEY

==提问== 沈老师，你好，想请教一个身份证信息检索的问题。公司有一个每秒5万并发查询的业务，（假设）根据身份证MD5查询身份证信息，目前有1000亿条数据，纯文本存储，前几天看你写LevelDB，请问这个业务能利用LevelDB内存数据库进行存储么？有没有其他优化方案？画外音：Level

桔妹导读：滴滴独有的出行场景大数据在金融领域有着非常广泛的应用前景，未来可与银行，保险，支付和理财等机构深入合作，帮助传统金融机构提升资源配置效率，降低获客和风险管理成本。出行场景大数据在交易欺诈识别、风险定价、精准营销、全生命周期风险管理、增长运营等方面都有着重要商业价值。对于大数据的应

 作者 朱小五爱奇艺的独家综艺《乐队的夏天》总决赛终于落下了帷幕，虽然决赛过程有些“曲折”，但是我最喜欢的刺猬乐队，仍然凭借自己的硬实力，最终排在第二名！值得一提的是，这只乐队的吉他手兼主唱也是一位程序员。刺猬乐队其实成立10多年了，很有实力。但是在老牌乐队云集的这次比赛中，第一次31进1

今年6月份Salesforce宣布对Tableau收购，掀起了对BI的一波讨论。BI巨头都难逃收购的命运，这为BI市场增加了很多不确定性。“BI”百度搜索指数（左）和“BI”百度资讯指数（右）打铁还需自身硬，无论是面对技术层面随着大数据、AI等技术的发展与BI不断融合所带来的机遇与挑战，还

大数据文摘出品来源：medium编译：张睿毅、曹培信自2012年起，一直被称为“最性感的工作”的数据科学家职位，吸引了大批远渡重洋到达硅谷，做着“数据梦”的留学生们。但他们也付出了不菲的前期投入，除了时间精力，要拿到一个数据科学相关学位并顺利留在硅谷大厂，学费生活费培训费少说要几十万。那么

大数据如何影响移动应用程序开发？目前，数据量正以前所未有的速度在增长。由于产生的总数据将在几年内跨越泽字节级别，因此更加需要进行大数据高级分析，并从庞大的数据池中获取有价值的信息。数字互联为移动应用开发生态系统带来了前所未有的增长机遇。人的注意力大部分时间丢在手机上，企业自然会投资于移动应

功能 1、监控主数据库服务器是否可用  2、当主DB不可用时，从多个从服务器中选出新的主数据库服务器  3、提供了主从切换和故障转移功能(可以与半同步复制结合,最大程度的保证数据的完整性) 主从切换过程 1、尝试从出现故障的主数据库保存二进制日志  2、从多个备选从服务器中选出新的备

2019年8月6日，Spring官方在其博客宣布，SpringBoot1.x停止维护，SpringBoot1.x生命周期正式结束。其实早在2018年7月30号，Spring官方就已经在博客进行过预告，SpringBoot1.X将维护到2019年8月1日。1.5.x将会是SpringBoot

数据库登录 mysql-h数据库地址-u用户名-p 数据库导出 mysqldump-h数据库地址-u用户名-p数据库名>数据库名.sql 查看字段字符集 SHOWFULLCOLUMNSFROM表名; 修改字段字符集 或 altertable表名modifycolumn字段名varchar(

帆软软件（以下简称“帆软”），成立于2006年，是一家非常有个性的公司，让有贡献的员工买得起房，轻松搞定丈母娘，是其薪酬机制的概括。坚持不融资，2018年销售额超过4.6亿，早已达到了上市标准，却效仿华为并未上市。人才理念，坚持校园招聘，内部培养，内部晋升，不空降领导。虽叫帆软，却并不“平

这两天备份数据发现导出来的表PK的AUTO_INCREMENT属性丢失: --skip-opt-q-R--set-gtid-purged=OFF--extended-insert--add-drop-database--add-drop-table--single-transaction

一、背景与痛点在2017年上半年以前，TalkingData的AppAnalytics和GameAnalytics两个产品，流式框架使用的是自研的td-etl-framework。该框架降低了开发流式任务的复杂度，对于不同的任务只需要实现一个changer链即可，并且支持水平扩展，性能尚可

场景 Arch系统mysql-workbench连接数据库时报 Thenameorg.freedesktop.secretswasnotprovidedbyany.servicefiles. org.freedesktop.secrets:Nosuchfileordirectory 方案

作者：陈启焕，某互联网数据分析师01数据、信息、知识数据是当今的热词。很多人的理解中，数据就是数字，其实不然，数据的范畴要大得多，包括数字、语言、文字、图像、视频，甚至是人类活动的行为都可以被认为是数据。数据本身是客观存在的，但是他的范畴是随着社会发展不断演进的。例如在计算机出现以前，文字

引言：随着云计算、大数据、物联网等技术兴起，数据朝着多样性、高体量、高速度方向发展，如何将海量数据安全、稳定、高效地数据共享出去成为各企业关注的重点。本次微课堂通过普元在数据服务共享平台研发过程中的实践，和大家分享数据服务共享发布的相关经验。  目录：1.数据服务共享发布核心场景2.数据服

前言最近TL分享了下《Elasticsearch基础整理》https://www.jianshu.com/p/e82…，蹭着这个机会。写个小文巩固下，本文主要讲ES->Lucene的底层结构，然后详细描述新数据写入ES和Lucene的流程和原理。这是基础理论知识，整理了一下，希望能对Ela

近年来，我们在数据科学和高级分析方面取得了一些进步，但许多项目仍然采用20世纪80年代的遗留技术：萃取(extract)、转置(transform)和加载(load)，也就是我们所说的ETL。这让数据架构师感到无比头疼，但我们似乎又无法超越它，那有什么方法能改变这个局面吗？在研究ETL的代

随着越来越多的企业开始采用机器学习技术以实现流程的自动化，人们也逐渐开始质疑计算机决策中的伦理含义。我们如何处理计算机系统中潜在的偏见？相对较少被提及但同样重要的，是人类本身的偏见，它与分析和商业决策有很大关系。人类的偏见可能会渗入到分析过程的每一步。当商业决策者开始拥抱机器学习进行预测分

记得前些日子分享过一篇有关MySQL中事务的知识点,但当时对MySQL中的事务只是纯粹的知道如何使用,缺乏对理论的进一步认识,抽时间单独去了解了一下,便在做一个较为全面的总结. 什么是事务? 用MySQL官方的一句话来描述事务是什么?MySQL事务主要用于处理操作量大,复杂度高的数据.

方法 查看日志是否打开showvariableswhereVariable_name="general_log"; 若结果为OFF,则运行setglobalgeneral_log=on; 查看日志记录位置showvariableswhereVariable_name="general_lo

==提问== 沈老师，你好，想请教一个身份证信息检索的问题。公司有一个每秒5万并发查询的业务，（假设）根据身份证MD5查询身份证信息，目前有1000亿条数据，纯文本存储，前几天看你写LevelDB，请问这个业务能利用LevelDB内存数据库进行存储么？有没有其他优化方案？画外音：Level

桔妹导读：滴滴独有的出行场景大数据在金融领域有着非常广泛的应用前景，未来可与银行，保险，支付和理财等机构深入合作，帮助传统金融机构提升资源配置效率，降低获客和风险管理成本。出行场景大数据在交易欺诈识别、风险定价、精准营销、全生命周期风险管理、增长运营等方面都有着重要商业价值。对于大数据的应

 作者 朱小五爱奇艺的独家综艺《乐队的夏天》总决赛终于落下了帷幕，虽然决赛过程有些“曲折”，但是我最喜欢的刺猬乐队，仍然凭借自己的硬实力，最终排在第二名！值得一提的是，这只乐队的吉他手兼主唱也是一位程序员。刺猬乐队其实成立10多年了，很有实力。但是在老牌乐队云集的这次比赛中，第一次31进1

今年6月份Salesforce宣布对Tableau收购，掀起了对BI的一波讨论。BI巨头都难逃收购的命运，这为BI市场增加了很多不确定性。“BI”百度搜索指数（左）和“BI”百度资讯指数（右）打铁还需自身硬，无论是面对技术层面随着大数据、AI等技术的发展与BI不断融合所带来的机遇与挑战，还

大数据文摘出品来源：medium编译：张睿毅、曹培信自2012年起，一直被称为“最性感的工作”的数据科学家职位，吸引了大批远渡重洋到达硅谷，做着“数据梦”的留学生们。但他们也付出了不菲的前期投入，除了时间精力，要拿到一个数据科学相关学位并顺利留在硅谷大厂，学费生活费培训费少说要几十万。那么

大数据如何影响移动应用程序开发？目前，数据量正以前所未有的速度在增长。由于产生的总数据将在几年内跨越泽字节级别，因此更加需要进行大数据高级分析，并从庞大的数据池中获取有价值的信息。数字互联为移动应用开发生态系统带来了前所未有的增长机遇。人的注意力大部分时间丢在手机上，企业自然会投资于移动应

功能 1、监控主数据库服务器是否可用  2、当主DB不可用时，从多个从服务器中选出新的主数据库服务器  3、提供了主从切换和故障转移功能(可以与半同步复制结合,最大程度的保证数据的完整性) 主从切换过程 1、尝试从出现故障的主数据库保存二进制日志  2、从多个备选从服务器中选出新的备

2019年8月6日，Spring官方在其博客宣布，SpringBoot1.x停止维护，SpringBoot1.x生命周期正式结束。其实早在2018年7月30号，Spring官方就已经在博客进行过预告，SpringBoot1.X将维护到2019年8月1日。1.5.x将会是SpringBoot

数据库登录 mysql-h数据库地址-u用户名-p 数据库导出 mysqldump-h数据库地址-u用户名-p数据库名>数据库名.sql 查看字段字符集 SHOWFULLCOLUMNSFROM表名; 修改字段字符集 或 altertable表名modifycolumn字段名varchar(

帆软软件（以下简称“帆软”），成立于2006年，是一家非常有个性的公司，让有贡献的员工买得起房，轻松搞定丈母娘，是其薪酬机制的概括。坚持不融资，2018年销售额超过4.6亿，早已达到了上市标准，却效仿华为并未上市。人才理念，坚持校园招聘，内部培养，内部晋升，不空降领导。虽叫帆软，却并不“平

这两天备份数据发现导出来的表PK的AUTO_INCREMENT属性丢失: --skip-opt-q-R--set-gtid-purged=OFF--extended-insert--add-drop-database--add-drop-table--single-transaction

一、背景与痛点在2017年上半年以前，TalkingData的AppAnalytics和GameAnalytics两个产品，流式框架使用的是自研的td-etl-framework。该框架降低了开发流式任务的复杂度，对于不同的任务只需要实现一个changer链即可，并且支持水平扩展，性能尚可

场景 Arch系统mysql-workbench连接数据库时报 Thenameorg.freedesktop.secretswasnotprovidedbyany.servicefiles. org.freedesktop.secrets:Nosuchfileordirectory 方案

作者：陈启焕，某互联网数据分析师01数据、信息、知识数据是当今的热词。很多人的理解中，数据就是数字，其实不然，数据的范畴要大得多，包括数字、语言、文字、图像、视频，甚至是人类活动的行为都可以被认为是数据。数据本身是客观存在的，但是他的范畴是随着社会发展不断演进的。例如在计算机出现以前，文字

引言：随着云计算、大数据、物联网等技术兴起，数据朝着多样性、高体量、高速度方向发展，如何将海量数据安全、稳定、高效地数据共享出去成为各企业关注的重点。本次微课堂通过普元在数据服务共享平台研发过程中的实践，和大家分享数据服务共享发布的相关经验。  目录：1.数据服务共享发布核心场景2.数据服

前言最近TL分享了下《Elasticsearch基础整理》https://www.jianshu.com/p/e82…，蹭着这个机会。写个小文巩固下，本文主要讲ES->Lucene的底层结构，然后详细描述新数据写入ES和Lucene的流程和原理。这是基础理论知识，整理了一下，希望能对Ela

近年来，我们在数据科学和高级分析方面取得了一些进步，但许多项目仍然采用20世纪80年代的遗留技术：萃取(extract)、转置(transform)和加载(load)，也就是我们所说的ETL。这让数据架构师感到无比头疼，但我们似乎又无法超越它，那有什么方法能改变这个局面吗？在研究ETL的代

随着越来越多的企业开始采用机器学习技术以实现流程的自动化，人们也逐渐开始质疑计算机决策中的伦理含义。我们如何处理计算机系统中潜在的偏见？相对较少被提及但同样重要的，是人类本身的偏见，它与分析和商业决策有很大关系。人类的偏见可能会渗入到分析过程的每一步。当商业决策者开始拥抱机器学习进行预测分

记得前些日子分享过一篇有关MySQL中事务的知识点,但当时对MySQL中的事务只是纯粹的知道如何使用,缺乏对理论的进一步认识,抽时间单独去了解了一下,便在做一个较为全面的总结. 什么是事务? 用MySQL官方的一句话来描述事务是什么?MySQL事务主要用于处理操作量大,复杂度高的数据.

方法 查看日志是否打开showvariableswhereVariable_name="general_log"; 若结果为OFF,则运行setglobalgeneral_log=on; 查看日志记录位置showvariableswhereVariable_name="general_lo